Я toying с автоматизации тестирования за последние 15 лет, и одна вещь, которая продолжает придумывать снова и снова, как измерить успех автоматизации.
Первоначально мы использовали для измерения % тестовых случаев, которые были автоматизированы. Мы поставили перед собой цель - X % тестовых случаев, которые должны быть автоматизированы в течение периода времени, и затем мы привыкли идти о измерения прогресса, тенденции и чувствовать себя хорошо, когда мы обыграли цели.
Вскоре мы поняли, что это имеет серьезные ограничения. Например мы могли бы иметь 70% тестовых случаев, которые были автоматизированы, но во время цикла определенной регрессии, мы могли бы выполнять только 25% - потому что другие были не соответствующие для этого цикла регрессии. Довольно скоро, мы в конечном итоге с некоторыми интересными (чтение ' подогревом') обсуждение с заинтересованными сторонами о том, как можно 70% снизится до 25% и так далее. автоматизация инженеров привыкли жаловаться, что заинтересованные стороны не понимают, что участвует в автоматизации тестирования и тестирования регрессии. Так в конце - ни мы, ни заинтересованные стороны были счастливы с ситуацией.
Она не должна быть таким образом. Давайте вернемся к основам.
Почему мы делаем автоматизации тестирования?Для повышения эффективности теста.
Ладно - так, что это значит?Это означает, что мы можем сохранить усилий, времени и возможно также.
Хорошо - если это то, что значение, мы должны получить от автоматизации тестирования - они почему мы не измерения которые?
Вместо измерения % тестовых случаев, которые были автоматизированы, автоматизации, метрики должны сосредоточить внимание на экономии, которую мы получаем от выполнения этих тестовых случаев - с точки зрения усилий и времени тестирования?
Она выглядит просто. Но ничего, кроме расчета усилий и времени экономии за счет автоматизации выполнения теста прост. Для прибывающих на сбережения -
Нам нужно знать, сколько времени и усилий, необходимое для выполнения каждого ручного тестового случая
Мы должны захватить что-то
Мы должны сопоставить это сценарии автоматизации фактического испытания, которые были запущены и затем вычислить это.
Это потребует некоторых усилий, сотрудничество с командой ручного теста прибыть на это.
Согласился. Но затем % тестовых случаев, которые были автоматизированы не чего out значение автоматизации тестирования должна была достичь, так что имеет смысл изменить его для тестирования автоматизации Значение метрики.
Мы сделали именно это и начали измерения экономии средств автоматизации тестирования. Поверьте мне, это был болезненный для сбора этой информации - инструмент управления теста, который мы использовали не поддерживает легко захвата информации, агрегирование он и дает нам показатель наряду с тенденцией. Нам пришлось полагаться на наш добрый старый друг MS Excel прибыть на это. Иногда экономия достигается за несколько циклов испытаний.
Но результаты были стоит боли. Однажды, мы перешли метрики для автоматизации сбережения, мы перешли поведение в нужном направлении.Поскольку мы рассчитать экономию сил и времени на то, что мы выполняем, тестирование автоматизации инженеры сильно сосредоточены на автоматизации тестовых случаев -
Которые были усилия интенсивный, который дал лучший экономия
Которые были бизнес критической, поскольку высокий приоритет тестов выполняется чаще, во время регрессии цикла
Тестовые случаи, которые должны были быть выполнены через браузер, дБ, devicecombinations различных конфигураций - ОС, - поскольку они привели к огромной экономии.
Люди, как правило, для выравнивания их поведения, основанный на то, что измеряется. Когда мы измеряем правильные вещи, мы даем право поведения. Пожалуйста, поделитесь, какие метрики, что смысл лучше бизнес и как он изменил поведение в нужном направлении. Спасибо