Eu tenho brincado com a automação de teste nos últimos 15 anos, e uma coisa que continua a subir e outra vez é como medir o sucesso da automação.
Inicialmente, nós costumávamos medir % de casos de teste que foram automatizados. Marcamos um gol - X % de casos de teste que precisa ser automatizada dentro de um período de tempo, e então nós costumávamos ir sobre medir o progresso, a tendência e a sensação boa quando batemos a meta.
Descobrimos logo que isto tem sérias limitações. Por exemplo, podemos ter 70% de casos de teste que foram automatizados, mas durante um ciclo de regressão particular, nós pode executar apenas 25% - porque outros não foram relevantes para esse ciclo de regressão. Em breve, nós acabamos com algumas interessantes discussões (Leia ' aquecida') com as partes interessadas sobre como pode 70% cair para 25% e assim por diante. engenheiros de automação costumávamos queixar-se de que as partes interessadas não entendeu o que está envolvido com a automação de teste e testes de regressão. Então, no fim - nem nós nem os stakeholders estavam felizes com a situação.
Não tem que ser desse jeito. Vamos volte ao básico.
Por que fazemos automação de teste?Para melhorar a eficiência do teste.
Ok - então, o que isso significa?Isso significa que podemos salvar esforço, tempo e custo possivelmente também.
Tudo bem - se é qual é o valor que devemos para obter de automação de teste - eles por que nós não medir o que?
Em vez de medir o % de casos de teste que foram automatizadas, automação métricas devem incidir sobre a poupança que temos de executar esses casos de teste - em termos de esforço e tempo de teste?
Parece simples. Mas calcular a economia de esforço e tempo através da execução de automação de teste é nada simples. Para chegar a poupança -
Precisamos saber quanto tempo e esforço que leva para executar cada caso de teste manual
Nós precisamos capturar isso em algum lugar
Precisamos então mapeie isto nos scripts de automação de teste real que foram executados e em seguida calcular isso.
Será necessário algum esforço, colaboração com a equipe de teste manual para chegar a isso.
Concordou. Mas então os casos de teste % que foram automatizados não estava trazendo para fora o valor que a automação de teste era suposto para alcançar, por isso faz sentido para mudar para a métrica de valor de automação de teste.
Nós fez exatamente isso e começou a poupança de automação de teste de medição. Confie em mim, foi doloroso para coletar essas informações - a ferramenta de gerenciamento de teste que estávamos usando não suporta facilmente captura das informações, agregando a ele e dando-na métrica juntamente com a tendência. Nós tivemos que confiar no nosso bom e velho amigo MS Excel para chegar a isso. Às vezes, as economias são conseguidas ao longo de vários ciclos de teste.
Mas os resultados valeram a pena a dor. Uma vez, deslocou a métrica para poupança de automação, mudou o comportamento na direção certa.Desde que nós calculamos a economia de tempo e esforço em que executamos, testar os engenheiros de automação fortemente focados em automatizar os casos de teste -
Que foram esforço intensivo, que deu a melhor poupança
Que eram negócios críticos, desde que os casos de teste de alta prioridade executados mais vezes durante o ciclo de regressão
Casos de teste que tinha que ser executado através de diferentes configurações - OS, navegador, DB, devicecombinations - desde que eles resultaram em economias enormes.
As pessoas tendem a alinhar seus comportamentos com base no que é medido. Quando medimos as coisas certas, nós capacitamos os comportamentos certo. Por favor, compartilhe o que são as métricas que faziam mais sentido de negócio e como mudou o comportamento na direção certa. Obrigado