Yo he estado jugando con automatización de pruebas durante los últimos 15 años y lo que sigue apareciendo una y otra vez es cómo medir el éxito de la automatización.
Inicialmente, utilizamos para medir el % de casos de prueba que fueron automatizados. Fijamos una meta - X % de casos de prueba que necesita ser automatizado dentro de un período de tiempo y luego íbamos a medir el progreso, tendencia y se siente bien cuando le ganamos a la meta.
Pronto nos dimos cuenta que esto tiene serias limitaciones. Por ejemplo, podríamos tener 70% casos de prueba que fueron automatizados, pero durante un ciclo de regresión particular, nos podríamos ejecutar sólo el 25% - porque otros no eran relevantes para ese ciclo de regresión. Muy pronto, terminamos con algunos interesantes discusiones (leer ' calentado') con las partes interesadas sobre cómo puede 70% baje a 25% y así sucesivamente. Ingenieros de automatización solíamos quejarse de que las partes interesadas no entendió lo que se involucra con automatización de pruebas y pruebas de regresión. Así, al final - ni nosotros ni los actores estaban contentos con la situación.
No tiene que ser así. Volvamos a lo básico.
¿Por qué hacemos automatización de pruebas?Para mejorar la eficiencia de la prueba.
-Entonces, ¿qué significa eso?Significa que podemos salvar así como esfuerzo, tiempo y coste posible.
Bien - si es cuál es el valor que debemos para obtener de automatización de pruebas - que ¿por qué estamos nosotros no midiendo eso?
¿En vez de medir % de casos de prueba que fueron automatizados, prueba de automatización métricas deben centrarse en el ahorro que obtenemos de ejecutar esos casos de prueba - en términos de tiempo y esfuerzo?
Parece simple. Pero calcular el ahorro de tiempo y esfuerzo a través de la ejecución de automatización de la prueba es cualquier cosa menos sencillo. Para llegar a los ahorros -
Necesitamos saber cuánto tiempo y esfuerzo necesario para ejecutar cada caso de prueba manual
Necesitamos capturamos en algún lugar
Necesitamos entonces este mapa a los scripts de automatización de prueba real que se ejecutaron y luego calcular esto.
Esto será necesario un esfuerzo, colaboración con el equipo de prueba manual para llegar a esto.
Estuvo de acuerdo. Pero entonces el % de casos de prueba que fueron automatizados no traía el valor que la automatización de pruebas iba a lograr, así que tiene sentido para cambiar a métrico Test Automation valor de salida.
Hicimos eso y empezó a medir los ahorros de automatización de prueba. Confía en mí, fue doloroso recopilar esta información - la herramienta de administración de la prueba de que estábamos usando no apoya fácilmente capturar la información, agregando lo y dándonos la métrica junto con la tendencia. Hemos tenido que confiar en nuestro buen amigo MS Excel para llegar a esto. A veces se logra el ahorro durante varios ciclos de prueba.
Pero los resultados eran la pena el dolor. Una vez que cambiamos la métrica al ahorro de automatización, cambiamos el comportamiento en la dirección correcta.Puesto que calculamos los ahorros de tiempo y esfuerzo en lo ejecutaremos, prueba ingenieros automatización fuertemente centrados en automatizar los casos de prueba -
Fueron un esfuerzo intensivo, que dio los mejores ahorros
Eran asunto crítico, puesto que casos de prueba de alta prioridad se ejecutan más a menudo durante el ciclo de regresión
Casos de prueba que debía ser ejecutado a través de diferentes configuraciones - sistema operativo, navegador, DB, devicecombinations - puesto que resultaron en grandes ahorros.
La gente tiende a alinear sus comportamientos basados en lo que consigue medir. Cuando medimos las cosas correctas, habilitamos el comportamiento correcto. Por favor comparta ¿cuáles son las métricas que hizo mejor olfato para los negocios y cómo cambió el comportamiento en la dirección correcta. Gracias