Ich habe die mit Testautomatisierung für die letzten 15 Jahre gespielt wurde, und eine Sache, die immer wieder zurückkommt, ist, wie man den Erfolg der Automatisierung zu messen.
Zunächst haben wir % von Testfällen zu messen, die automatisiert wurden. Wir setzen ein Ziel - X% von Testfällen, die innerhalb eines Zeitraums automatisiert werden muss und dann wir gehen über die Messung der Fortschritte, Trend und fühlen sich gut, wenn wir das Ziel schlagen.
Wir bald herausgefunden, dass dies ernsthafte Beschränkungen hat. Beispielsweise haben wir vielleicht 70 %-Testfälle, die automatisiert waren, aber während eines bestimmten Regression, könnten wir nur 25 % - ausführen, weil andere für diesen Zyklus Regression nicht relevant waren. Bald landeten wir mit einigen interessanten (lesen "beheizt") Diskussionen mit den Beteiligten auf wie 70 kann % fallen auf 25 % und so weiter. Automatisierung-Ingenieure genutzt um sich beschweren, dass die Beteiligten nicht verstanden, was mit Testautomatisierung und Regressionstests beteiligt ist. So waren am Ende - weder wir noch die Beteiligten mit der Situation zufrieden.
Es muss nicht so sein. Gehen Sie wir zurück zu den Grundlagen.
Warum machen wir Testautomatisierung?Test-Effizienz zu verbessern.
Okay - also, was bedeutet das?Es bedeutet, dass wir aufs, Zeit- und möglicherweise auch sparen können.
Ist in Ordnung - wenn das ist, was der Wert, den wir um von Testautomatisierung - sie zu erhalten, warum wir nicht, die Messen, sollen?
Anstelle von % von Testfällen, die automatisiert wurden Messungen, Testautomatisierung, die Metriken auf die Einsparungen konzentrieren sollten, bekommen wir diesen Test Cases - in Bezug auf Aufwand und Zeit ausführen?
Es sieht einfach. Aber die Mühe und Zeit Einsparungen durch Automatisierung der Ausführung ist alles andere als einfach. Für die Ankunft der sparen -
Wir müssen wissen, wie viel Zeit und Mühe, die es braucht, um jeden manuellen Testfall ausführen
Wir müssen das irgendwo erfassen.
Wir müssen dann das tatsächliche Testautomatisierungsskripts zugeordnet werden, die ausgeführt wurden und diese anschließend zu berechnen.
Hier werden einige Mühe, Zusammenarbeit mit dem manuellen Test-Team zu dieser gelangen?
Vereinbart. Aber dann war % Test Cases, die automatisiert wurden nicht aus der Wert, der Automatisierung testen soll um zu erreichen, so es Sinn macht zu ändern, um Test-Automatisierung Wert metrisch bringen.
Wir haben genau das und messen die Test-Automatisierung-Einsparungen. Glaub mir, es war schmerzhaft, diese Informationen zu sammeln - das Test-Management-Tool, die wir benutzten unterstützte nicht leicht, erfassen die Informationen aggregieren sie und geben uns die Metrik zusammen mit dem Trend. Wir waren immer auf unseren guten alten Freund MS Excel dabei ankommen. Manchmal werden die Einsparungen über mehrere Testzyklen erreicht.
Aber die Ergebnisse waren im Wert von den Schmerz. Sobald wir die Metrik zur Automatisierung Einsparungen, verschoben wir verschoben das Verhalten in die richtige Richtung.Da wir die Mühe und Zeit Einsparungen berechnen bei was wir realisieren, test-Automatisierung-Ingenieure, die stark konzentrierte sich auf die Testfälle - Automatisierung
Das wäre aufs intensive, die die besten Einsparungen gab
Das wäre geschäftskritisch, da hohe Priorität Testfälle häufiger während der Regression Zyklus ausgeführt werden
Testfälle, die über unterschiedliche Konfigurationen - OS, Browser, DB, Devicecombinations - ausgeführt werden, da sie enorme Einsparungen geführt hatte.
Menschen neigen dazu, richten Sie ihr Verhalten auf der Grundlage von was gemessen wird. Wenn wir die richtigen Dinge messen, ermöglichen wir die richtigen Verhaltensweisen. Bitte teilen Sie, was die Metriken, die besseren Geschäftssinn gemacht und wie sie das Verhalten in die richtige Richtung verändert haben. Danke