Jeg har lekt med testautomatisering for de siste 15 årene og en ting som holder komme opp igjen og igjen er hvordan måle suksessen av automatisering.
I utgangspunktet pleide vi å måle % av test sakene som ble automatisert. Vi satt et mål - X % av test sakene som skal automatiseres innenfor en tidsperiode da vi pleide å gå om å måle fremgang, trend og føles bra når vi slå målet.
Vi snart funnet ut at dette har alvorlige begrensninger. For eksempel vi kan ha 70% test sakene som ble automatisert, men under en bestemt regresjon syklus, kan vi utføre bare 25% - fordi andre ikke var relevant for denne regresjon syklusen. Snart vi endte opp med noen interessante (Les ' oppvarmet') diskusjoner med interessenter om hvordan kan 70% miste 25% og så videre. automatisering ingeniører pleide å klage at interessenter ikke forstår hva som er involvert med testautomatisering og regresjonstesting. Så, til slutt - verken vi eller interessentene var tilfreds med situasjonen.
Det trenger ikke å være på denne måten. La oss gå tilbake til grunnleggende.
Hvorfor gjør vi testautomatisering?Å forbedre test effektiviteten.
OK - så, hva betyr det?Det betyr at vi kan spare innsats, tid og muligens kostnader også.
Alright - hvis det er hva er verdien vi skal få fra testautomatisering - de hvorfor ikke skal vi måle som?
I stedet for å måle % av test sakene som ble automatisert, test automatisering beregninger bør fokusere på besparelser vi får fra å kjøre disse test sakene - innsats og tid?
Det ser enkelt. Men beregne innsats og tid besparelser gjennom test automatisering gjennomføring er alt annet enn enkel. For ankommer på besparelser -
Vi trenger å vite hvor mye tid og krefter det tar for å utføre hver manuell test sak
Vi må fange det sted
Vi må deretter tilordnes dette de faktiske test Automatiseringsskriptene som ble kjørt, og deretter beregne dette.
Dette må litt innsats, samarbeid med manuell test å ankomme etter dette.
Avtalt. Men deretter % test sakene som ble automatisert var ikke bringe ut verdien som test automatisering var ment for å oppnå, så det er fornuftig å endre den til Test automatisering verdien beregning.
Vi gjorde nettopp begynte måle test automatisering besparelser. Stol på meg, det var smertefullt å samle inn denne informasjonen - test management verktøy som vi bruker støttet ikke lett fange opp informasjon, samles det og gi oss beregningen med trenden. Vi måtte stole på vår gode gamle venn MS Excel på dette. Noen ganger er besparelser oppnådd over flere sykluser for testen.
Men resultatene var verdt smerten. Når vi flyttet beregningen til automatisering sparing, vi skiftet atferd i riktig retning.Siden vi beregne innsats og tid besparelser på hva vi utfører, test automatisering ingeniører sterkt fokusert på automatisering test tilfeller -
Det var innsats intensiv, som ga den beste besparelser
Som var business kritisk, siden høy prioritet testtilfeller utføres ofte under regresjon syklus
Test tilfeller som måtte utføres på tvers av ulike konfigurasjoner - OS, nettleser, DB, devicecombinations - siden de resultert i store besparelser.
Folk pleier å justere deres atferd basert på hva blir målt. Når vi måler de riktige tingene, kan vi riktig atferd. Behage aksje hva er beregningene gjort bedre business følelse og hvordan det forandret opptreden i riktig retning. takk