Ik heb al speelde met testautomatisering voor de afgelopen 15 jaar, en een ding dat opwaarts keer op keer overkomst houdt is hoe meet je het succes van automatisering.
In eerste instantie, we gebruikt om te meten % van proefprocessen die waren geautomatiseerd. We een doel - X % van de test gevallen die moeten worden geautomatiseerd binnen een bepaalde termijn stellen en dan gebruikten we om te gaan over het meten van de vooruitgang, trend en een goed gevoel wanneer we verslaan het doel.
We snel bedacht dat dit ernstige beperkingen heeft. Bijvoorbeeld, misschien hebben we 70% proefprocessen die waren geautomatiseerd, maar tijdens een bepaalde regressie-cyclus, kunnen we slechts 25% - uitvoeren omdat anderen niet relevant voor die regressie-cyclus waren. Vrij snel, we eindigde met enkele interessante (Lees ' verwarmd') discussies met de belanghebbenden over hoe kan 70% dalen tot 25%, enzovoort. automatisering ingenieurs gebruikt om te klagen dat de belanghebbenden niet begreep wat is betrokken bij testautomatisering en regressie testen. Dus, in het einde - noch wij, noch de belanghebbenden waren blij met de situatie.
Het hoeft niet te worden op deze manier. Laten we teruggaan naar de basis.
Waarom doen we testautomatisering?Test om efficiëntie te verbeteren.
Okay - dus, wat betekent dat?Het betekent dat we ook inspanning, tijd en eventueel kosten kan besparen.
Alright - als dat is wat is de waarde die we geacht worden te krijgen van de testautomatisering - ze waarom we niet die meten zijn?
In plaats van meten % van proefprocessen die waren geautomatiseerd, test automatisering statistieken zich op de besparingen die wij krijgen richten moet van het uitvoeren van de test gevallen - in termen van inspanning en tijd?
Het lijkt eenvoudig. Maar de inspanning en tijd besparen door test automatisering uitvoering berekening is allesbehalve eenvoudig. Voor het aankomen op de besparingen -
We willen weten hoeveel tijd en inspanning het neemt om uit te voeren elke handmatige testcase
We moeten vastleggen dat ergens
We moeten dit vervolgens toewijzen aan de werkelijke test automatiseringsscripts die zijn uitgevoerd en dit vervolgens te berekenen.
Dit moet één of andere inspanning, samenwerking met de handmatige testteam om te komen tot dit.
Overeengekomen. Maar vervolgens % testcases die waren geautomatiseerd was niet om uit de waarde die test automatisering werd verondersteld om te bereiken, zodat het zinvol om Test Automatisering waarde metrisch deze te wijzigen.
We deed precies dat. en begon de besparingen van de automatisering test meten. Geloof me, het was pijnlijk om deze informatie te verzamelen - de test managementtool die we gebruikten niet gemakkelijk ondersteunden de informatie vast te leggen, het aggregeren en geven ons de metric samen met de trend. We moesten vertrouwen op onze goede oude vriend MS Excel om te komen tot dit. Soms zijn de besparingen bereikt over verscheidene testcycli.
Maar de resultaten waren de moeite waard de pijn. Zodra we de metric tot automatisering besparingen verschoven, we het gedrag in de juiste richting hebt verschoven.Aangezien we de inspanning en tijd besparingen berekenen op wat we uit te voeren, test automatisering ingenieurs zwaar geconcentreerd op de testcases - automatiseren
Die inspanning intensieve, die gaf de beste besparingen werden
Dat waren zakelijke kritische, aangezien testcases met een hoge prioriteit worden uitgevoerd vaker tijdens regressie cyclus
Proefprocessen die worden uitgevoerd in verschillende configuraties - OS, Browser, DB, devicecombinations moesten - aangezien zij in enorme besparingen resulteerde.
Mensen de neiging om hun gedrag op basis van wat wordt gemeten uitlijnen. Wanneer we de juiste dingen meten, wij in staat stellen de juiste gedragingen. Gelieve te delen wat zijn de statistieken die beter zakelijk inzicht en hoe het veranderde het gedrag in de goede richting. Bedankt