Ho accarezzato con automazione di Test negli ultimi 15 anni e una cosa che continua ad emergere ancora una volta è come misurare il successo di automazione.
Inizialmente, abbiamo usato per misurare la % di casi di test che sono stati automatizzati. Abbiamo fissato un obiettivo - X % di casi di test che deve essere automatizzata entro un periodo di tempo e poi abbiamo usato per andare a misurare i progressi, tendenza e sentirsi bene quando abbiamo battuto l'obiettivo.
Abbiamo subito capito che questo ha gravi limiti. Ad esempio, potremmo avere 70% casi di test che sono stati automatizzati, ma durante un ciclo particolare regressione, potremmo eseguire solo il 25% - perché gli altri non erano rilevanti per quel ciclo di regressione. Ben presto, ci siamo ritrovati con alcuni interessanti discussioni (lettura ' riscaldati') con le parti interessate su come può 70% drop al 25% e così via. ingegneri di automazione utilizzati a lamentarsi che le parti interessate non hanno capito che cosa è coinvolto con l'automazione di test e test di regressione. Così, alla fine - né noi né le parti interessate erano felici con la situazione.
Esso non deve essere in questo modo. Fateci tornare alle basi.
Perché facciamo Test Automation?Per migliorare l'efficienza del test.
Ok - allora, cosa vuol dire?Vuol dire che possiamo salvare fatica, tempo e possibilmente costo pure.
Va bene - se cioè qual è il valore che dovremmo arrivare dall'automazione di test - essi perché stiamo noi non misura che?
Invece di misurazione % dei casi di test che sono stati automatizzati, testare automazione metriche dovrebbero concentrarsi parecchio che otteniamo dall'esecuzione di tali test case - in termini di sforzo e tempo?
Sembra semplice. Ma calcolando il risparmio di sforzo e tempo attraverso l'esecuzione di test di automazione è tutt'altro che semplice. Per arrivare presso il risparmio -
Abbiamo bisogno di sapere quanto tempo e lo sforzo necessario per l'esecuzione di ogni test case manuale
Basti che captiamo da qualche parte
Dobbiamo quindi questo mapping per gli script di automazione prova effettiva che sono stati eseguiti e quindi calcolare questo.
Questo sarà necessario qualche sforzo, in collaborazione con il team di test manuale per arrivare a questo.
Concordato. Ma poi i casi di test % che erano automatizzati non stava portando fuori il valore che prova automazione doveva per raggiungere, quindi ha senso cambiarla alla metrica di Test Automation valore.
Abbiamo fatto proprio questo e iniziato il risparmio di automazione di test di misurazione. Fidati di me, è stato doloroso raccogliere queste informazioni - lo strumento di gestione di test che stavamo usando non supporta facilmente catturare le informazioni, si aggregano e dandoci la metrica insieme con la tendenza. Abbiamo dovuto fare affidamento sul nostro buon vecchio amico MS Excel per arrivare a questo. A volte i risparmi vengono raggiunti nel corso di diversi cicli di test.
Ma i risultati valevano il dolore. Una volta, abbiamo spostato la metrica a risparmio di automazione, abbiamo spostato il comportamento nella giusta direzione.Poiché noi calcolare il risparmio di sforzo e tempo su ciò che eseguiamo, prova ingegneri automazione fortemente incentrati sull'automatizzare i test case -
Che sono stati di sforzo intensivo, che ha dato il miglior risparmio
Che erano affari critico, poiché casi di test ad alta priorità ottenere eseguiti più spesso durante il ciclo di regressione
Casi di test che doveva essere eseguita attraverso diverse configurazioni - OS, Browser, DB, devicecombinations - poiché essi hanno provocato enormi risparmi.
Le persone tendono ad allineare i loro comportamenti basati su ciò che viene misurato. Quando misuriamo le cose giuste, noi abilitare i comportamenti giusti. Si prega di condividere ciò che sono le metriche che ha reso il migliore senso degli affari e come è cambiato il comportamento nella giusta direzione. Grazie