Qualità del Software Automation Manual Testing-Lvl 1 (Initial) Automation testing –Lvl 2...
14
Qualità del Software Noi siamo quello che facciamo ripetutamente. Perciò l'eccellenza non è un'azione, ma un'abitudine. Aristotele
Transcript of Qualità del Software Automation Manual Testing-Lvl 1 (Initial) Automation testing –Lvl 2...
Qualità del Software
Noi siamo quello che facciamo ripetutamente.
Perciò l'eccellenza non è un'azione,
ma un'abitudine.Aristotele
Quality Assurance per tutte le esigenze
Web Site
Testing
Mobile Application
Testing
Software LifecycleTesting
Performance
Testing
Structural
Testing
La crescente
centralità delle
applicazioni web nella
strategia delle
aziende, richiede
specifiche soluzioni di
testing e validazione
della qualità.
Assioma.net vi offre
un team di esperti
dedicato a queste
attività.
Ottimizzare gli
investimenti in qualità
del software significa
anche andare oltre i
suoi aspetti «visibili».
Assioma.net vi offre
gli strumenti e le
competenze per
testare la struttura di
un sistema
informativo o delle
sue componenti.
Un applicativo deve
funzionare bene
anche in situazioni di
particolare criticità.
Assioma.net vi mette
a disposizione diversi
tools, per sottoporre
l’applicativo a vari tipi
di stress e misurare
le sue prestazioni e
quelle del dispositivo
client.
Un’efficiente gestione
della qualità del
software non si limita
alla fase di Testing
prevista dal Software
Lifecycle , ma si
distende lungo tutto il
ciclo, La Quality
Factory di Assioma.net
vi offre un’ampia
gamma di test, (black-
box e white-box)
Il prolificare delle
mobile app e dei
dispositivi con
accesso al web,
comporta un elevato
rischio di problemi
tecnici. Assioma.net
possiede gli strumenti
e le competenze per
garantire la piena
soddisfazione dei
vostri utenti mobile.
Test Automation - Functional Test - Compatibility Test - Responsive Web Design Test - Web User Experience - Localization Test -
Mobile Hardware/OS Compatibility - Integration Test - Acceptance Test - No Regression Test - System Test - Usability Test -
Indipendent Verification & Validation - Web Performance Test - Mobile User eXperience - Mobile Performance Test - Load Test -
Stress Test - Capacity Test - Long Duration Test - Static Code Analysis - Application Performance Management - Document Validation
- Test Management - Test Governance - Test Reporting.
Un’ampia gamma di competenze
ANALYSIS DESIGN DEVELOPMENT TEST OPERATIONS
oft
wa
re Q
ua
lity
Ass
ura
nce
Document Validation Static Code Analysis
System Integration Test
UAT
Performance Test
Test Automation
APM
Web Site Testing
Mobile Testing
Usability Testing
System Test
Regression Test
Configuration Management & Deploy
Assessment, Progettazione e Deploy Processi di Quality Assurance
Qualità strutturaleQualità funzionale Qualità olistica
Quality Gate
QUALITY
GATE
QUALITY
GATE
Action plan Action plan
Qualità
Sviluppo System Test UAT Esercizio
metriche metriche
Macro flusso di processo
FUNCTIONAL TESTINGNON FUNCTIONAL TESTINGCM & DEPLOY
DEVELOPMENT
RILASCIO
Documentazione
RILASCIO
Documentazione
RILASCIO
Software
RILASCIO
Software
VALIDATION SIN
INSTALLATION
CM
UAT
SUPPORT
SYSTEM TESTING
VALIDAZIONE
SPECIFICHE
REPORTISTICA
CRUSCOTTO
QUALITY GATE
PIANO DEL TEST
INTEGRATION
TESTING
STATIC CODE
ANALYSIS
PERFORMANCE
TESTING
USABILITY & SEO
NO REGRESSION
TESTING
(AUTOMATION)
DELIVERABLES
Analisi Statica
� Misura le dimensioni delle applicazioni (righe di codice, commenti, duplicazioni, codice morto, complessità)
� Determina i livelli qualitativi (Robustezza, Sicurezza, Performance, Portabilità, Manutenibilità)
� Identifica piani di azione per migliorare caratteristiche ritenute prioritarie
� Migliora le competenze tecniche dei gruppi di sviluppo
� Individua variazioni dimensionali e qualitative tra 2 o più versioni
� Consente di contrattualizzare KPI verso i fornitori dello sviluppo
Assessment Base
L’Assessment Base consente una verifica una tantum
del codice applicativo di una determinata applicazione.
Ha l’obiettivo di valutare la bontà di una applicazione
in un momento qualsiasi.
Assessment a Progetto
L’Assessment a Progetto consente la verifica, durante il rilascio,
del codice di una determinata applicazione. Il contesto è pensato
per introdurre un Gate di qualità sul codice applicativo durante
la fase di Verifica di un progetto software.
Nel momento in cui la software factory (interna o esterna),
rilascia in ambiente di test, viene pianificata e realizzata
un’attività di verifica formale del codice sorgente. Le non
conformità rilevate verranno segnalate e, durante la fase di test,
verrà verificata la chiusura o meno delle Issue aperte
Governance Portfolio Applicativo
Il servizio di Governance del Portfolio Applicativo
consente di mettere sotto controllo un elevato
numero di applicazione in modalità Continuous
Inspection, ovvero intervenendo per periodi di
tempo lunghi, nei quali si vuole mettere sotto
controllo l’applicazione per verificarne le variazioni
rispetto alle metriche di qualità nel tempo. Fornisce
informazioni utili al management per conoscere il
perimetro e la qualità del proprio Parco Applicativo.
Modelli di offerta Analisi Statica
Test di performance
Load Testing
Stress Testing
Long Duration
Testing
Pe
rfo
rma
nce
Te
stin
g Valutazione le prestazioni del sistema
con carico reale
Valutare il comportamento in situazioni di stress
Capacity TestCapacity TestValutare la capacità del
sistema al variare
del carico
Valutare la performance degradation del sistema nel lungo periodo
Stability TestMisurare fenomeni di aging (fenomeni di degrado progressivo e sistematico)
Evidenziare fenomeni di aumento della frequenza degli errori
- Dovuti ad accumuli/attivazione/propagazione influenzate dal tempo di esecuzione
- Errori di tipo Memory leak, fragmentation, round-off errors, not-terminated threads
- Dovuti a Aging-related Bugs (ARB)
Load TestValutare le prestazioni (tempo di risposta, throughput) del sistema con carichi simili a quelli operazionali
(profili di basso, medio e alto carico)
Evidenziare problemi legati all’uso concorrente del sistema
Stress Test
Valutare la robustezza del sistema
Stress TestMisurare i punti di saturazione e di rottura
Valutare la robustezza del sistema
Capacity
planning
Garantire che
adeguate risorse
soddisfino future
esigenze (acquisto
nuove risorse)
Confronto
delle
performance
tra più sistemi
(tuning,
verifica
performance
al rilascio di
change)
Capacity
management
Garantire che le attuali
risorse forniscano le più
alte prestazioni (tuning
risorse esistenti)
Test Automation
Manual Testing- Lvl 1
(Initial)
Automation testing – Lvl 2
(Managed)
Automation testing – Lvl 3
(Defined)
Automation testing – Lvl 4
(Measured)
ROI
100% Manual Testing
Utilizzo intensivo delle risorse durante la fase di test
Tool di automazione selezionato. Test automatici su alcune funzionalità
Alto tempo iniziale per l’automazione. Scenari complessi difficili da automatizzare
Focus sull’automatizzazione di alcuni test di non regressione
30%-40% dei test automatizzati
Riusabilità e manutenibilità dei test aumenta la produttività
Ancora esiste una forte dipendenza dai functional tester
Focus sulla manutenibilità dei test e sull’aumento della produttività
Copertura e efficacia dei test misurata
Framework di test maturo per le varie applicazioni/funzionalità
Tempi per sviluppo e manutenzione dei test ridotto
Focus sull’aumento dell’efficienza/efficacia dei test e aumento della copertura
Automation testing – Lvl 5
(Optimization)
Focus sul miglioramento del processo di test,
massimizzazione del ROI
Assioma.net guida il cliente alla ricerca della migliore soluzione possibile in ambito test automation
Modelli di collaborazione
Pagina 20
On demandattività progettuali
Team dedicatoservizio inhouse
Assessmentvalutazione processi, procedure, strumenti
Outsourcingservizio remoto
Consulenza specializzatasupporto qualificato
Quanto costa la risoluzione di un defect ?
Il costo di risoluzione di un difetto cambia drasticamente in funzione della fase del ciclo di vita nella quale si
trova il sistema. Un difetto identificato in fase di analisi dei requisiti, può essere corretto con una spesa media
di 9€; se viene scoperto in fase di test, la correzione costa 100€; se poi viene identificato solo in produzione, la
gestione completa della correzione costa mediamente 792€
fonte: 2008 GBS Industry Standard Study
9
25
100
792
0 100 200 300 400 500 600 700 800 900
Analisi Requisiti
Design e Coding
Testing
Maintenance
� Assioma.net è stata coinvolta per il collaudo di un
applicativo legato ad un nuovo prodotto bancario con
modalità «Test Factory».
� Il confronto tra le specifiche e i Test Case predisposti
inizialmente dal cliente ha evidenziato carenze coperte
triplicando i Test Case
� Nell’esecuzione del Test, i casi aggiunti (69%) hanno
intercettato molti bug (85%) che altrimenti sarebbero
andati in produzione
� I Test Case aggiunti hanno intercettato difetti nell’intera
gamma di criticità tra cui uno estremamente critico
Il contributo di Assioma.net
Un progetto pilota in ambito Finance
0%
20%
40%
60%
80%
100%
CASI DI TEST SCRITTI BUG CORRELATI
CLIENTE
ASSIOMA
0 5 10 15 20 25
ASSIOMA
CLIENTE
EXTREMELY CRITICAL VERY CRITICAL CRITICAL LESS CRITICAL QUESTION
Il contributo di Assioma.net - ROI
In base all’ipotesi di utilizzo del nuovo sistema in 3 mesi, abbiamo stimato 2.800 richieste di assistenza (Ticket) al Service
Desk.
Attribuendo costi medi standard per la correzione dei Defect e la gestione dei Ticket, l’investimento sulla Test Factory ha
dato un ritorno del 213% in tre mesi.
NO TestTest
Factory
Costi del testing
Investimento Test Factory € 0 € 19.500
Ambiente di Test
Costo per risoluzione defect € 100
Defect rilevati - 26
Costo totale - € 2.600
Ambiente di Produzione
Costo per risoluzione defect € 792
Defect rilevati 24 -
Risoluzione defect € 19.008
Costo gestione ticket € 10
Ticket stimati 2800 -
Gestione ticket € 28.000 -
Perdita di immagine ? -
Costo finale € 47.008 € 22.100
ROI 213%
BUG TROVATI
bug legati alla fase di apertura prodotto 8
bug legati a fasi successive 16
ATTIVAZIONI PREVISTE
attivazioni previste (ipotizzato 1 anno) 30.000
attivazioni primo mese (intercettano
potenzialmente i bug legati all’apertura
prodotto)
2.500
attivazioni entro 3 mesi (intercettano
potenzialmente i bug legati alle fasi
successive)
7.500
TICKET STIMATI
ticket legati ad errori in fase apertura
(2% degli errori possibili)400
ticket legati ad errori in fasi successive
(2% degli errori possibili)2.400
