Convegno Confindustria - CNIPA La qualità negli acquisti di beni e servizi ICT

1Parma - 28 novembre 2005 Giovanni Pistarini – Compuware Spa

Qualità prima e dopo il collaudoUn'esperienza concreta sull'applicazione delle linee

guida (SIL - Sistema Informativo Lavoro)

Giovanni PistariniCompuware Spa

Convegno Confindustria - CNIPA

La qualità negli acquisti di beni e servizi ICT

Parma, 28 novembre 2005


…conseguenza dell’efficacia e della efficienza dei processi che li hanno generati e li supportano (UNI ISO 9004-4)

…conformità con i requisiti funzionali e prestazionali espiciti, con standard di sviluppo documenti e con le caratteristiche implicite che è lecito attendersi … (R.S.Pressman, Ingegneria del software, McGraw Hill, libri Italia 200)

… “assenza di difetti che potrebbero bloccare l’uso sel prodotto o condurlo a fornire risultati e/o prestazioni inaccettabili” (C.Jones, Applied software measurement, 2°ed. McGraw Hill, 1996)

… “soddisfazione dell’utente ed aderenza ai requisiti”(W.E.Perry, Quality Assurance for information Systems, QED Publishing Company, 1991)

Le multidimensioni della Qualità

1 click


Strategia di Acquisizione

dei processi

requisiti funzionali e prestazionali

prestazioni inaccettabili

soddisfazione dell’utente

standard di sviluppo documenti

assenza di difetti

aderenza ai requisitisoddisfazione dell’utente

Gestione del contratto

Certificazione di Qualità

Processo di QA

Prodotti / Servizi

Piano di Qualità

Controlli di Qualità

Collaudo

Livelli di Servizio

Me

tric

he

Le multidimensioni della QualitàSlide di transizione


dei processirequisiti funzionali e prestazionali



assenza di difetti

aderenza ai requisiti




Processo di QA

Prodotti / Servizi

Piano di Qualità


Collaudo

Livelli di Servizio

Me

tric

he

Strategia di Acquisizione


1 click




Processo di QA

Prodotti / Servizi

Piano di Qualità


Collaudo

Livelli di Servizio

Me

tric

he

Strategia di Acquisizionedei processi



assenza di difetti

aderenza ai requisiti



requisiti funzionali e prestazionali


Qualità prima e dopo il collaudo

Quando si richiede QUALITA’ è indispensabile parlarne fin dal primo istante fino alla fine, e non solo quando inizia l’esposizione verso l’esterno (amministrazione e utenti).

GovernoContrattoAppaltoStrategia

Collana di 7 Manuali, di cui 4 supportano i passi operativi fondamentali della definizione della qualità della fornitura

Sviluppo Test

DisegnoRequisiti ManutenzioneErogazione

Assicurazione della Qualità (PAQ 6.1.3)

Controllo dei livelli di servizio (CLS 3.5.1)

Utente finale

Misura Customer Satisfaction (MCS 4.1.3)

Collaudo

. . .

36 Lemmiad oggi

Esposizione verso l’esternoVisibilità della Qualità Processi interni

Piano di QualitàPiano di Progetto Piano Realizzativo

Perchè questo titolo ?

Off. Tec.Cap. TecStudio fatt.

Processi Trasversali

Indicatori di Qualità

6 click


PAQ Assicurazione della Qualità (6.1.3)

Definizione “Assicurazione della Qualità (PAQ) è l’insieme delle attività sistematiche

e pianificate messe in campo dal fornitore per dare evidenza e fiducia all’Amministrazione che i servizi e i prodotti contrattualmente forniti siano conformi ai requisiti.”

Determinare il livello di Qualità minimo ... “Determinare il livello di qualità minimo richiesto e le modalità di

assicurazione della qualità è una attività che si deve preparare già nell’analisi del rischio (v.classe di fornitura PGE – Gestione)... per essere valutata rispetto ai potenziali costi (e rischi) derivati dalla non qualità raggiunta.”

Parte integrante della fornitura “È importante considerare il PAQ, e con esso il sistema di Controllo della

Qualità (ad esempio il piano di test e il sistema realizzato per effettuarlo) e gli altri sistemi connessi (ad esempio gestione della configurazione), come parte integrante della fornitura del prodotto o servizio, e non un mezzo finalizzato alla sola consegna ed accettazione della fornitura.”

“Questa considerazione, se applicata, permette di innescare un meccanismo di assicurazione della qualità tale da permettere un progressivo e continuo miglioramento dei livelli qualitativi. “

2 click


Assicurazione della QUALITA’ (PAQ 6.1.3)

Il Processo di Assicurazione della Qualità deve prevedere e garantire i controlli di qualità più opportuni all’interno di ogni fase del progetto, per ridurre al minimo il ‘costo della qualità’.Il Controllo dei livelli di servizio deve prevedere quelle misurazioni previste per la verifica della regolare e corretta erogazione dei servizi e della qualità verso l’utente finale


Controllo dei livelli di servizio (CLS 3.5.1)

Misura Customer Satisfaction (MCS 4.1.3)

Sviluppo e test

DisegnoRequisiti ManutenzioneErogazione Utente finale

Collaudo

. . .

36 Lemmiad oggi

Controlli di Qualità• verifica• validazione• riesame• accettazione(UNI CEI ISO/IEC 12207)

pre

collau

do

fun

zio

nale

pre

sta

izon

ale

qu

alità

Qualità richiesta

Revis

ion

i

Revis

ion

i

Isp

ezio

ni

Revis

ion

i

Collau

do

Test

test

accett

azio

ne

accett

azio

ne

Veri

fica

baselin

e

SLArichiesto

avvia

men

to

An

alisi

Mis

ure

Classi di fornitura

2 click


Perchè preoccuparsi (della qualità)

Robert Robert Cringely (giornalista scientifico):

“…“…se l’automobile avesse seguito lo se l’automobile avesse seguito lo stesso sviluppo del computer, stesso sviluppo del computer, una Rolls-Royce costerebbe oggi giorno una Rolls-Royce costerebbe oggi giorno 100 $, 100 $, farebbe un milione di kilometri con 5 farebbe un milione di kilometri con 5 litri…litri… ed esploderebbe una volta ed esploderebbe una volta all’anno causando la morte di all’anno causando la morte di tutti i passeggeritutti i passeggeri””

Linee GuidaQualità nelle fornitura

ICT

1 click


Source: National Institute of Standards and TechnologyThe Economic Impacts of Inadequate Infrastructure for Software Testing May 2002

Perchè preoccuparsi (della qualità)non solo un discorso di eccellenza

Maggiore complessità delle applicazioni e sistemi con esposizione diretta verso gli utenti finali 70% dei progetti implementati fuori tempo e budget previsto

(source: Newport group study)

60-70% dei progetti falliti sono per carenza nella gestione e dei requisiti (source: META Group)

Rischi e costi derivati dalla ‘non qualità’ sempre più insostenibili

Cost of Inadequate Testing Feasible Cost Reduction (billions) (billions)

Software developers $21.2 $10.6 Software users $38.3 $11.7 Total $59.5 $22.2

1 click


Il COSTO della Qualitàesiste un vantaggio economico nella Qualità?

Includono:• attività di

assicurazione e controllo qualità (test, verifiche, validazioni, revisioni, ispezioni,collaudi…)

• analisi e gestione delle non conformità;

• tutti i processi atti a garantire e controllare gli standard di qualità prefissati (processi, procedure, ...)

Includono:• Sviluppo di servizi/

funzioni non adeguate alle richieste dell’utente

• le attività di correzione dei difetti e retesting;

• eccessivo consumo di risorse;

• distribuzione del fix, gestione del disservizio e dell’utente;

• oltre ai danni all’immagine, la perdita di produttività,…

Investment in Investment in Conformance Conformance

Investment in Investment in Conformance Conformance I costi per la conformità rappresentano gli investimenti per

ridurre i costi legati alle non Conformità.

Cost of Cost of NonConformanceNonConformance

Cost of Cost of NonConformanceNonConformanceI costi delle non conformità

rappresentano gli effetti negativi di malfunzionamenti e

incorretti sviluppi

2 click


Includono:• attività di

assicurazione e controllo qualità (test, verifiche, validazioni, revisioni, ispezioni,collaudi…)

• analisi e gestione delle non conformità;

• tutti i processi atti a garantire e controllare gli standard di qualità prefissati (processi, procedure, ...)

Includono:• Sviluppo di servizi/

funzioni non adeguate alle richieste dell’utente

• le attività di correzione dei difetti e retesting;

• eccessivo consumo di risorse;

• distribuzione del fix, gestione del disservizio e dell’utente;

• oltre ai danni all’immagine, la perdita di produttività,…

Investment in Investment in Conformance Conformance

Investment in Investment in Conformance Conformance I costi per la conformità rappresentano gli investimenti per

ridurre i costi legati alle non Conformità.

Cost of Cost of NonConformanceNonConformance

Cost of Cost of NonConformanceNonConformanceI costi delle non conformità

rappresentano gli effetti negativi di malfunzionamenti e

incorretti sviluppi

Assicurare minor costo della Qualità per avere la Qualità richiesta

Risk $$$

Quality Point*Quality Point*

Investimenti in qualità, processi e controlli

Co

sti

Costi indotti dalle non conformità e difetti rilevati

Investimento nella qualitàFonte ISO 9004-1

*QUALITYPOINT : denominazione della metodologia di test Compuware

1 click


Qualità ? Opportunità per tutti !!(Qualità come conformità ai requisiti)

Obiettivo (cap 3.1):

“L’Assicurazione della Qualità ha come obiettivo primario di garantire che i processi produttivi producano qualità nel prodotto realizzato: la precocità della rilevazione di anomalie e non conformità è anche alla base di un processo di sviluppo a più basso costo, data l’incidenza elevata che nei costi globali assumono le rilavorazioni effettuate nelle parti finali del processo produttivo o dopo la sua conclusione (manutenzione).”

$10 $100 $1,000 $10,000 $100,000

RequirementsGathering

Design Coding Testing Production

Il costo per la scoperta delle ‘non conformità’


I costi ‘pericolosi’ della (non) Qualitàimportanza del PAQ – esempio sviluppo SW

Il Costo della Qualità può essere considerato come il costo per rimuovere le ‘NON conformità’ presenti (esempio 100)

€10 €100 €1,000 €10,000 €100,000



5 n.c. 15 n.c. 10 n.c 40 n.c. 30 n.c.



3.411.550€= 5 x 10 + 15 x 100 + 10 x 1000 + 40 x 10.000 + 30 x 100.000

1 click


5 n.c. 15 n.c. 10 n.c 40 n.c. 30 n.c.



Ridurre i costi della qualità significa intervenire all’origine

$10 $100 $1,000 $10,000 $100,000



Il costo si abbatte intervenendo vicino all’origine delle ‘non conformità’

25 n.c 40 n.c. 30 n.c. 3 n.c. 2 n.c.Requirements

GatheringDesign Coding Testing Production

264.250€ = 25 x 10 + 40 x 100 + 30 x 1000 + 3 x 10.000 + 2 x 100.000 3.411.550€


Costi Qualità programmati e concordati tra PA e Fornitori

25 n.c 40 n.c. 30 n.c. 3 n.c. 2 n.c.Requirements

GatheringDesign Coding Testing Production

Ridurre i costi della qualità significa intervenire all’origine

Investire in qualità e investire al momento giusto (pianificare!!)

Costi Qualità successivi e imprevisti

Alto Impatto sul servizioSpese successive della PA

Difficoltà nel recupero

Sviluppo e test

DisegnoRequisiti ManutenzioneErogazione


Utente finale

Collaudo

pre

collau

do

fun

zio

nale

pre

sta

izon

ale

qu

alità

Qualità richiesta

Revis

ion

i

Revis

ion

i

Isp

ezio

ni

Revis

ion

i

Collau

do

Test

test

accett

azio

ne

accett

azio

ne

Periodo di garanzia

Rilevazione Non Conformità - BIP Base informativa di Progetto (PGE Gestione)

n.c. n.c. n.c. n.c. n.c. n.c.


Costi Qualità programmati e concordati tra PA e Fornitori

dif

ett

od

ifett

o

dif

ett

od

ifett

o

dif

ett

od

ifett

o

Linee GuidaQualità nelle fornitura ICT

2 click


Come valutare un processo di Qualità ?

Sviluppo e test

DisegnoRequisiti ManutenzioneErogazione Utente finale

Collaudo

Periodo di garanzia

Rilevazione Non Conformità - BIP Base informativa di Progetto (PGE Gestione)

n.c. n.c. n.c. n.c. n.c.n.c. n.c. n.c. n.c. n.c. Garanzia

Un PAQ deve essere misurato sulla sua capacità di rilevare le non conformità il più vicino possibile alla loro ‘origine’

Tanto più questa distanza è minore, tanto minori saranno i costi di intervento per ristabilire il livello qualitativo richiesto (rimuovere la n.c.)

Come misurare l’efficacia del Processo di Assicurazione della Qualità ?

“Il sistema di registrazione delle non conformità ed anomalie, oltre che essere un indispensabile processo di supporto, rappresenta un elemento di ingresso per il PAQ, fondamentale per valutare l’efficacia e qualità del processo di assicurazione della qualità implementato dal fornitore e permettere dunque i necessari interventi per migliorarlo nel rispetto degli obiettivi e dei costi del progetto.” (Descrizione delle attività e dei prodotti Cap 5)

Metriche come la ”Defect Removal Effectiveness” (Efficacia di rimozione delle non conformità).“ Essa misura la percentuale di non conformità rilevate e rimosse prima del rilascio della fornitura, o ad una certa fase di sviluppo del progetto, sul totale delle non conformità presenti sulla fornitura.” (Misurare l’efficacia della qualità Cap 5.2.2)

2 click



Test e collaudo (o collaudo ?) Il test è la parte più

costosa nelle attività di controllo qualità PAQ

Ma è l’ultima occasione per intervenire a costi accettabili e ridurre i rischi

Per non perdere sia il ponte che i camion!!

1 click



Test e collaudo (o collaudo ?) Il test è la parte più costosa nelle attività di controllo qualità PAQ

Ma è l’ultima occasione per intervenire a costi accettabili e ridurre i rischi

La Svolta: il test come parte integrante della fornitura Diventa argomento di valutazione, anche economica

Si assicura la sua corretta preparazione (fin dalle prime fasi) e qualità (copertura, efficacia e riusabilità)

Si dispone di un asset utilizzabile a seguito di successive manutenzioni

Si predispone ad un collaudo affidabile e rapido

Applicazione o servizio più documentato

Attenzione È una parte attiva del sistema, va mantenuta

1 click




Giovanni PistariniCompuware Spa





Borsa Nazionale del Lavoro(www.borsalavoro.it)

Art. 2. Decreto Legislativo 10 settembre 2003, n. 276 (legge Biagi)

Dimensioni notevole di sviluppo

Primo progetto dimensioni nazionali del MLPS

Primo rilascio 8/7/2005

Attualmente su 8 Regioni

La BCNL è un sistema unitario di servizi web, di facile accesso ed utilizzo, che permette a lavoratori ed imprese di usufruire delle risorse informative dei servizi all’impiego distribuite su tutto il territorio nazionale, senza obbligo di intermediazione.

Dal punto di vista informatico ed organizzativo, è un sistema federato distribuito, costituito da nodi regionali che comunicano utilizzando un sistema di cooperazione applicativa basato su web services e connessioni interdominio RUPA (rete delle reti regionali).

Il sistema BCNL si integra con quelli degli Enti previdenziali per offrire a lavoratori e imprese un ampio insieme integrato di servizi per l’impiego.



Art. 2. Decreto Legislativo 10 settembre 2003, n. 276 (legge Biagi)

Dimensioni notevole di sviluppo

Primo progetto dimensioni nazionali del MLPS

Primo rilascio 8/7/2005

Attualmente su 8 Regioni

La BCNL è un sistema unitario di servizi web, di facile accesso ed utilizzo, che permette a lavoratori ed imprese di usufruire delle risorse informative dei servizi all’impiego distribuite su tutto il territorio nazionale, senza obbligo di intermediazione.

Dal punto di vista informatico ed organizzativo, è un sistema federato distribuito, costituito da nodi regionali che comunicano utilizzando un sistema di cooperazione applicativa basato su web services e connessioni interdominio RUPA (rete delle reti regionali).

Il sistema BCNL si integra con quelli degli Enti previdenziali per offrire a lavoratori e imprese un ampio insieme integrato di servizi per l’impiego.


Modello logico della rete BCNLelevata complessità e catena tecnologia

Canale di interscambio e cooperazione

Porta

Dominio Ente A

Indice Regionale

INTERNET

PortaDominio Ente B

Indice Regionale

Individui

Imprese

Porta

Dominio MinWelfare

Indice Nazionale

Sistema Gestione Canale

CPI CPI CPI

CPI

PortaOp. Privati


Sviluppo

Borsa Nazionale del Lavoroattenzione alla Qualità

Recepimento delle direttive CNIPA in termine di qualità del software Costruzione di un capitolato attento agli aspetti qualitativiUtilizzo di una terza parte (Compuware) come partner dell’amministrazione nel supporto alle proprie attività di verifica e validazione e all’impostazione delle strategie di test e collaudo.Per riuscire ad interpretare al meglio le situazioni per garantire il livello di qualità nei tempi e risorse disponibili

Piano di QualitàOff. Tec.Cap. TecStudio fatt.

TestDisegnoRequisiti ManutenzioneErogazione

Assicurazione della Qualità

Controllo dei livelli di servizio

Utente finale

Misura Customer Satisfaction

Collaudo


Piano di Progetto Piano Realizzativo


Sviluppo

Piano di Qualità

TestDisegnoRequisiti ManutenzioneErogazione


Controllo dei livelli di servizio

Utente finale


Collaudo


Piano di Progetto Piano Realizzativo


Borsa Nazionale del Lavoroda capitolato al piano di qualità

Nel capitolato e Piano di Qualità:Richieste esplicite in termini di requisiti di qualità e di processoUtilizzo della norma ISO/IEC 9126 per le caratteristiche di qualità dei prodottiOltre alla definizione di metriche, massima attenzione al processo di assicurazione della qualità, al test e collaudo e ai relativi elementi di metodologiaRichiesto un collaudo funzionale/integrazione, prestazionale e di qualità (a copertura di tutti gli aspetti ... e requisiti ..)

Piano di QualitàPiano di Progetto Piano Realizzativo

Off. Tec.Cap. TecStudio fatt.



Borsa Nazionale del Lavoroelementi di metodologia

Oltre alla definizione di metriche, massima attenzione nel capitolato al processo di assicurazione della qualità, al test e collaudo e ai relativi elementi di metodologia

Indicati i “Requisiti del processo di valutazione e test”... per “l’attività di test funzionale” :Va assicurato che i casi e le procedure di test siano completi e accurati. Al collaudo presenziano i rappresentanti dell’Amministrazione con la facoltà di partecipare attivamente all’esecuzione delle prove pianificate e, eventualmente, di eseguirne altre non pianificate. I risultati di queste attività vanno registrati e vanno aggiornati i casi di test e le procedure, se necessario. Vanno registrati e analizzati i risultati del test e le anomalie eventualmente riscontrate.

... per “l’attività di Assicurazione della Qualità” :Vanno effettuate, in modo continuativo, verifiche sulle attività di sviluppo software e sui prodotti risultanti da queste, al fine di:

I piani e gli script di test realizzati sono considerati parte integrante del software fornito e devono essere rilasciati all’Amministrazione per futuri collaudi di non regressione.

1. assicurare che ogni attività sia stata eseguita in conformità con il contratto e con le procedure previste nel Piano della qualità

2. assicurare che ogni prodotto software sia stato sottoposto a verifiche, test e azioni correttive necessarie


I requisiti per lo sviluppo di un sistema così complesso sono fortemente legati alle normative e alle loro evoluzioni, esse condizionano le pianificazioni iniziali, soprattutto in progetti di medio lungo termine

I tempi di rilascio sono condizionati a loro volta da fattori esterni, molto importanti visto la materia trattata

La conseguenza è stata la necessità di comprimere le fasi di test durante e successive allo sviluppo.

Come evitare di compromettere il livello Qualitativo ed aumentare i rischi ?

Borsa Nazionale del Lavorola dinamica della fornitura

Sviluppo TestDisegnoRequisiti ManutenzioneErogazione


Utente finale

CollaudoSviluppo TestDisegnoRequisiti


L’amministrazione ha ritenuto necessario e richiesto una fase ulteriore di precollaudo (2-3 mesi – primavera 2005)

Adozione di standard comune per lo sviluppo dei casi di test Rapidi da produrre, estendere (casistiche e dati) e automatizzare Comprensibili e (ri)utilizzabili da persone diverse Mappati sui requisiti funzionali del progetto e sulle priorità (rischio)

Adozione di standard comune per la registrazione e comunicazione delle anomalie, l’esecuzione e rendicontazione dei test, utilizzo delle tecnologie a supporto (Compuware)

Creazione di un team allargato per la creazione ed esecuzione dei test (oltre 400 script di test con diverse condizioni di input/output)

Rilevate e corrette le anomalie riscontrate

Fornite informazioni complete sullo stato dei test (risultati) e la loro copertura alla commissione di collaudo

Borsa Nazionale del Lavoroil precollaudo

Sviluppo TestDisegnoRequisiti ManutenzioneErogazione


Utente finaleSviluppo Test

PrecollaudoDisegnoRequisiti C.

5 click


CONCLUSIONI

Dal capitolato al piano di Qualità, il processo di assicurazione qualità e i controlli di qualità devono essere chiari nelle specifiche e modalità

L’Amministrazione deve essere parte attiva, eventualmente con il supporto di suoi consulenti, nelle attività di assicurazione e controllo della qualità.

Il collaudo non deve mai sostituirsi ai test e si deve articolare sui diversi piani (funzionale/integrazione, prestazionale e di qualità)

Dominare il processo per governare il contratto

Tutti questi aspetti trovano riscontro nelle linee guide CNIPA oggi a disposizione di tutti


“I Piani e gli Script di test realizzati sono considerati parte integrante del software fornito devono essere rilasciati

all’amministrazione per successivi utilizzi.”

“I Piani e gli Script di test realizzati sono considerati parte integrante del software fornito devono essere rilasciati

all’amministrazione per successivi utilizzi.”

CONCLUSIONICONCLUSIONI

Dal capitolato al piano di Qualità, il processo di assicurazione qualità Dal capitolato al piano di Qualità, il processo di assicurazione qualità e i controlli di qualità devono essere chiari nelle specifiche e e i controlli di qualità devono essere chiari nelle specifiche e modalitàmodalità

L’Amministrazione deve essere parte attiva, eventualmente con il L’Amministrazione deve essere parte attiva, eventualmente con il supporto di suoi consulenti, nelle attività di assicurazione e controllo supporto di suoi consulenti, nelle attività di assicurazione e controllo della qualità. della qualità.

Il collaudo non deve mai sostituirsi ai test e si deve articolare sui Il collaudo non deve mai sostituirsi ai test e si deve articolare sui diversi piani (funzionale/integrazione, prestazionale e di qualità)diversi piani (funzionale/integrazione, prestazionale e di qualità)

Dominare il processo per governare il contrattoDominare il processo per governare il contratto

Tutti questi aspetti trovano riscontro nelle linee guide CNIPA oggi a Tutti questi aspetti trovano riscontro nelle linee guide CNIPA oggi a disposizione di tuttidisposizione di tutti

““I Piani e gli Script di test realizzati sono considerati parte I Piani e gli Script di test realizzati sono considerati parte integrante del software fornito devono essere rilasciati integrante del software fornito devono essere rilasciati

all’amministrazione per successivi utilizzi.”all’amministrazione per successivi utilizzi.”

6 click


PASSO SUCCESSIVO

Concludere i collaudi prestazionali e determinare condizioni e livelli di servizio ‘erogabili’

Implementare un sistema di controllo dei livelli di servizio lato utente, in grado di

superare la complessità dell’infrastruttura che eroga il servizio

fornire una visione assoluta della prospettiva dell’utente finale..

Ad un costo limitato, massima rappresentazione del servizio con poche misure

Tecnologie già acquisite (Compuware)





Giovanni PistariniWWW.COMPUWARE.IT

[email protected]




Convegno Confindustria - CNIPA La qualità negli acquisti di beni e servizi ICT

Documents

Transcript of Convegno Confindustria - CNIPA La qualità negli acquisti di beni e servizi ICT