Parametri e metodi di valutazione dei risultati …D.9.1 Progetto E-Calls 15.02.2002 Doc. Rif. N...

Telematica per la

gestione integrata delle chiamate di emergenza

Progetto Pilota

Elemento di rilascio D9.1

Parametri e metodi di valutazione dei risultati operativi di progetto

Confidenzialità : Interna Partecipanti : TTS-Italia, CEC, Università Cattolica Autori : G. Bruschi, A. Bifulco, B. Pani, C. Raimondi, A. Santamaria, L. Spotorno Doc. Rif. N° : D91V01S4_150202_TTS_ECALLS Versione : 01 Stadio : 4 Data: 15-02-2002

D.9.1 Progetto E-Calls

15.02.2002 Doc. Rif. N° D91V01S4_150202_TTS_ECALLS Pagina 2 di 25

Copyright

© Copyright 2001-2002 Gruppo di progetto E-Calls

costituito da :

• TTS Italia [TTS] • CEC – Concurrent Engineering Consulting [CEC] • Centro Ricerche Fiat [CRF] • Centro Studi sui Sistemi di Trasporto [CSST] • Comune di Milano • Infotraf • Mizar • Movitrack • Soft-in • Targa Systems • UNI-UNINFO • Università Cattolica [UNC]

Questo documento non può essere copiato, riprodotto o modificato in tutto o in parte per qualsiasi proposito senza il consenso scritto dei partecipanti al Gruppo di progetto E-Calls. L’utilizzo di tutto o parte del documento all’interno di altri documenti deve essere autorizzato dal gruppo e deve essere chiaramente referenziato insieme con le parti applicabili di questa dichiarazione di copyright.

Tutti i diritti riservati.

Questo documento può cambiare senza preavviso.



STORIA DEL DOCUMENTO Versione Data Stadio Contenuti e modifiche 1 27.12.2001 1 Indice dei contenuti 1 31.12.2001 2 (50%) Elementi principali del documento e piano di

completamento 1 31.01.2002 3 (100%) Documento completo per commenti 1 15.02.2002 4 Rilasciato al Ministero

EXECUTIVE SUMMARY The WP9 activities are addressed to the project evaluation - in terms of stakeholders satisfaction for the achieved project objectives and technical results- and to the definition of recommendations for the implementation of the Italian National Integrated Service for Emergency Management.

This deliverable is aimed at defining the methods for evaluating the quality of results, and in particular the parameters to be measured and the methodologies to be used for analysing the measured data in order to get partial and integral project evaluations.

The general approach for defining the project metrics has been stated, addressing the aspects of quantitative and qualitative measures, parameter acceptability limits, measure integration criteria, and the like.

With respect to project management metrics, the following criteria have been considered:

− adherence to timing and duration of tasks

− deviation from planned cost and effort

− compliance to technical objectives

− quality of project execution process

− capitalization of acquired management knowledge (lessons learned)

For that concerns the quality of results, the evaluation of consistency and relevance of results, is mainly based on the achieved confidence of positively accommodating user needs through the identified and tested service environment.

Mechanisms for such evaluation are critically reviewed, and the methodology for results evaluation is defined and planned.

The document is further addressing the planning for WP9 evaluation activities to be executed during future phases 2 and 3 of the project.



INDICE

1 INTRODUZIONE 5

2 PRINCIPI DI VALUTAZIONE DEI RISULTATI 7

3 MISURA DEL SUCCESSO DI PROGETTO 9 3.1 PARAMETRI DI RISPONDENZA AGLI OBIETTIVI TECNICI 9 3.2 PARAMETRI DI RISPONDENZA AGLI OBIETTIVI TEMPORALI 10 3.3 PARAMETRI DI RISPONDENZA AGLI OBIETTIVI DI COSTO/IMPEGNO 12 3.4 PARAMETRI DI CONTROLLO DEI PROCESSI 13 3.5 MISURA DELL’ESPERIENZA ACQUISITA (LESSONS LEARNED) 14 3.6 VALUTAZIONE INTEGRATA DEL SUCCESSO DI PROGETTO 14 4 MISURA DELLA QUALITÀ DEI RISULTATI 15 4.1 MISURAZIONE DELLA RISPONDENZA AI REQUISITI DI PERFORMANCE 16 4.2 MISURAZIONE DELLA RILEVANZA DEI RISULTATI VERSO LE ASPETTATIVE DEGLI UTENTI 18 4.3 VALUTAZIONE DELLA COMPATIBILITÀ CON INIZIATIVE NAZIONALI ED EUROPEE 19 4.4 VALUTAZIONE DEL RISPETTO DEI VINCOLI 19 4.5 VALUTAZIONE DELLA RILEVANZA DEI RISULTATI PER IL TRASFERIMENTO A LIVELLO NAZIONALE 19 5 PIANIFICAZIONE ATTIVITA’ 20 5.1 PIANIFICAZIONE ATTIVITÀ (ASPETTI PROGRAMMATICI) 20 5.2 PIANIFICAZIONE ATTIVITÀ (ASPETTI TECNICI) 21 5.3 PIANIFICAZIONE DI DETTAGLIO 22 6 CONCLUSIONI 24

7 RIFERIMENTI 25



1 INTRODUZIONE L’obiettivo principale del WP9 è quello di sviluppare e verificare le basi tecniche per le decisioni da parte del Ministero delle Infrastrutture e Trasporti in relazione alla costituzione di un servizio Nazionale per la gestione delle emergenze.

In questa direzione il WP9 ha il compito di:

• Monitorare costantemente il progetto per l’aspetto della qualità dei risultati (in coordinamento con il WP1, dedicato alla gestione e controllo delle attività);

• Riordinare dinamicamente i risultati ottenuti da tutti i WP ed estrapolarne elementi utili alla dimostrazione della fattibilità ed alla pianificazione del Sistema Nazionale.

Il WP9, insieme al WP1, ha in particolare il compito di provvedere alla redazione dei documenti necessari per una valutazione finale del progetto e per la redazione della proposta operativa di sviluppo del servizio nazionale di gestione delle emergenze basandosi sui risultati operativi conseguiti dal dimostrativo.

Il presente documento è focalizzato sulle attività di monitoraggio tecnico del progetto, ed è finalizzato alla definizione dei processi di valutazione dei risultati, attraverso l’identificazione dei parametri di valutazione e la definizione delle modalità di raccolta ed analisi dei dati.

Scopo delle misurazioni è rendere disponibile al responsabile di progetto ed al Cliente una serie di indicatori, per quanto possibile oggettivi, del grado di raggiungimento degli obiettivi assegnati al progetto stesso, relativamente a:

• gli aspetti programmatici, vale a dire le attività di gestione dei progetto (in termini di costi, tempi, efficienza e raggiungimento dei risultati previsti)

• gli aspetti di qualità dei risultati ottenuti, in relazione alle esigenze degli utenti, ai vincoli esistenti a livello strategico ed agli aspetti relativi all’interazione e compatibilità con altre iniziative.

Le metriche relative al controllo degli aspetti programmatici sono presentate nel capitolo 3, e sono derivate dalla migliore pratica di gestione di progetto, indirizzando gli aspetti di:

• allineamento dei risultati con le attese (copertura dei risultati tecnici attesi) • rispetto dei tempi (schedulazione) • rispetto dei costi • capitalizzazione del know-how di gestione acquisito (efficacia ed efficienza dei

processi di gestione, formalizzazione delle “lessons learned”)



Le misure sono – per quanto possibile – associate a valori di soglia (per esempio, si considera la condizione di insuccesso assoluto per i tempi quando i ritardi sono superiori al 20% delle durate stimate).

La combinazione tra le diverse misure è effettuata secondo meccanismi che tengono conto del livello di correlazione tra le misure stesse, utilizzando metodi essenzialmente additivi o moltiplicativi.

Le metriche relative ai risultati operativi del progetto, legate quindi al valore effettivo dei risultati ottenuti, sono indirizzate nel Capitolo 4. Tali metriche sono essenzialmente associate dalla capacità raggiunta attraverso il progetto, di offrire una risposta efficace alle esigenze del servizio nazionale di gestione delle emergenze. Le metriche stesse hanno pertanto una forte correlazione con le attività del WP3, dedicato appunto alla formulazione degli “user needs”.

L’ulteriore obiettivo di questo documento consiste nel definire la pianificazione di dettaglio delle attività di valutazione dei risultati nelle Fasi 2 e 3 del progetto. Tale pianificazione è oggetto del Capitolo 5 del documento.



2 PRINCIPI DI VALUTAZIONE DEI RISULTATI La definizione delle metriche per il progetto è eseguita sulla base degli obiettivi definiti nella proposta relativa alla fase 1 ed alla proposta relativa alle fasi 2 e 3 del progetto.

La misurazione del progetto e dei risultati ottenuti ha lo scopo di consentire la valutazione del grado di successo ottenuto, ed indirizza essenzialmente:

• gli aspetti programmatici (esecuzione e gestione del progetto); • gli aspetti tecnici (qualità dei risultati ottenuti rispetto alle attese).

Le misure vengono definite ove possibile in termini quantitativi; per tematiche particolari vengono utilizzate metriche qualitative, associate per quanto possibile a meccanismi di valutazione oggettivi (es. il numero di intervistati che hanno dato parere favorevole circa la rispondenza dei risultati alle proprie aspettative).

Per quanto concerne le misure quantitative, gli algoritmi di valutazione sono strutturati in maniera da trasformare principi di efficacia in valori numerici.

Tali trasformazioni sono normalmente effettuate assegnando un valore numerico alla misura della variazione del dato effettivo rispetto agli obiettivi attesi, ed associando una ulteriore correzione che dipende dalla esistenza di un limite di accettabilità e dall’impatto del parametro misurato sul successo del progetto.

Ad esempio, nel caso della deviazione del progetto rispetto agli obiettivi temporali (Sezione 3.2), si considera una algoritmo di valutazione che si basa su:

• l’associazione di valutazioni negative ai ritardi delle attività • l’associazione di valutazioni positive alla riduzioni di durata contenute rispetto ai

piani (la soglia inferiore per il campo di valutazione positiva dell’anticipo dipende dal fatto che l’attività sia o meno eseguita in condizioni che richiedono una riduzione della durata al fine del successo globale del progetto)

• l’associazione di valutazioni negative per riduzioni delle durate elevate rispetto ai piani, in quanto tali riduzioni sono indicative di erronea pianificazione o eccessiva allocazione delle risorse

• l’associazione di un valore nullo (insuccesso) al di là di una soglia predefinita di variazione rispetto alle durate pianificate.

Mentre per le metriche quantitative si effettua una valutazione essenzialmente oggettiva, l’associazione di valori di merito a ciascuna delle metriche introduce dei fattori soggettivi nella valutazione, ed ha il solo scopo di ottenere misure sintetiche del livello globale di successo del progetto, attraverso gli algoritmi di integrazione.

Le analisi e considerazioni sui risultati ottenuti viene pertanto eseguita individualmente sulle singole metriche, in maniera da garantire la trattazione di valori il più possibile oggettivi.

La misura integrata dei risultati è ottenuta come combinazione dei valori di merito ottenuti per le diverse grandezze.



La combinazione può essere ottenuta come semplice addizione o moltiplicazione. Il meccanismo additivo, che può richiedere l’uso di scale differenti o di fattori di peso per i diversi parametri, esclude nella misura globale l’interazione tra i parametri (un risultato con valore basso non influenza la valutazione degli altri fattori di successo). Il meccanismo moltiplicativo puro massimizza invece l’effetto “incrociato” dei parametri, così da ridurre o aumentare il valore integrato in funzione dei singoli valori.

Gli algoritmi di integrazione sono conseguentemente definiti attraverso l’uso di funzioni additive e moltiplicative, ricorrendo:

− a funzioni additive quando i parametri sono considerati essere aspetti diversi e parziali di un’area di misura o di un parametro di valutazione macroscopico (in questo caso il valore risultante deve essere normalizzato, per permettere successive ulteriori combinazioni moltiplicative dello stesso).

− a funzioni moltiplicative quando si voglia effettuare la sintesi di diversi parametri ad un livello di misura superiore, per il quale i parametri stessi sono considerati come pienamente rappresentativi di aree di valutazione essenzialmente indipendenti (come ad esempio la misura di rispondenza agli obiettivi tecnici e la misura di rispondenza agli obiettivi temporali).

In questo senso, la misura globale del successo del pilota è ottenuta come moltiplicazione della misura integrata di progetto (aspetti programmatici, Capitolo 3) e della misura integrata di risultato tecnico (Capitolo 4).



3 MISURA DEL SUCCESSO DI PROGETTO La misurazione del successo di progetto indirizza gli aspetti programmatici; essa risponde essenzialmente alla questione: “il progetto è stato condotto in maniera adeguata, raggiungendo gli obiettivi prefissati in termini di efficienza e qualità ? ”.

Non sono pertanto considerati gli aspetti di funzionalità tecnica dei risultati, trattati nel Capitolo 4, se non per il puro raggiungimento di risultati consistenti nelle aree indirizzate a livello di proposta e contratto.

3.1 Parametri di rispondenza agli obiettivi tecnici La valutazione del grado di raggiungimento degli obiettivi tecnici prefissati, si basa sulla misura dei seguenti parametri logici:

1. Emissione dei deliverables (Si/No)

2. Raggiungimento dei risultati critici associati ai singoli deliverable (Si/No)

dove per risultati critici si intendono i principali prodotti – materiali o immateriali – costitutivi dei singoli elementi di rilascio, evincibili dalla proposta del progetto e dalla programmazione di dettaglio delle attività del progetto relative alla Fasi 2 e 3.

A titolo di esempio, la definizione preliminare dei risultati critici per il D 5.2 (Documento di descrizione architetturale) è la seguente:

• Definizione della Architettura generale del servizio • Definizione dei flussi informativi tra i vari attori • Definizione delle modalità di comunicazione e di interazione tra i diversi attori • Definizione delle modalità operative delle applicazioni oggetto di dimostrazione

In questo modo si otterranno due metriche:

• Emissione del deliverable (valore 1 in caso di emissione, 0 in caso contrario) • Grado di Realizzazione dei risultati associati al deliverable (valore compreso tra 0

ed 1, condizioni limite di realizzazione nulla e completa, rispettivamente) L’algoritmo di valutazione prescelto consiste nell’associare il valore 1 allo stato logico “Si” ed il valore 0 a quello “No” e nel combinare, in media aritmetica, i valori dei singoli risultati critici relativi ad ogni deliverable.

La misura del livello di rispondenza agli obiettivi tecnici dell’intera Fase (Progetto) sarà ottenuta dalla metrica integrale definita come la media aritmetica, sul numero totale dei deliverable della Fase (Progetto), dei prodotti Emissione del deliverable*Grado di realizzazione.



3.2 Parametri di rispondenza agli obiettivi temporali La valutazione del grado di rispondenza agli obiettivi temporali del progetto si basa sulla misurazione dei parametri:

1. Durata del task (effettiva/prevista)

2. Ritardo di inizio task (data effettiva/prevista)

3. Durata della fase (effettiva/prevista)

Gli algoritmi di valutazione sono stati differenziati per tipologia di task, in base alla appartenenza, o meno, al percorso critico della pianificazione.

Si definiscono quindi le metriche:

• Variazione durata task non critico (valore compreso tra 0.6 ed 1.1, corrispondenti al massimo ritardo accettabile ed alle migliori condizioni di anticipo, rispettivamente). L’algoritmo di valutazione è stato strutturato in modo da assegnare un valore numerico alla misura percentuale della variazione della durata effettiva di una task rispetto a quella attesa. In particolare è stata considerata una funzione di valutazione asimmetrica (vedi Figura 1), con valore variabile tra 0.6 (valutazione peggiore) e 1.1 (valutazione migliore):

per durate effettive minori rispetto alla pianificazione, variazioni fino al 5% della durata pianificata sono considerate a effetto positivo, mentre variazioni superiori sono considerate negative secondo una legge lineare (un elevato risparmio di tempo è indicativo di una pianificazione non corretta, con margini troppo elevati) per durate effettive superiori rispetto alla pianificazione, si considera un effetto negativo lineare, fino al massimo corrispondente ad un ritardo del 20% del tempo inizialmente allocato.

La soglia di accettabilità prevista per la metrica è stata fissata a ± 20%.

0,4

0,5

0,6

0,7

0,8

0,9

1

1,1

1,2

-20% -15% -10% -5% -4% -3% -2% -1% 0% 5% 10% 15% 20%

variazione del tempo misurato rispetto al tempo atteso

valu

tazi

one

del r

isul

tato

Figura 1 – Valore del parametro di valutazione per la durata dei task non di percorso critico



• Variazione durata task critico (valore compreso tra 0.5 ed 1.1, corrispondenti al massimo ritardo accettabile ed alle migliori condizioni di anticipo, rispettivamente). L’algoritmo di valutazione differisce da quello relativo alle durate dei task non di percorso critico in quanto penalizza maggiormente durate effettive superiori a quelle attese, mentre considera positivamente la “compressione” del task volta a recuperare l’eventuale ritardo della data di inizio determinato dai corrispondenti task predecessori. In particolare è stata considerata una funzione di valutazione asimmetrica, con valore variabile tra 0.5 (valutazione peggiore) e 1.1 (valutazione migliore):

per durate effettive minori rispetto alla pianificazione, variazioni fino al “Ritardo di inizio task” +5% della durata pianificata sono considerate a effetto positivo, mentre variazioni superiori sono considerate negative secondo una legge lineare per durate effettive superiori rispetto alla pianificazione, si considera un effetto negativo lineare fino a ritardi inferiori al 5%, quadratico al di sopra dello stesso, fino al massimo corrispondente ad un ritardo del 20% del tempo inizialmente allocato.

In Figura 2 è riportato il grafico della funzione di valutazione relativa ad un ritardo di inizio task pari al 10% della durata. La soglia superiore di accettabilità prevista per la metrica è stata fissata a + 20%, mentre quella inferiore è uguale al “Ritardo di inizio task” (in percentuale della durata) –20%.

0,4

0,5

0,6

0,7

0,8

0,9

1

1,1

1,2

-30% -25% -20% -15% -14% -10% -5% -1% 0% 5% 10% 15% 20%

variazione del tempo misurato rispetto al tempo atteso

valu

tazi

one

del r

isul

tato Ritardo inizio task 10%

Figura 2 – Valore del parametro di valutazione per la durata dei task di percorso critico.

Esempio relativo ad un ritardo di inizio task pari a 10% della durata del task



• Variazione durata fase (valore compreso tra 0.5 ed 1.1, corrispondenti al massimo ritardo accettabile ed alle migliori condizioni di anticipo, rispettivamente) L’algoritmo di valutazione è stato strutturato in modo da assegnare un valore numerico alla misura percentuale della variazione della durata effettiva di una fase rispetto a quella attesa. In particolare è stata considerata la stessa una funzione di valutazione asimmetrica considerata per i task di percorso critico, corrispondente ad un Ritardo di inizio task nullo.

La misura del livello di rispondenza agli obiettivi temporali dell’intera Fase sarà ottenuta dalla metrica integrale definita come la media aritmetica, sul numero totale dei task, delle Variazioni durata task, moltiplicata per la Variazione durata fase.

3.3 Parametri di rispondenza agli obiettivi di costo/impegno La valutazione del grado di rispondenza agli obiettivi di costo/impegno del progetto è stata si basa sulla misurazione dei parametri:

1. Costi risorse del task (effettivi/previsti)

2. Costi materiali (effettivi/previsti)

Si definiscono quindi le metriche:

• Variazione costi risorse task (valore compreso tra 0.5 ed 1.1, corrispondenti alla massimo incremento accettabile ed alla migliore condizione di diminuzione, rispettivamente) l’algoritmo di valutazione è stato strutturato in modo da assegnare un valore numerico alla misura percentuale della variazione dei costi effettivi di un task rispetto a quelli previsti. In particolare è stata considerata una funzione di valutazione asimmetrica, con valore variabile tra 0.5 (valutazione peggiore) e 1.1 (valutazione migliore):

per costi effettivi minori di quelli previsti, variazioni fino al 5% sono considerate a effetto positivo, mentre variazioni superiori sono considerate negative secondo una legge lineare (un elevato diminuzione dei costi è indicativa di una stima delle risorse necessarie all’esecuzione del task non corretta, con margini troppo elevati) per costi effettivi maggiori di quelli previsti, si considera un effetto negativo lineare, fino ad incrementi inferiori al 5%, quadratico al di sopra dello stesso, fino al massimo corrispondente ad un incremento del 20% dei costi inizialmente allocati.

(La funzione di valutazione è del tutto analoga a quella relativa alla metrica Variazione durata fase, vedi Sezione 3.2). La soglia di accettabilità prevista per la metrica è stata fissata a ± 20%.



• Variazione costi materiali task (valore compreso tra 0.5 ed 1.1, corrispondenti alla massimo incremento accettabile ed alla migliore condizione di diminuzione, rispettivamente) L’algoritmo di valutazione e le soglie di accettabilità coincidono con quelle definite nella metrica Variazione costi risorse task.

Le metriche integrali “Variazione costi risorse fase” e “Variazione costi materiale fase” si ottengono dalle medie aritmetiche delle corrispondenti metriche relative al singolo task.

La misura del livello di rispondenza agli obiettivi di costo/impegno dell’intera Fase sarà ottenuta dalla media aritmetica delle metriche “Variazione costi risorse” e “Variazione costi materiali”.

3.4 Parametri di controllo dei processi Questo paragrafo definisce i criteri di valutazione della efficienza dei processi di gestione del progetto (project management). La qualità di questi processi (intesa come il grado di rispondenza agli obiettivi di progetto – project scope) viene valutata secondo i criteri definiti nei tre paragrafi precedenti, in termini di raggiungimento dei risultati, costi e tempi prefissati. La qualità del risultato tecnico del progetto, cioè la rispondenza agli obiettivi del prodotto (product scope) viene valutata nel Capitolo 4.

Si definiscono quindi i parametri atti a valutare l’efficienza dei processi di controllo dei processi operativi, raggruppati per tipologia:

• Parametri di efficienza modalità scambio dati/informazioni Qualità di formato Rapidità

• Parametri di efficienza modalità di comunicazione Tempestività Chiarezza

• Parametri di efficienza collaborazione Qualità contributi Rapidità risposta comunicazioni

L’algoritmo di valutazione è di carattere qualitativo e si basa sulla stima dei parametri fornita da tutti i WP Leader in sede delle riunioni di avanzamento del progetto.

I singoli parametri possono assumere i valori 0, 0.5 ed 1 corrispondenti ai giudizi basso, medio, alto. Le metriche integrali (valore compreso tra 0 ed 1, corrispondenti alla minima e massima efficienza):

• Efficienza Scambio dati • Efficienza Comunicazione • Efficienza Collaborazione

si ottengono dalla media aritmetica dei valori dei parametri della singola tipologia, forniti da tutti i WP leader.

La misura del livello di efficienza dei processi relativo al periodo sarà ottenuta dal prodotto delle singole metriche.



3.5 Misura dell’esperienza acquisita (lessons learned) L’esperienza acquisita (lesson learned) durante l’esecuzione delle attività del progetto, pur non corrispondendo agli obiettivi espliciti dello stesso, consiste in un risultato raggiunto, la cui area di applicabilità può estendersi dalle altre iniziative parallele promosse dal Ministero, ai futuri progetti di implementazione effettiva del Servizio Nazionale per la Gestione delle Emergenze.

Le aree di gestione del progetto dove ci si attende un più elevato valore della esperienza acquisita sono:

− l’utilizzazione del supporto informatico per il lavoro collaborativo

− il coordinamento con i rilevanti progetti europei

− la collaborazione tra enti pubblici e privati

La valutazione dell’esperienza acquisita sarà di carattere qualitativo sulla base di quanto formalizzato nei Report progressivi di avanzamento e focalizzata sulla riutilizzazione della stessa. Per le singole aree evidenziate, viene definita la metrica:

• Misura della lesson learned dell’area di gestione (valore compreso tra 0 ed 1, corrispondenti al minimo e massimo valore stimato dell’esperienza acquisita). Il processo di valutazione consisterà nel mediare i giudizi espressi dai WP Leader in sede di riunioni di avanzamento, secondo la scala di valori 0, 0.5 ed 1 corrispondenti rispettivamente ai giudizi basso, medio, alto.

La misura della lesson learned dell’intero progetto si otterrà come media aritmetica di quelle relative alle singole aree di gestione, sulla totalità di quelle considerate.

3.6 Valutazione integrata del successo di progetto La valutazione integrata del successo del progetto, per quanto riguarda gli aspetti programmatici, si ottiene dalla combinazione delle singole misure del livello di rispondenza agli obiettivi tecnici (Sezione 3.1), temporali (Sezione 3.2) e di costo/impegno (Sezione 3.3). L’algoritmo applicabile è definito come:

Vp = Vt x (VT + Vc) /2

dove:

Vp = Valutazione del raggiungimento degli obiettivi programmatici

Vt = Valutazione del raggiungimento degli obiettivi tecnici

VT = Valutazione del raggiungimento degli obiettivi temporali

Vc = Valutazione del raggiungimento degli obiettivi di costo

Le metriche relative agli aspetti di processo Vpr e di conoscenza (lessons learned) Vll vengono combinate tra loro in quanto rappresentative di aspetti del progetto legati ad aspetti metodologici piuttosto che operativi.

La valutazione metodologica Vm viene ottenuta come media delle due misure Vpr e Vll.

Non vengono effettuate ulteriori combinazioni.



4 MISURA DELLA QUALITÀ DEI RISULTATI Questo capitolo fornisce la descrizione dei metodi di valutazione della qualità dei risultati tecnici del progetto, ed è derivata principalmente dai primi risultati delle attività del WP3, dedicato alla individuazione delle esigenze degli utenti, oltre che da quelli ottenuti in WP2 e WP4 per gli aspetti relativi all’interazione con altre iniziative ed ai vincoli esistenti a livello strategico.

Per quanto riguarda il WP3, i limiti alla validità dei primi risultati dell’indagine condotta derivano essenzialmente:

• da una percezione organizzativa che privilegia più l’aspetto contingente che quello strategico, più gli elementi concreti che quelli astratti;

• da una diffusa resistenza al cambiamento, vissuto principalmente non come apertura a nuove opportunità, ma come occasione di ulteriori difficoltà da fronteggiare; ciò nonostante l’elevata motivazione e l’ampia collaborazione dimostrate, almeno a livello di interviste approfondite;

• da una certa difficoltà a considerare come obiettivo realistico a breve termine (1-2 anni) il nuovo 112 unificato;

• da una certa difficoltà a ragionare immaginando che siano già operative e generalizzate le segnalazioni di emergenze stradali attraverso un dispositivo automatico installato a bordo degli autoveicoli;

Tali limiti suggeriscono, quindi, la predisposizione di una lista di controllo degli user needs rilevati in prima approssimazione, da far verificare a tutti gli enti coinvolti.

Di conseguenza appare ancora prematura la scelta definitiva, prima di un’ulteriore verifica, dei criteri di validazione del progetto pilota, così come si deve prevedere una fase di consolidamento dei criteri a valle della definizione finale degli user needs durante la Fase 2 del progetto.

Per quanto esistano ancora numerose obiezioni di fondo ai criteri presi in considerazione nella ipotesi di lavoro iniziale, tali criteri forniscono comunque una indicazione significativa dei metodi che saranno utilizzati per valutare la qualità dei risultati del progetto pilota.

Nella tabella seguente i criteri macroscopici individuati, relativi ai tempi di risposta, alla precisione, all’interoperabilità a livello europeo, ecc. sono riportati insieme con l’analisi delle modalità di valutazione ipotizzate. Ai diversi criteri sono associate le considerazioni sviluppate circa il processo di misura, che deve tener conto delle difficoltà di raccolta ed interpretazione dei dati, delle criticità nella definizione di parametri che possono variare in funzione di possibili ri-orientamenti del progetto, e così via.



elementi del progetto pilota che dovrebbero creare potenziali vantaggi e che dovrebbero fare

oggetto di confronto sistematico con la situazione attuale, caratteristiche della loro misurabilità e difficoltà concrete di accesso, omogeneità e attendibilità dei dati statistici

Misurabilità quantitativa

diretta attraverso il

confronto con dati storici

Misurabilità qualitativa

diretta attraverso il


Misurabilità quantitativa

indiretta attraverso il


Misurabilità qualitativa indiretta

attraverso il confronto con

dati storici

Misurabilità qualitativa

indiretta con punti di

riferimento da ricercare e

definire

Misurabilità principalmente

induttiva e con scarsi punti di

riferimento

L’Interoperabilità a livello europeo

L’apertura alle evoluzioni

tecnologiche e di mercato

La normativa Il sistema organizzativo

La tecnologia Le risorse umane

i tempi di risposta degli interventi di

soccorso

La precisione degli interventi di soccorso

I costi l’efficacia degli

interventi di soccorso

La capacità totale del sistema

i fornitori di servizi scelti dall’utente

L’integrazione tra diversi operatori sia pubblici che

privati i terminali di utente

i centri di sorveglianza e

smistamento delle chiamate

gli operatori delle telecomunicazioni

le organizzazioni per l’intervento

Già nelle primissime fasi delle indagine (per interviste) nelle varie filiere è emersa una forte reticenza a usare dati per confronti statistici; le argomentazioni sembrano basarsi essenzialmente sulle esperienze concrete, trasformate in generalizzazioni, piuttosto che su dati sistematicamente raccolti; emerge anche una certa sfiducia sull’attendibilità e la sistematicità dei dati raccolti da altri enti appartenenti alla stessa filiera. L’assenza di una cultura della qualità realmente radicata rende sostanzialmente estraneo l’approccio largamente prevalente nelle organizzazioni moderne dei servizi, che la qualità e la sua misura e il conseguente confronto con standard prefissati devono far parte della progettazione iniziale dell’organizzazione. Perciò, resta il problema: non indicare gli elementi sopra riportati come criteri di validazione appare una notevole limitazione alla dimostrazione della sua utilità; mentre il volerli ritenere aspetti essenziali per lla validazione del progetto si scontra con l’attuale quasi certa difficoltà se non impossibilità di rilevazione, la scarsa precisione dei dati raccolti, la ridotta omogeneità e la probabile incoerenza.

Si ritiene che in concreto abbia scarso significato elaborare, almeno nelle prime fasi, un modello quantitativo e che possa essere, al massimo, la creazione di tabelle di confronto per le caratteristiche considerate più importanti.

Tab. 4.1 – Considerazioni sui criteri di misura della qualità dei risultati

Fatto salvo quanto sopra descritto, nel seguito del capitolo è riportata la descrizione delle attività principali di misura della qualità dei risultati.

4.1 Misurazione della rispondenza ai requisiti di performance Il miglioramento degli interventi di soccorso in termini di:

• tempi di risposta, • precisione • efficacia

rappresenta l’obiettivo ultimo (missione) delle attività e delle soluzioni tecniche messe a punto nel Progetto Pilota.

La rispondenza alle suddette necessità, proprie dell’intero sistema di gestione delle emergenze, si traduce, per la parte contenuta nel perimetro di attività del progetto, negli omologhi requisiti di performance relativi al sistema di gestione delle chiamate di emergenza da velivoli con dispositivi integrati.



La valutazione del grado di rispondenza ai suddetti requisiti di performance si baserà sulla misurazione dei seguenti parametri relativi alla gestione di una chiamata di emergenza:

• Tempo (istante temporale) di: Notifica evento Attivazione operatore/i di soccorso Arrivo degli operatori di soccorso sul luogo di emergenza Chiusura emergenza

• Tipo risorsa elementare di soccorso • Quantità risorsa elementare di soccorso

Dove per risorse elementari di soccorso si intendono le unità di risorse umane e materiali (ad esempio ambulanza, medico specializzato, infermiere, macchinari medici specializzati, agente di forza pubblica etc.) che vengono combinate dagli operatori di soccorso per definire la totale forza di intervento per la particolare emergenza.

Sulla base dei suddetti parametri saranno definite due tipologie di metriche:

• Variazione tempi medi di risposta L’algoritmo di valutazione sarà strutturato in modo da assegnare un valore numerico alla misura percentuale della variazione del valore medio del tempo di risposta (ottenuto come la media statistica delle differenze tra i parametri temporali sopra definiti relativi ad un campione rappresentativo) rispetto al valore di riferimento della tipologia di intervento considerato.

In particolare sarà considerata una funzione di valutazione bi-lineare asimmetrica, con valore variabile tra 0.5 (valutazione peggiore corrispondente ad incremento del tempo pari al 20% – limite di accettabilità) e 1.5 (caso limite teorico di valutazione migliore, corrispondente ad una riduzione del 100%).

I valori di riferimento delle singole tipologie di intervento devono essere ricavati dall’analisi di dati storici e da dedicate campagne di rilevamento dei parametri operativi.

• Variazione precisione intervento L’algoritmo di valutazione consisterà nell’assegnare un valore numerico alla misura percentuale della variazione del valore medio di precisione di intervento rispetto al valore di riferimento della tipologia di intervento considerato.

In particolare sarà considerata una funzione di valutazione bi-lineare asimmetrica, con valore variabile tra 0.5 (valutazione peggiore corrispondente ad una diminuzione della precisione pari al 20% – limite di accettabilità) e 1.5 (valutazione migliore corrispondente al caso limite teorico di precisione unitaria)



L’algoritmo di valutazione della precisione del singolo caso di emergenza esaminato consisterà:

nel definire le tipologie ed il numero di risorse elementari che sarebbero state necessarie a risolvere in modo ottimale (in termini di efficienza ed efficacia) l’emergenza allo stato di evoluzione corrispondente all’istante di attivazione dei soccorsi. nel calcolare, per singola tipologia di risorsa elementare individuata, gli scostamenti rispetto alle quantità di risorse elementari effettivamente attivate. Nel valutare positivamente gli scostamenti nulli Nel valutare negativamente: - gli scostamenti positivi (mancanza di risorse necessarie – impatto negativo

sull’efficacia dell’intervento di soccorso )

- gli scostamenti negativi (risorse inutili – impatto negativo sull’efficienza dell’intervento di soccorso)

Nell’integrare le singole valutazioni per definire la precisione del singolo intervento

Le composizioni ottimali delle risorse necessarie saranno fornite dagli operatori di soccorso, mentre i valori di riferimento delle singole tipologie di intervento devono essere ricavati da dedicate campagne di rilevamento relative a casi di emergenza gestiti secondo le modalità attuali.

4.2 Misurazione della rilevanza dei risultati verso le aspettative degli utenti

I criteri di valutazione della rispondenza delle soluzioni tecniche proposte dal progetto agli user needs individuati dal WP3 sono di carattere qualitativo e si baseranno sulla verifica continua della rispondenza ai suddetti requisiti (per le diverse tipologie individuate: requisiti funzionali, organizzativi, di contenuto delle informazioni, ecc.).

Visti i limiti di validità della definizione preliminare dei bisogni degli utenti, ad oggi disponibile, si ritiene ancora prematura l’individuazione definitiva, prima di un’ulteriore verifica, dei criteri di valutazione, così come si prevede una fase di consolidamento dei criteri a valle della definizione finale degli user needs durante la Fase 2 del progetto.



4.3 Valutazione della compatibilità con iniziative nazionali ed europee La valutazione della rispondenza all’obiettivo di compatibilità delle soluzioni tecniche proposte dal progetto sarà effettuata, da un lato, rispetto agli scenari e le soluzioni identificate dalle iniziative italiane ed europee inerenti alla gestione delle chiamate di emergenza:

− Progetto Architettura Nazionale per la Telematica

− altri progetti pilota attivati dal Ministero

− progetti europei

e, dall’altro, rispetto alle soluzioni definite dai progetti europei in aree non appartenenti al perimetro di attività del progetto (ad esempio la gestione delle chiamate dai portatili e dai telefoni cablati) ed adiacenti ad esse.

La valutazione si baserà quindi sull’analisi critica dei risultati del WP2 che evidenzieranno, per le singole iniziative considerate, i punti di rilevanza per il progetto, e sulla verifica della compatibilità ad essi delle soluzioni proposte.

4.4 Valutazione del rispetto dei vincoli La valutazione della rispondenza all’obiettivo di implementabilità delle soluzioni tecniche proposte dal progetto rispetto ai vincoli strategici esistenti a livello nazionale ed europeo si baserà sull’analisi critica dell’interpretazione della normativa vigente eseguita da WP4, e sulla verifica del rispetto dei vincoli così evidenziati.

4.5 Valutazione della rilevanza dei risultati per il trasferimento a livello nazionale

Le attività che si intendono svolgere sono indirizzate alla verifica dell’estendibilità degli elementi raccolti nell’area metropolitana milanese al territorio nazionale e all’individuazione degli eventuali correttivi richiesti.



5 PIANIFICAZIONE ATTIVITA’ In questo capitolo si riporta la pianificazione delle future attività di valutazione dei risultati tecnici ed operativi di progetto, da effettuare nel corso delle Fasi 2 e 3.

Seguendo la strutturazione seguita nell’intero documento, e per tener conto del diverso grado di maturità della definizione dei criteri di valutazione, la descrizione della pianificazione è stata organizzata in modo da individuare, separatamente, le attività relative agli aspetti programmatici e di qualità dei risultati tecnici.

5.1 Pianificazione attività (aspetti programmatici) Nel corso della Fase 2 le attività di valutazione dei risultati operativi di progetto consisteranno nell’effettuare:

1. Nel corso dell’intera Fase 2, la misura mensile dell’andamento del progetto tramite:

• la raccolta (misurazione) dei parametri di valutazione • l’esecuzione degli algoritmi di valutazione singola e integrale (riferiti al periodo

considerato) L’attività (9.1.1) comprende anche lo sviluppo dei tool SW (fogli Excel per la raccolta e analisi dati).

L’impegno di risorse previsto è di 3 mesi uomo.

2. La validazione (9.1.1.2) dei singoli risultati tecnici raggiunti nei deliverable tramite la verifica (alla data di completamento del singolo deliverable) di rispondenza ai criteri di accettazione della validità del risultato secondo le relative pianificazioni.

L’ impegno di risorse previsto è di 1 mese uomo.

3. l’elaborazione con cadenza trimestrale (D 9.3 Report progressivi di valutazione tecnica di andamento del progetto) di sintesi di valutazione e di andamento del progetto tramite:

• Reporting della valutazione dei risultati • Analisi dell’efficacia dell’approccio • Suggerimenti per i passi successivi L’attività prevede un impegno di risorse pari ad una settimana uomo per i primi tre trimestri, due settimane per l’ultimo trimestre, corrispondente ad un impegno pari a circa 1 mese-persona.

Le spese di missione sono stimate a un viaggio Roma-Milano per trimestre, corrispondente ad un importo spese di € 2.000,00.

4. L’elaborazione della valutazione finale dei risultati operativi del progetto in Fase 3, quale contributo rilevante del documento di sintesi del progetto emesso dal WP1.



L’attività prevede un impegno di risorse nell’ultimo mese della Fase 3, pari ad 1 mese uomo.

Le spese di missione sono stimate a un viaggio Roma-Milano, corrispondente ad un importo spese di € 500,00.

5.2 Pianificazione attività (aspetti tecnici) Rispetto alla pianificazione definita nella proposta del progetto, si è ritenuto necessario definire un ulteriore deliverable:

• D9.x Criteri di valutazione tecnica da emettersi in revisioni progressive allineate alle emissioni corrispondenti del D3.3 del WP3. Questo documento conterrà la descrizione dei criteri di valutazione qualitativi ed i risultati delle attività di definizione dei parametri quantitativi di performance di riferimento all’attuale gestione delle emergenze (vedi punti 1. e 2. di questo paragrafo).

Nel corso della Fase 2 le attività di valutazione dei risultati operativi di progetto consisteranno nell’effettuare:

1. L’individuazione definitiva dei criteri di valutazione (qualitativi) dei risultati tecnici proposti nel capitolo 4, ed il relativo consolidamento a valle della definizione finale degli user needs durante la fase 2 del progetto (con completamento dell’attività in linea con la pianificazione temporanea del WP3).

La valutazione mensile della validità tecnica del progetto.

L’insieme delle attività (9.1.2.1) prevede un impegno di risorse pari a 7 mesi uomo. Le spese di missione sono stimate a due viaggi Roma-Milano per mese, corrispondente ad un importo spese di € 12.000,00.

2. La definizione (9.1.2.2) dei valori di riferimento per la valutazione, intesi come i valori assunti dai parametri quantitativi allo stato attuale e secondo le correnti modalità di gestione delle emergenze.

La misurazione di questi valori sarà ottenuta attraverso una campagna di rilevamento dei parametri di servizio (vedi Capitolo 4) nel corso dell’operatività degli attori coinvolti, per la quale saranno definite le procedure di raccolta dei dati entro un mese a partire dall’inizio della Fase 2 del progetto. Il rilevamento dei suddetti parametri di servizio sarà effettuato fino alla data di inizio delle prove di performance globali del dimostrativo. Nel corso della restante parte della Fase 2 si provvederà al rilievo dei parametri operativi nei casi di applicazione del dimostrativo. I dati operativi saranno comunque confrontati con i risultati dell’analisi dei dati storici disponibili, derivati dai rapporti di intervento esistenti, da svolgersi nei primi 5 mesi della fase 2.

L’insieme delle attività prevede un impegno di risorse pari ad 13,5 mesi uomo (inclusivi di una allocazione di 9 mesi-persona per la raccolta ed analisi dei dati storici derivanti dai rapporti su emergenze precedenti il progetto presso gli enti incaricati della gestione (ospedali, polizia, ecc.).



3. L’elaborazione (9.1.2.3) con cadenza trimestrale (D 9.3 Report progressivi di valutazione tecnica di andamento del progetto) di sintesi di valutazione tecnica e di andamento del progetto tramite:

• Reporting della valutazione dei risultati • Analisi dell’andamento dei risultati tecnici • Eventuali emissione di azioni per il reindirizzamento di attività specifiche. L’attività prevede un impegno di risorse pari ad una settimana uomo per trimestre, corrispondente ad un impegno pari a 1 mese-persona.

Le spese di missione sono stimate a un viaggio Roma-Milano per trimestre, corrispondente ad un importo spese di € 2.000,00.

Nel corso della Fase 3 le attività (9.1.2.4) di valutazione dei risultati operativi di progetto consisteranno nell’effettuare:

4. L’elaborazione della valutazione finale dei risultati tecnici del progetto, basata sia sulle misure dei parametri quantitativi che dall’applicazione dei criteri qualitativi, quale contributo rilevante del documento di sintesi del progetto emesso dal WP1 (D1.7)

L’attività prevede un impegno di risorse nell’ultimo mese della fase 3, pari ad 1 mese uomo.

Le spese di missione sono stimate a un viaggio Roma-Milano, corrispondente ad un importo spese di € 500,00.

5.3 Pianificazione di dettaglio

Si riporta la pianificazione di dettaglio delle attività indicate nei paragrafi precedenti



Parametro Valore (MM)9.1.1 Valutazione Programmatica9.1.1.1 Calcolo metriche programmatiche9.1.1.1.1 Sviluppo tool di calcolo (Excel) 1 T0 1 mese-uomo 1

9.1.1.1.2 Calcolo metriche 11 M1

1 settimana uomo ogni mese a partire dal secondo 2

9.1.1.2 Validazione deliverableEmissione primo deliverable

tre giorni uomo per deliverable 1

9.1.1.3 Sintesi validazione programma 9 M3

una settimana uomo trimestrale, due settimane per ultimo trimestre fase 2 1 2000

9.1.1.4 Sintesi finale di programma 1 Ult. mese Fase 3 1 mese-uomo 1 5009.1.2 Valutazione Tecnica9.1.2.1 Valutazione qualitativa

9.1.2.1.1 Update criteri qualitativi Revisioni User Need1 settimana uomo per ogni Revisione UN 1

9.1.2.1.2 Esecuzione Valutazioni 12 T0 1mese-uomo 6 40009.1.2.2 Valutazioni quantitative9.1.2.2.1 Definizione template raccolta dati 1 T0 1 mese-uomo 19.1.2.2.2 Sviluppo tool di calcolo (Excel) 1 T0 1 mese-uomo 1

9.1.2.2.3 Raccolta e analisi dati operativi M1

9.1.2.2.1 Deve fine a inizio prove performance dimostrativo

1 settimana uomo ogni mese a partire da M2

9.1.2.2.4 Raccolta e analisi dati dimostrativo

inizia con le prove performance dimostrativo; finisce a M12

1 settimana uomo ogni mese

9.1.2.2.5 Raccolta e analisi dati storici 5 T0 9.1.2.1.11 persona primo mese. 2 persone per altri 4 mesi 9

9.1.2.3 Sintesi validazione programma 9 M3una settimana -uomo trimestrale 1 2000

9.1.2.4 Sintesi finale di programma 1 Ult. mese Fase 3 1 mese-uomo 1 50028.5 9000

* Fase 2: 26.5 mesi-uomo, 8000€ viaggi, Fase 3: 2 mesi-uomo, 1000€ viaggi

Spese missioneEffort

2.5

TOTALI (*)

Predecessori/vincoliInizioN.ro Task Descrizione Durata



6 CONCLUSIONI L’analisi delle esigenze di verifica e validazione del progetto E-Calls ha condotto alla definizione di metodi e meccanismi di misura dei risultati, ed alla pianificazione delle relative attività per le fasi di progetto successive alla prima.

L’approccio utilizzato prevede la suddivisione delle valutazioni tra l’area programmatica e quella operativa (legata alla consistenza dei risultati).

I metodi di valutazione sono per quanto possibile di tipo quantitativo, in maniera da privilegiare meccanismi oggettivi; tuttavia alcune tematiche, soprattutto correlate ai risultati attesi ed alla rispondenza alle aspettative dell’utenza, mal si prestano all’uso di metriche oggettive, e sono state trattate con un approccio tendenzialmente qualitativo.

Per la valutazioni dei risultati è stata evidenziata la forte dipendenza dagli input derivanti dai WP 2, 3 e 4, che costituiscono il riferimento del progetto per quanto attiene agli aspetti delle esigenze degli utenti ed alle interfacce e relativi vincoli a livello nazionale, europeo ed internazionale.

Particolarmente degno di nota risulta l’elemento di guida rappresentato dalle attività del WP9 rispetto al progetto globale, derivante dalla responsabilità associata al WP stesso per quanto concerne l’evidenziazione dei criteri di successo per il successo stesso e le conseguenti indicazioni di indirizzo verso i WP più operativi.



7 RIFERIMENTI [1] Duncan, William R. – “A guide to the Project Management Body of Knowledge” –

Project Management Institute, 1996

[2] E-Calls – D2.1, “Stato dell’Arte”

[3] E-Calls – D3.1, “User Needs e modelli di utilizzo”

[4] E-Calls – D4.1, “Modelli di Business e Scenari Possibili per la Gestione delle Chiamate di Emergenza”

Parametri e metodi di valutazione dei risultati …D.9.1 Progetto E-Calls 15.02.2002 Doc. Rif. N...

Documents

Transcript of Parametri e metodi di valutazione dei risultati …D.9.1 Progetto E-Calls 15.02.2002 Doc. Rif. N...