Quaderno Monitor Rivista - iris.sssup.it

22
La valutazione come metodo di lavoro: il sistema adottato dalla Regione Toscana 87 I QUADERNI DI N el 2006 la spesa pubblica destinata alla sanità inToscana è stata pari a 6.100 milioni di euro, corrispon- dente a circa il 70% del budget di spesa complessivo della Regione. Il sistema sani- tario regionale pubblico conta su più di 50.000 dipendenti ed i suoi servizi incidono enorme- mente sulla vita dei cittadini, sia in termini so- ciali, in quanto rappresentano una determinante rilevante della qualità di vita della persona, sia in termini economici come spesa che la collettività sostiene, ma infine anche come volano di svilup- po economico. Il sistema sanitario regionale in- fatti contribuisce in modo rilevante alla genera- zione dei redditi dell’economia toscana. Sulla ba- se di uno studio realizzato dall’Irpet 1 , se inTosca- na non esistessero i servizi sanitari il PIL regio- nale risulterebbe inferiore del 7,5%, gli occupati sarebbero l’8% in meno e le importazioni regio- nali ed estere risulterebbero rispettivamente più basse del 4,5% e del 5,7%. La rilevanza del sistema sanitario per una Regio- ne è quindi tale da rendere estremamente critica e fondamentale la sua gestione, intesa sia in ter- mini di capacità di fornire ai cittadini servizi ade- guati in qualità e volume, sia in termini di soste- nibilità economica che di impatto per lo svilup- po del territorio. La sua gestione rappresenta in- fatti sempre di più una tra le sfide più difficili per le amministrazioni pubbliche. Dal suo buon fun- zionamento e da una qualità adeguata dei servi- zi sanitari il cittadino basa in buona misura il suo giudizio per valutare i risultati conseguiti dal- l’amministrazione regionale. Si tratta di servizi “vicini” alla gente, che incidono pesantemente sulla vita delle persone,che coinvolgono diretta- mente e indirettamente tutta la popolazione. Conseguentemente per le amministrazioni re- gionali poter contare su un sistema di misurazio- ne dei risultati ottenuti dal sistema sanitario di- venta, in questo contesto,un vero e proprio fon- damentale strumento di governance che può in- cidere pesantemente sul successo politico di una amministrazione regionale. La RegioneToscana ha inteso introdurre, con il sistema di valutazione della performance presen- tato nei paragrafi seguenti, uno strumento di go- verno del sistema sanitario regionale in cui gli orientamenti strategici di lungo periodo fossero monitorati congiuntamente con gli obiettivi di LA VALUTAZIONE COME METODO DI LAVORO: IL SISTEMA ADOTTATO DALLA REGIONE TOSCANA di Sabina Nuti Direttore del Laboratorio Management e Sanità della Scuola Superiore Sant’Anna - Pisa 1 Cfr la Relazione Sanitaria RegioneToscana 2003-2005, parte seconda, cap.7 “Il sistema sanitario regionale: un attore importante del sistema economico toscano” a cura dell’Irpet, pag 139-149.

Transcript of Quaderno Monitor Rivista - iris.sssup.it

Page 1: Quaderno Monitor Rivista - iris.sssup.it

La valutazione come metodo di lavoro: il sistema adottato dalla Regione Toscana

87

IQUADERNID

I

Nel 2006 la spesa pubblica destinataalla sanità in Toscana è stata pari a6.100 milioni di euro, corrispon-dente a circa il 70% del budget di

spesa complessivo della Regione. Il sistema sani-tario regionale pubblico conta su più di 50.000dipendenti ed i suoi servizi incidono enorme-mente sulla vita dei cittadini, sia in termini so-ciali, in quanto rappresentano una determinanterilevante della qualità di vita della persona, sia intermini economici come spesa che la collettivitàsostiene,ma infine anche come volano di svilup-po economico. Il sistema sanitario regionale in-fatti contribuisce in modo rilevante alla genera-zione dei redditi dell’economia toscana. Sulla ba-se di uno studio realizzato dall’Irpet1, se inTosca-na non esistessero i servizi sanitari il PIL regio-nale risulterebbe inferiore del 7,5%, gli occupatisarebbero l’8% in meno e le importazioni regio-nali ed estere risulterebbero rispettivamente piùbasse del 4,5% e del 5,7%.La rilevanza del sistema sanitario per una Regio-ne è quindi tale da rendere estremamente criticae fondamentale la sua gestione, intesa sia in ter-mini di capacità di fornire ai cittadini servizi ade-

guati in qualità e volume, sia in termini di soste-nibilità economica che di impatto per lo svilup-po del territorio. La sua gestione rappresenta in-fatti sempre di più una tra le sfide più difficili perle amministrazioni pubbliche.Dal suo buon fun-zionamento e da una qualità adeguata dei servi-zi sanitari il cittadino basa in buona misura il suogiudizio per valutare i risultati conseguiti dal-l’amministrazione regionale. Si tratta di servizi“vicini” alla gente, che incidono pesantementesulla vita delle persone, che coinvolgono diretta-mente e indirettamente tutta la popolazione.Conseguentemente per le amministrazioni re-gionali poter contare su un sistema di misurazio-ne dei risultati ottenuti dal sistema sanitario di-venta, in questo contesto, un vero e proprio fon-damentale strumento di governance che può in-cidere pesantemente sul successo politico di unaamministrazione regionale.La Regione Toscana ha inteso introdurre, con ilsistema di valutazione della performance presen-tato nei paragrafi seguenti, uno strumento di go-verno del sistema sanitario regionale in cui gliorientamenti strategici di lungo periodo fosseromonitorati congiuntamente con gli obiettivi di

LAVALUTAZIONE COME METODODI LAVORO:IL SISTEMA ADOTTATODALLA REGIONE TOSCANA

di Sabina Nuti

Direttore del Laboratorio Management e Sanità della Scuola Superiore Sant’Anna - Pisa

1 Cfr la Relazione Sanitaria RegioneToscana 2003-2005, parte seconda, cap.7 “Il sistema sanitario regionale: un attore importante del sistema economico toscano” a cura dell’Irpet, pag 139-149.

Page 2: Quaderno Monitor Rivista - iris.sssup.it

breve periodo e dove il governo della spesa fosseintegrato con le misure di risultato, con la fina-lità di evidenziare il valore prodotto per il citta-dino (Mc Laughlin et al. 2000). Fondamentale èinfatti che le risorse della collettività creino “va-lore”, ossia che siano adeguatamente utilizzate,con efficienza e appropriatezza, per fornire ser-vizi di elevata qualità, garantendo l’accesso e l’e-quità.Con questi presupposti il Laboratorio Manage-ment e Sanità, costituito dalla Scuola SuperioreSant’Anna in collaborazione con la RegioneTo-scana, ha progettato e implementato in tutte leAziende sanitarie della Toscana il Sistema diVa-lutazione della Performance, per misurare la ca-pacità di ogni Azienda di essere strategicamenteefficace ed efficiente, sia rispetto al territorio incui opera, sia nell’ambito del sistema regionalein cui è inserita.Già nel Piano sanitario regionale 2002-2004 in-fatti, e poi successivamente nei piani sanitari re-gionali successivi, la Regione Toscana indicavagli obiettivi, i valori ed i principi operativi delmodello toscano di sanità.Tra questi, sicuramen-te irrinunciabili il principio dell’universalità edella programmazione, dell’efficacia e dell’effi-cienza.In particolare, la programmazione combinata conil sistema delle Aziende attraverso cui opera il si-stema regionale sono stati ritenuti fondamentaliper ottenere la corrispondenza tra i bisogni deicittadini e la tipologia, la qualità e la quantità del-le prestazioni erogate, evitando sprechi di risor-se e garantendo l’appropriatezza dei servizi (Ve-dung E.,1997).Nel contesto della sanità pubbli-ca le Aziende forse rappresentano gli unici stru-menti che, se utilizzati con competenza, posso-no garantire il perseguimento della missione delsistema sanitario pubblico. Le Aziende rappre-sentano modalità potenti per organizzare l’azio-ne, per orientare gli sforzi di tutte le componentiverso la finalità comune, che è il miglioramento

della salute dei cittadini, ma adottando logichedi economicità.Pur basandosi sulle Aziende quali pilastri del si-stema, nella Regione Toscana la competizionenon è stata valutata auspicabile in primo luogoperché nei servizi sanitari l’utente è in condizio-ni di asimmetria rispetto ai soggetti erogatori, insecondo luogo perché vi è un altissimo rischio di“bruciare” risorse della comunità, ossia di dupli-care investimenti soprattutto in tecnologie e mac-chinari per attirare la domanda in modo inap-propriato. Nel sistema sanitario pubblico allora,perché le Aziende svolgano il loro ruolo in mo-do efficiente ed efficace, spetta alle Regioni e al-lo Stato attivare meccanismi che svolgano il ruo-lo che nel privato è svolto dalla competizione.Traquesti determinante è il sistema di valutazione deirisultati.Questo deve essere condiviso nelle lineee nelle modalità da tutti i soggetti che compon-gono il sistema, trasparente e chiaro,ma deve es-sere anche “inesorabile” nella sua oggettività, nelsuo rigore, nella sua sistematicità.Il sistema di valutazione dei risultati è fonda-mentale anche per attivare i processi di innova-zione permettendo, attraverso il confronto delleperformance, di individuare le best practices e dicrescere e migliorare come sistema ed anche divalorizzare i risultati ottenuti dai migliori.In questo contesto, per supportare, valutare e va-lorizzare l’azione delle 12 Aziende sanitarie lo-cali e delle 4 Aziende ospedaliero universitarie2

quali soggetti fondamentali del sistema, respon-sabili della realizzazione degli orientamenti re-gionali, laToscana ha ipotizzato fin dal 2002 l’at-tivazione di un sistema per monitorarne la per-formance, prevedendo la misurazione di molte-plici variabili rilevanti nel perseguimento degliobiettivi strategici regionali.

2. LA STORIA DEL SISTEMACon queste premesse, nel 2001 la Regione To-scana, con decreto n. 7425 del 18/12, ha affida-

I SISTEMI DI VALUTAZIONE DEI SERVIZI SANITARI

88

IQUADERNID

I

2 Nel 2007 le Aziende ospedaliero-universitarie dellaToscana sono diventate cinque: si è aggiunta la Fondazione Monasterio costituita congiuntamente con il Cnr.

Page 3: Quaderno Monitor Rivista - iris.sssup.it

to al gruppo di ricerca della Scuola SuperioreSant’Anna3 l’incarico di predisporre un progettodi prefattibilità per un sistema di valutazione e va-lorizzazione della performance delle Aziende sa-nitarie toscane.Successivamente, con decreto n. 3065/2003, harichiesto una prima implementazione del sistemaalla Scuola Superiore Sant’Anna selezionandoquattro Aziende sanitarie in cui avviare la speri-mentazione, ossia l’Azienda Usl 3 di Pistoia, l’A-zienda Usl 5 di Pisa, l’Azienda Usl 8 di Arezzo el’Azienda Ospedaliera Universitaria Pisana.Que-ste Aziende sanitarie furono scelte perché:� rappresentative delle tre aree vaste toscane;� simili in termini di dimensioni e tipologia diservizi offerti4;

� la Ausl 5 di Pisa e l’Aou Pisana quali realtà rap-presentative la prima delle Aziende sanitarieche hanno nel proprio territorio la presenza diun’Azienda ospedaliero-universitaria, la secondadi un’Azienda con una missione diversa dalleAziende sanitarie territoriali, in cui accanto al-l’assistenza sono obbiettivi strategici anche laricerca e la didattica.

La sperimentazione attivata nel 2004 nelle primequattroAziende sanitarie selezionate, inoltre, è sta-ta impostata in modo da garantire la replicabilitàsuccessiva del sistema nelle altre realtà Aziendalisanitarie toscane che hanno iniziato l’implemen-tazione a conclusione della prima fase di speri-mentazione. L’approccio che ha contraddistintola metodologia di lavoro adottata è stato multidi-sciplinare, teso alla valorizzazione di tutti i dati,le informazioni e gli strumenti di valutazione giàesistenti ed utilizzati dalla Regione e dalle Azien-de coinvolte.Al termine della fase di sperimentazione nellequattroAziende pilota, il management delleAzien-

de coinvolte e la Regione stessa hanno ritenutoassai soddisfacenti i risultati ottenuti ed il sistemanel 2005 è stato implementato in tutte le Azien-de territoriali della Regione. Per quanto concer-ne le realtà ospedaliero universitarie è stato rite-nuto necessario attivare un processo ulteriore dicoinvolgimento dei professionisti medici per va-lutare l’opportunità di inserire nel sistema ele-menti di specificità rispetto alla missione di que-sta tipologia di Aziende. In questo stesso anno ilLaboratorio Management e Sanità ha dato, quin-di, avvio ad un percorso formativo modulare re-gionale, in cui sono stati coinvolti i circa cinquantadirettori di dipartimento ad attività integrata del-le quattroAziende ospedaliero universitarie di Pi-sa, Siena, Firenze (Careggi e Meyer).Questa ini-ziativa prevedeva nella prima fase tre momenti didue giornate ciascuno in cui, in due edizioni mi-ste, i direttori Dai hanno approfondito e discus-so il processo di evoluzione in atto nel sistema sa-nitario toscano, la dinamica economico finanzia-ria e l’assetto organizzativo dipartimentale delleAziende ospedaliero universitarie. Nella secondaparte del percorso formativo i partecipanti, conil supporto di docenti della facoltà di economiadei tre atenei toscani5 e della Scuola SuperioreSant’Anna nel ruolo di facilitatori, hanno attiva-to dei “laboratori”, ossia dei gruppi di lavoro chehanno approfondito per specialità la tematica de-gli indicatori di performance, individuando unarosa di indicatori specifici soprattutto per la com-ponente sanitaria.Questo percorso si è conclusoa marzo 2006 con la presentazione pubblica di unrapporto in cui sono stati presentati dai parteci-panti stessi gli indicatori individuati e calcolati(più di 200) per le realtà toscane.Questo rappor-to è stato successivamente discusso e approfondi-to dal gruppo di ricerca del Laboratorio Mana-

La valutazione come metodo di lavoro: il sistema adottato dalla Regione Toscana

89

IQUADERNID

I

3 Il gruppo di ricerca della Scuola Superiore Sant’Anna è coordinato dall’autrice di questo capitolo ed è stato composto dal professore Lino Cinquini, e dai ricercatori MilanaVainieri,Anna Bonini, ,An-nalisa Brambini, Manuela Furlan, Linda Marcacci, Domenico Cerasuolo, Sara Barsanti, Barbara Lupi,Anna Maria Murante, Elisabetta Felloni, Chiara Seghieri,Alessandro Campani, Maria Giulia Seni-gallia, Cristina Campanale, Francesca Sanna.

4 Nel sistema sanitario toscano le Aziende sanitarie locali gestiscono a livello territoriale tutti e tre i livelli assistenziali ossia prevenzione, attività territoriali e ospedali di primo e secondo livello. LeAziende ospedaliere universitarie sono quattro (Siena, Pisa, Careggi di Firenze e Meyer) e sono integrate con i tre atenei di Siena, Pisa e Firenze.A loro è affidata l’assistenza di terzo livello di AreaVasta e l’assistenza ospedaliera per i cittadini o parte di essi che risiedono nel capoluogo in cui insistono.

5 In proposito si ringrazia per la collaborazione fornita i prof. Mario DelVecchio, Gavino Maciocco e Niccolò Persiani dell’Università di Firenze; il prof.Antonio Barretta dell’Università di Siena, i prof.Mauro Bendinelli e prof. Daniele Dalli dell’Università di Pisa e il prof. Lino Cinquini della Scuola Superiore Sant’Anna

Page 4: Quaderno Monitor Rivista - iris.sssup.it

gement e Sanità con le direzioni Aziendali delleAziende ospedaliero universitarie di Careggi,Me-yer, Pisa e Siena, fino a pervenire ad una sintesicondivisa a livello regionale che ha permesso, nelmese di luglio del 2006, la predisposizione di unprimo report pilota per le Aziende ospedalierouniversitarie.Nel secondo semestre del 2006 il si-stema di valutazione della performance è entratoa regime anche nelle realtà ospedaliero universi-tarie della Toscana con l’elaborazione di alcuniindicatori specifici coerenti con la missione svol-ta nel sistema sanitario. Nel mese di aprile del2007 il report relativo alla performance delle quat-tro Aziende ospedaliero universitarie relativo airisultati conseguiti nel 2006 è stato consegnatoper la prima volta ai rettori dei tre atenei di Pisa,Firenze e Siena.Oggi il sistema è utilizzato in tutte le realtà Azien-dali della Regione. Nel mese di luglio del 2007è stato pubblicato il primo report relativo alla per-formance conseguita dalla sanità toscana nel 20066

(Nuti, 2007) e reso disponibile alla Giunta e alConsiglio Regionale nonché ai cittadini che lohanno richiesto. Entro il 2007 il sistema è statoreso disponibile su web per il management del si-stema sanitario toscano e nel 2008 lo sarà per tut-ti i cittadini interessati.

3. LE FINALITÀ E LE MODALITÀ D’USODEL SISTEMALa finalità del sistema di valutazione della perfor-mance è stata, fin dalla sua progettazione iniziale,quella di fornire un quadro di sintesi dell’anda-mento della gestione delle Aziende sanitarie, uti-le non solo alla valutazione della performanceconseguita,ma anche per la valorizzazione dei ri-sultati ottenuti. Il sistema progettato ed imple-mentato nelle quattro realtà pilota ha permessodi capire, inoltre, che lo strumento poteva diven-tare un mezzo fondamentale per supportare lafunzione di governo soprattutto a livello regio-nale. Mediante il processo di valutazione dellaperformance si è inteso quindi avviare quello divalorizzazione delle “best practices” delle Azien-de sanitarie,mediante il quale i managers e le or-ganizzazioni nel loro complesso potessero averela continua opportunità di apprendere e cresce-re. La presentazione dei dati sempre in benchmar-

king tra le realtà Aziendali dellaToscana facilita in-fatti il superamento dell’autoreferenzialità a favo-re del confronto, inteso come strumento fonda-mentale per verificare i risultati conseguiti e glieventuali spazi di miglioramento.Nel corso della progettazione, sperimentazioneed implementazione, sono stati oggetto di studio

I SISTEMI DI VALUTAZIONE DEI SERVIZI SANITARI

90

IQUADERNID

I

FIGURA 1 – La storia del sistema

Mandato allaScuola Superore

Sant’Anna

2002

Progetto di pre-fattibilità:

cosa/comemisurare

2003

Sperimentazionecon 4Aziende:AUSL 3,5,8 ed

AOUP

2004

Implementazionedel sistema in

tutte leAUSL eavvio

sperimentazionenelleAOU

2005

Implementazionedel sistema intutte leAUSL,

base per laprogrammazione

regionale evalutazione dei

risultati

2006

Pubblicazione delsistema con trend2004-2005-2007

2007

Avvio percorso di condivisione conDirettori di D.A.I.delle aAOU e

sperimentazione

6 Confronta “La valutazione della sanità toscana: report 2006” a cura di Sabina Nuti, Laboratorio Management e Sanità, Scuola Superiore Sant’Anna , Ets Pisa 2007.

Page 5: Quaderno Monitor Rivista - iris.sssup.it

e confronto i sistemi di valutazione della perfor-mance adottati in altri contesti sanitari pubblici,in particolare il sistema adottato fin dal 1997 inCanada nella regione dell’Ontario per le realtàospedaliere7. Sono stati spunto di riflessione e dianalisi anche il sistema implementato nel sistemasanitario inglese ed olandese, nonché la ricca bi-bliografia scientifica sul tema della valutazionedella performance in sanità.Il sistema è oggi utilizzato per supportare i pro-cessi di pianificazione e programmazione a livel-lo Aziendale e regionale ed è collegato al sistemadi incentivazione per la direzione Aziendale. LeAziende del sistema a loro volta hanno collegatolo strumento al loro sistema di budget interno.

4. IL SISTEMA DI REPORTINGMULTIDIMENSIONALE DEI RISULTATINel progetto di prefattibilità il gruppo di ricercaha elaborato un primo modello (figura 2 a pag.92) capace di descrivere le relazioni di causa edeffetto nel processo di erogazione dei servizi diun’Azienda sanitaria. Il gruppo di ricerca ha in-teso evidenziare nel modello sia le tipologie di ri-sultati attesi dalle istituzioni sanitarie, sia le mo-dalità con cui questi vengono operativamenteconseguiti.Nel prospetto proposto, partendo dal-la destra dello schema, si evidenziano i risultati“ultimi”ottenuti dall’istituzione sanitaria, ossia glioutcome, che possono essere perseguiti solo in unorizzonte temporale di medio e lungo periodo esi riferiscono alla finalità ultima dell’Azienda sa-nitaria, ovvero il miglioramento del benessere so-ciale e dello stato di salute della popolazione (Opit,1993). Questa tipologia di risultati, per la com-plessità dei meccanismi di misurazione da utiliz-zare e del sistema di fattori che congiuntamentedeterminano il loro perseguimento, difficilmen-te si presta ad orientare l’azione del managementnel breve periodo anche se permangono il pun-to di partenza e di arrivo dell’azione delle Azien-de sanitarie. Pur se spesso sono necessari anni o

decenni per muovere e migliorare un indicatoredi outcome, è dall’analisi dello stato di salute del-la popolazione che parte il processo di program-mazione e di orientamento dell’azione delle isti-tuzioni sanitarie e a cui, di nuovo, per valutarel’efficacia di un’azione intrapresa, si deve ricorre-re per l’analisi dell’impatto sullo stato di salutedella popolazione. Si pensi, a titolo di esempio,alle attività di screening per il tumore al seno o alcolon retto.Nello schema proposto gli outcome, che comun-que sono oggetto di monitoraggio da parte siadell’agenzia sanitaria regionale che della Direzio-ne Generale regionale stessa, sono preceduti dairisultati di output, che concorrono fortemente adeterminarli. Questi risultati di output sono clas-sificati in quattro ambiti:� la soddisfazione dell’utente e del cittadino per il li-vello di qualità dei servizi ricevuti, compren-siva della sua possibilità a partecipare attiva-mente ai processi di erogazione dei servizi co-me soggetto centrale e protagonista dei per-corsi di cura e di assistenza;

� la qualità clinica e sanitaria dei servizi erogati;� l’appropriatezza e la continuità di cura nei per-corsi assistenziali, come risultati strategici in li-nea con gli orientamenti del Piano sanitarioregionale;

� la capacità di mantenere condizioni di equili-

brio economico finanziario nella gestione del si-stema Azienda.

Nel modello proposto questi risultati sono rag-giungibili con modalità ed azioni assai differentiin base al contesto Aziendale specifico. Le deter-minanti, quindi, necessitano un’analisi specificaper i tre livelli assistenziali presenti nelle Ausl to-scane ossia:� ospedale;� territorio, comprensivo della medicina e pedia-tria di base, l’attività diagnostica e ambulato-riale, nonché di tutti i servizi coordinati dallezone (Sert, Handicap, salute mentale adulti e

La valutazione come metodo di lavoro: il sistema adottato dalla Regione Toscana

91

IQUADERNID

I

7 Confronta www.Hospital report.com

Page 6: Quaderno Monitor Rivista - iris.sssup.it

infanzia, consultori…);� prevenzione, comprensiva dei settori di veteri-naria, Igiene e salute pubblica,medicina dellosport, medicina del lavoro, medicina legale.

In questi tre contesti, le dimensioni più rilevantida monitorare nel processo di erogazione del ser-vizio sono molteplici e così sintetizzabili:� l’efficacia strutturale, intesa come livello di ade-guatezza della struttura (edifici, attrezzature,spazi, arredi) rispetto alla missione e alla tipo-logia di servizi che l’istituzione sanitaria è chia-mata ad assolvere nell’ambito del sistema sani-tario regionale;

� l’efficienza operativa, relativa alle modalità concui le risorse disponibili sono utilizzate; l’at-tenzione è rivolta all’analisi della produttivitàdel sistema e dei suoi fattori;

� l’accesso, inteso come l’insieme delle modalità concui viene garantito e facilitato l’accesso ai servi-zi sanitari con logiche di equità e trasparenza;

� la sicurezza ed il risk management, intesa comecapacità di operare garantendo la sicurezza ditutti i soggetti del sistema, sia gli operatori chegli utenti.

Orientano la fase del processo di erogazione deiservizi sanitari sia il contesto ambientale sia i fat-tori specifici di input (vedi la parte sinistra dellafigura 2). La tipologia di popolazione, la confor-mazione del territorio, l’evoluzione dei servizierogati fino ad oggi e gli obiettivi specifici iden-tificati a livello regionale chiaramente influisco-no sulle scelte e sulle modalità adottate da cia-scuna Azienda per servire il proprio territorio.Rispetto alle caratteristiche della popolazione edel territorio ciascuna Azienda sanitaria concor-da con la Regione gli obiettivi strategici da per-seguire, alla luce degli orientamenti presenti nelPiano sanitario regionale.Oltre quindi agli indi-catori di risultato e di processo, il modello preve-de la misurazione dell’efficacia strategica, intesaappunto come capacità di pianificare e program-mare l’attività in linea con le esigenze del terri-torio, ossia degli utenti,ma anche la capacità del-l’Azienda di operare nel contesto del sistema sa-nitario regionale e di seguire gli orientamenti delPiano sanitario regionale e delle delibere succes-sive di applicazione.Il gruppo di ricerca e l’Assessorato alla salute re-

I SISTEMI DI VALUTAZIONE DEI SERVIZI SANITARI

92

IQUADERNID

I

FIGURA 2 - Il Sistema Azienda

Processo di erogazione dei servizi

Accesso

Prevenzione

Contesto ambientalee fattori di input

Dati relativi allapopolazione

residente

Dati relativi agli utentiextraAUSL e extra

regione

Dati relativi alcontesto socio

economico

Orientamentostrategico regionale

Obiettivi

Priorità

Azioni

Vincoli

Efficienza

Capacitàdi offerta

Efficaciastrutturale

Indicatori globalidi processo

TerritorioOspedale

ManagementAziendale

Sicurezza riskmanagement

Risultati di output

Qualità per il cittadino:

Fedeltà coinvolgimentoe soddisfazione degliutenti

Appropriatezza econtinuità nei percorsiassistenziali

Risultati clinici sanitarie socio sanitari

Performanceeconomico finanziaria

Efficacia strategica

� � � � �

Risultati outcome

Livelli di sanitàraggiunta

Dati di epidemiologiae statistiche cliniche

Aree di interesseregionale

Page 7: Quaderno Monitor Rivista - iris.sssup.it

gionale, pur condividendo la rappresentazione nelmodello delle modalità con cui le Aziende per-seguono i loro risultati e pur volendo mantene-re una dimensione Aziendale del sistema, hannoconcordato di concentrare l’attenzione nel mo-nitoraggio dei risultati (le aree con sottofondocolorato nella figura 2) e su pochi macro indica-tori di processo, lasciando alle Aziende l’autono-mia e la responsabilità di monitorare gli indica-tori di processo per livello assistenziale, necessariper comprendere e gestire le determinanti dei ri-sultati stessi. Fa eccezione, rispetto a questa scel-ta, la decisione di considerare, nel sistema regio-nale di misurazione della performance, la valuta-zione del management, intesa come l’insieme del-le scelte e delle politiche adottate dalla direzioneper gestire e governare il sistema Aziendale ed inparticolare le risorse umane.Questa eccezione sifonda sulla considerazione che il management èscelto, nella figura del direttore generale, dall’As-sessore regionale per la salute ed il suo operatoquindi è da considerare oggetto rilevante in otti-ca di valutazione regionale. Per la rappresentazio-ne finale dei risultati del sistema di valutazionedella performance sono state individuate sei di-mensioni di sintesi, capaci di evidenziare gli aspet-ti fondamentali della performance in un sistemacomplesso quale quello sanitario (vedi tabelle pa-gina 98 e seguenti).Le dimensioni della valutazione sono:� La valutazione dei livelli di salute della popolazione (A)

Pur sapendo che questa tipologia di valori, quali lamortalità nel primo anno di vita o la mortalità perdiverse patologie, si muove lentamente nel tempoe che un miglioramento registrato oggi spesso èdeterminato dalle scelte gestionali effettuate, è sta-to ritenuto opportuno mantenere nel sistema al-meno tre indicatori di sintesi, anche per mantene-re focalizzata l’attenzione dei managers sul fine ul-timo di ogni sforzo fatto, ossia sul miglioramentodel livello di salute della popolazione.� La valutazione della capacità di perseguire gli orien-

tamenti del sistema regionale (B)

Le Aziende sanitarie toscane rispondono, infatti,

non solo della loro capacità di essere strutture ef-ficienti ed efficaci come entità autonome ma an-che come soggetti costituenti il Sistema sanitarioregionale che operano in logica di squadra pervalorizzare le sinergie e per garantire accesso eequità a tutti i cittadini della Regione. In questosenso è importante che le Aziende siano attentee capaci di implementare gli orientamenti strate-gici regionali, ossia di applicare le delibere regio-nali nei tempi e nei modi indicati.� La valutazione socio sanitaria (C)

In questa dimensione sono compresi i risultati diqualità, di appropriatezza, di efficienza e di capa-cità di governo della domanda e di risposta delsistema sanitario sia per le attività dell’ospedale,del territorio e della prevenzione.� La valutazione esterna (D)

In questa dimensione viene considerata la valu-tazione data all’attività Aziendale dai cittadini co-me utenti e non dei servizi sanitari. Si considerain questa dimensione anche l’efficacia dei pro-cessi di comunicazione esterna delle Aziende sa-nitarie.� La valutazione interna (E)

In questa dimensione viene considerato il livellodi soddisfazione del personale delle Aziende sa-nitarie. Ormai molti studi evidenziano la rile-vante correlazione tra il livello di soddisfazionedei dipendenti, il clima organizzativoAziendale ela soddisfazione degli utenti dei servizi erogati.Puntare sul miglioramento dei risultati quindi ne-cessita di una rilevante focalizzazione sui sistemie i meccanismi gestionali atti a sostenere il coin-volgimento e la responsabilizzazione degli ope-ratori negli obiettivi di miglioramento dei servi-zi erogati.� La valutazione dell’efficienza operativa e della per-

formance economico finanziaria (F)

Si tratta di verificare la capacità Aziendale di per-seguire le tre condizioni di equilibrio della dina-mica economico finanziaria, ossia l’equilibrio red-dituale, l’equilibrio monetario, finanziario e pa-trimoniale. In questa dimensione sono inoltre og-getto di osservazione indicatori di efficienza ope-

La valutazione come metodo di lavoro: il sistema adottato dalla Regione Toscana

93

IQUADERNID

I

Page 8: Quaderno Monitor Rivista - iris.sssup.it

rativa che possano evidenziare la produttività del-le risorse e l’utilizzo di strumenti gestionali orien-tati all’ottimizzazione e razionalizzazione dell’u-so delle risorse disponibili. Sono quindi oggettodi valutazione il funzionamento dei servizi inter-ni (controllo di gestione, approvvigionamenti, si-stema informativo…) e la capacità di utilizzo daparte dell’Azienda degli strumenti fondamentalidi management (meccanismi di programmazio-ne e controllo, formazione, comunicazione in-terna…).Per rappresentare adeguatamente i risultati ri-portati da ogni Azienda in ciascuna delle di-mensioni individuate era necessario individuareuna modalità semplice e chiara, capace di evi-denziare subito lo stato dell’arte della perfor-mance dell’Azienda analizzata. Particolarmentefrequente nella bibliografia e strumentazione ma-nageriale l’utilizzo della metafora della “tela diragno”, ossia di uno schema a più dimensioni incui i risultati sono posizionati sulla “tela” e dovemaggiore è la vicinanza al centro peggiori sonoi risultati.Il gruppo di ricerca del Laboratorio MeS ha op-tato per una simbologia che fosse ancora più sem-plice e che avesse una immediata valenza positi-va. È stato infatti utilizzato lo schema del “bersa-glio” con cinque diverse fasce di valutazione sud-diviso in sei settori circolari rappresentativi dellesei dimensioni. L’Azienda capace di centrare gliobiettivi e di ottenere una buona performancenelle diverse dimensioni avrà i propri risultati ri-portati vicino al centro del bersaglio in zona ver-de, mentre i risultati negativi compariranno nel-le fasce via via più lontane dal centro.Le fasce in cui la valutazione è stata espressa so-no cinque:� fascia verde, fascia più centrale al bersaglio, cor-rispondente ad una performance ottima. In unascala di valutazione a cinque fasce, il punteg-gio sintetico si posiziona tra il 4 e il 5;

� fascia verde chiaro, quando la performance èbuona e la valutazione sintetica oscilla tra il 3e il 4;

� fascia gialla, quando la valutazione è tra il 2 eil 3 e la performance non è negativa ma cer-tamente presenta ampi spazi di migliora-mento;

� fascia arancione, quando la valutazione è tra l’1e il 2 e presenta una situazione preoccupante.La performance può essere, anzi deve esseremigliorata;

� fascia rossa, quando la performance è sotto l’u-nità 1.

Per poter procedere al posizionamento delle mi-sure relative agli indicatori individuati per ognidimensione oggetto del sistema di valutazionenelle cinque fasce sono stati adottati i seguenticriteri di riferimento:� se esistente, è stato considerato uno standardinternazionale riconosciuto (ad esempio: il tas-so di cesarei massimo auspicato dall’Oms );

� in caso di assenza di uno standard internazio-nale di riferimento è stato considerato unostandard regionale definito con delibera regio-nale;

� in caso di assenza di uno standard regionale diriferimento è stata considerata la media regio-nale corretta con eventuali fattori di risk ad-

justment per rendere possibile il confronto trale Aziende (in genere sono stati considerati ilgenere di appartenenza e l’età degli utenti).

Ogni Azienda, quindi, vede rappresentata sinteti-camente la propria performance nel suo bersa-glio, in cui vengono riportati i valori di sintesi dicirca 50 indicatori selezionati. La maggior partedegli indicatori rappresentano la sintesi di un “al-bero” di più indicatori.A titolo di esempio, la va-lutazione della soddisfazione della popolazionerelativa alla medicina di base è data dalla mediadella valutazione di vari items su cui è stato ri-chiesto un giudizio all’utenza quali l’organizza-zione e i tempi del servizio, la capacità di comu-nicazione del medico al paziente, la gentilezza ela disponibilità nella relazione, la competenza pro-fessionale dimostrata, la capacità di presa in cari-co e di indirizzo nei percorsi assistenziali, la dis-ponibilità alle visite domiciliari (vedi figura n. 3).

I SISTEMI DI VALUTAZIONE DEI SERVIZI SANITARI

94

IQUADERNID

I

Page 9: Quaderno Monitor Rivista - iris.sssup.it

Complessivamente gli indicatori monitorati ognianno e oggetto di valutazione sono circa 130 ealtrettanti indicatori sono inseriti nella reportisti-ca senza valutazione ma quali strumenti per faci-litare la comprensione delle determinanti del ri-sultato conseguito. Il loro numero complessivopuò variare perché ogni anno la Regione, in par-ticolare nella dimensione relativa alla capacità diperseguire gli obiettivi strategici, può modificaregli obiettivi stessi e i relativi risultati da monito-rare in base alle priorità strategiche dell’anno. Inol-tre i risultati possono avere una differente tempi-stica di misurazione e valutazione in base alla ri-levanza e alla possibilità effettiva di modificare intempi brevi i risultati ottenuti. I tempi di attesa,ad esempio, sono misurati mensilmente mentre lasoddisfazione dei cittadini per i servizi della me-dicina di base è misurata ogni due anni.Le dimensioni del sistema di valutazione com-prendono indicatori alimentati con dati prove-nienti dal sistema informativo regionale, dai bi-lanci Aziendali e da indagini sistematiche con si-gnificatività statistica, realizzate direttamente dalLaboratorio Management e Sanità per garantirel’omogeneità delle metodologie adottate che ri-sultano essenziali per ottenere dati confrontabili.Non sempre però i dati disponibili nel sistema in-

formativo regionale o ricavabili mediante le in-dagini di campo sono stati sufficienti a soddisfa-re il fabbisogno di controllo, soprattutto nell’am-bito della dimensione relativa alla capacità di per-seguire gli orientamenti regionali.A tal fine quin-di sono stati attivati processi di valutazione ad hocdi cui al prossimo paragrafo.In termini di modalità di uso il bersaglio a livel-lo regionale e per singola Azienda è stato fino adoggi fornito su formato elettronico con modali-tà che permettono, cliccando su ciascun puntopresente sul bersaglio, di visualizzare l’indicatorenel dettaglio con i punteggi a confronto tra leAziende nonché il dato in trend, la tabella dei da-ti e la scheda illustrativa delle modalità di calco-lo, così come illustrato nei capitoli successivi.Nelbersaglio sono indicati i risultati relativi agli ulti-mi dati disponibili.

5. I PROCESSI DI VALUTAZIONE “AD HOC”In termini metodologici il gruppo di ricerca haprevisto che il sistema di valutazione della per-formance delle Aziende sanitarie toscane fosse ali-mentato da flussi informativi sistematici, attendi-bili e certi nelle fonti e nei processi di elabora-zione, in modo da garantire la riproducibilità delsistema, l’attendibilità dei risultati e la possibilità

La valutazione come metodo di lavoro: il sistema adottato dalla Regione Toscana

95

IQUADERNID

I

FIGURA 3 - La valutazione della medicina di base

Valutare il grado disoddisfazione della

popolazione sull’operatodella medicina

di base

Fonte: Indagine telefonica allapopolazione - Giugno 2004

VALUTAZIONE DELLA MEDICINA DI BASE

SODDISFAZIONECOMPLESSIVA MMG

Organizzazione etempi di accesso

Comunicazionesanitaria

Gentilezza edisponibilità

Competenzaprofessionale

Capacità diindirizzo nei

percorsiassistenziali

Visitedomiciliari

Page 10: Quaderno Monitor Rivista - iris.sssup.it

di misurare anche l’andamento nel tempo dellaperformance.Disporre di un flusso informativo sistematico, cer-to e attendibile a livello regionale, però richiedemolto tempo e un grande sforzo da parte di tut-ti i soggetti del sistema.Tale investimento, quin-di, è da proporre e da realizzare solo per gli aspet-ti che certamente richiedono attenzione conti-nua nel tempo e in cui il monitoraggio a livelloregionale è essenziale per valutare i processi com-plessivi di miglioramento del sistema sanitario edel livello di salute della popolazione.Spesso, però, sia a livello Aziendale che regionalepuò essere estremamente utile e necessario poterdisporre di informazioni e dati in tempi rapidi,capaci di segnalare al management l’impatto dialcune decisioni, o la realtà di alcune situazioni inessere nell’organizzazione o nei processi di ero-gazione di alcuni servizi. Si può trattare di situa-zioni precise e puntuali ma che sono ritenute cri-tiche e sintomatiche da parte della direzione. Inquesti casi non appare praticabile l’idea di impo-stare un sistema di rilevazione sistematico ma puòessere opportuno attivare un processo di indagi-ne integrativo al sistema di valutazione sistemati-co che il team di ricerca ha denominato “valuta-

zione ad hoc”.

Si tratta di processi con un orizzonte di analisimolto puntuale e specifico in cui si ricerca unarisposta semplice al quesito base, dove il risulta-to atteso può essere anche di tipo qualitativo, tra-sformabile successivamente in termini quantita-tivi, se necessario. I tempi di risposta attesi perquesta risposta sono brevi e le modalità con cuisi attiva il processo di indagine può essere anchedi tipo esterno, ossia senza il coinvolgimento deisoggetti interni coinvolti nel processo di eroga-zione dei servizi o nello svolgimento delle atti-vità oggetto di analisi. La logica di effettuazio-ne di questi processi di valutazione ad hoc, in li-nea con l’essere puntuale e specifica, è quella difornire una fotografia della situazione indagatae non un “film” con un prima, un durante e unpost. La misura presenta la situazione del mo-mento così come appare tramite lo strumentodi analisi.Gli indicatori che si possono ricavare da questatipologia di indagine sono da considerare come“segnali sentinella”, utili per attivare eventualisuccessive indagini di approfondimento se ne-cessarie. In particolare nel contesto della Re-gioneToscana questa metodologia può essere uti-le per:� verificare lo stato di attuazione di alcune De-

I SISTEMI DI VALUTAZIONE DEI SERVIZI SANITARI

96

IQUADERNID

I

FIGURA 4 - I processi di valutazione “ad hoc”

I PROCESSI DIVALUTAZIONE

Sistema

Somplessa e articolata

Quantitativa

Medio-lunghi

Condivisa

SISTEMICA

OGGETTO

RISPOSTA

ANALISI

TEMPI

GESTIONE

AD HOC

PUNTUALE

SEMPLICE

QUALITATIVA

BREVI

PREVALENTEMENTEESTERNA

Page 11: Quaderno Monitor Rivista - iris.sssup.it

libere Regionali di elevata criticità;� verificare la presenza di alcune situazioni di cri-ticità nei processi di erogazione dei servizi,ma-gari in seguito a segnalazioni ricevute da asso-ciazioni, cittadini, enti locali;

� analizzare lo stato di fatto di un servizio/attivitàe le differenze tra diverse realtà locali per orien-tare e supportare il processo di programmazio-ne a livello regionale e Aziendale.

Gli strumenti adottabili nei processi di valutazio-ne ad hoc sono molteplici. Nel sistema di valuta-zione della performance delle Aziende sanitarietoscane sono stati testati ed utilizzati i seguenti:� i focus group, ossia indagini qualitative con il co-involgimento di un gruppo di utenti selezio-nati per discutere su opinioni, valutazioni e per-cezioni rispetto all’assistenza sanitaria ricevuta;

� le osservazioni strutturate: ossia indagini qualitati-ve basate sull’osservazione passiva dello svolgi-mento di un servizio/attività secondo uno sche-ma determinato, con eventuale ripresa fotografi-ca delle situazioni oggetto di osservazione;

� le esperienze di utente simulato, ossia indagini qua-litative in cui il ricercatore veste i panni dell’u-tente testando il servizio oggetto di analisi informa diretta o telefonica;

� le interviste strutturate, ossia indagini qualitativerealizzate mediante interviste di profondità al-l’utente/paziente seguendo una traccia prede-finita.

I focus group e gli altri strumenti utilizzati neiprocessi di valutazione ad hoc hanno permessodi elaborare degli indicatori e di ottenere dellemisure. La diversa natura di tali misure è stata se-gnalata nel sistema di valutazione in modo dif-ferente rispetto alle misure elaborate medianteuna metodologia sistematica, ovvero con il sim-bolo di un campanello. Questo segno avverteche la misura ha valore solo segnaletico, chepuò necessitare di ulteriori e più approfonditeindagini. Gli indicatori ad hoc sono comunquepochissimi sul bersaglio, non più di due o treogni anno su cinquanta punti di valutazionesintetica.

6. GLI INDICATORI DEL SISTEMANelle tabelle successive sono presentati gli indi-catori selezionati per ciascuna delle sei dimen-sioni della valutazione e i sottoindicatori che com-pongono gli alberi di valutazione quando questarisulta composta da più indicatori.Nel caso in cui la valutazione si basi su più indi-catori il risultato finale può essere il frutto di unasemplice media oppure di una media “pesata” checonsidera in modo differenziato i risultati conse-guiti in base alla rilevanza degli indicatori consi-derati. Per ogni indicatore di sintesi la scelta spe-cifica è stata effettuata con il coinvolgimento de-gli operatori Aziendali nella fase di sperimenta-zione e successivamente con l’approvazione del-la direzione regionale e del management Azien-dale. Il peso che ciascun indicatore ha nel calco-lo della valutazione sintetica finale può anche sub-ire modifiche da un anno all’altro se la Regioneintende dare maggiore rilevanza ad un risultatorispetto ad altri.L’indicatore C7 nell’ambito della valutazionesanitaria, ad esempio, misura la qualità del per-corso materno infantile ed il risultato è statocalcolato nel 2006 e ora nel 2007 consideran-do il tasso dei cesarei depurato da complessitàcon un peso pari al 50%,mentre il restante 50%è il risultato della media tra gli altri 4 indicato-ri che compongono l’albero dell’indicatore C7.Nel 2005 invece tutti gli indicatori che com-pongono l’indicatore complessivo avevano lostesso peso.La tabella successiva indica quali indicatori sonostati selezionati per ciascun anno e oggetto di va-lutazione. Sono inoltre indicati nella colonna“obiettivo” quali indicatori sono stati collegati intermini diretti e quantitativi al sistema di incen-tivi per i direttori generali della Ausl toscane. Laselezione degli indicatori è stata condivisa con ledirezioni Aziendali e con i professionisti sanitari.Il Laboratorio MeS nel tempo ha provveduto acorreggere le modalità di calcolo di alcuni di que-sti in base ai suggerimenti migliorativi pervenu-ti dalle Aziende.Le fonti dei dati sono il sistema

La valutazione come metodo di lavoro: il sistema adottato dalla Regione Toscana

97

IQUADERNID

I

Page 12: Quaderno Monitor Rivista - iris.sssup.it

Codice indicatore Indicatori e sottoindicatoriBersaglio Bersaglio Obiettivo Bersaglio Obiettivo

2005 2006 2006 2007 2007VALUTAZIONE SALUTE DELLA POPOLAZIONE (A)A1 Mortalità Infantile � � �

A1.1 Mortalità nel primo anno di vita � � �

A1.2 Mortalità neonatale precoce (primi 6 giorni di vita) � �

A1.3 Mortalita neonatale totale (primi 28 giorni di vita) � �

A2 Mortalità tumori � � �

A3 Mortalità per malattie cardiocircolatorie � � �

A4 Mortalità per suicidi � �

CAPACITÀ PERSEGUIMENTO ORIENTAMENTI REGIONALI (B)B1 La costituzione e il funzionamento del CORD �

B2 Attivazione e conoscenza del SUP �

B3 Tempi di attesa per visite specialistiche � � � � �

B4 Strategie per il controllo del dolore � � �

B4.1 Consumo di farmaci oppioidi � � �

B4.2 Indagini di soddisfazione degli utenti � �

B5 Estensione ed adesione allo screening � � � � �

B5.1 Screening Mammografico � � � � �

B5.2 Screening cervice uterina � � � � �

B5.3 Screening colorettale � � � � �

B6 Donazioni di organi � � �

B6.1 % Morti Encefaliche individuate � � �

B6.2 % Donatori Effettivi � � �

B7 Grado di copertura vaccinale � � � �

B7.1 Grado di copertura per vaccino MPR � � �

B7.2 Grado di copertura per vaccino antinfluenzale � � � �

B8 Tempestività SIR � � � �

B9 Equità ed accesso � �

B9.1 Percorso materno infantile � �

B9.2 Pronto Soccorso � �

B9.3 Ricovero Ospedaliero �

B9.4 Servizi territoriali �

B10 Organizzazione del percorso assistenziale del ricovero �

B10.1 Percezione processi organizzativi �

B10.2 Coordinamento �

B11 Complessità (AOU) � �

B11.1 Percentuali Drg Chirurgici di alta complessità � �

B11.2 Peso medio Drg Chirurgici di alta complessità � �

B12 Mobilità (AOU) � �

B12.1 Indice di fuga intraregionale extra Area Vasta � �

B12.2 Indice di fuga extraregionale � �

B12.3 Indice di attrazione intraregionale extra Area Vasta � �

B12.4 Indice di attrazione extraregionale � �

B13 Continuità assistenziale: percorso materno infantile � � � �

B13.1 Pre-parto � � �

B13.2 Parto � � �

B13.3 Post-parto � � �

B14 Tempi di attesa per prestazioni di diagnostica � �

B15 Capacita attività di ricerca � �

VALUTAZIONE SANITARIA (C)C1 Valutazione della capacità di governo della domanda � � � � �

C1.1 Tasso ospedalizzazione globale � � � � �

C1.2 Tasso ospedalizzazione ricoveri ordinari � � �

C1.3 Tasso ospedalizzazione DH � � �

C1.4 Tasso ospedalizzazione DH medico � � �

C1.5 Tasso ospedalizzazione DH chirurgico � �

I SISTEMI DI VALUTAZIONE DEI SERVIZI SANITARI

98

IQUADERNID

I

Le dimensioni della valutazione delle performance

Page 13: Quaderno Monitor Rivista - iris.sssup.it

C1.6 Tasso di prestazioni ambulatoriali � � �

C2 Valutazione di efficienza delle attività di ricovero � � � �

C2.10 Indice di performance degenza media �

C2.1 Degenza media colecistectomia laparoscopica � � �

C2.2 Degenza media isterectomia � � �

C2.3 Degenza media prostatectomia � � �

C2.4 Degenza media ictus � �

C2.5 Degenza media infarto � �

C2.6 Degenza media emorragia gastrointestinale � �

C2.7 Degenza media scompenso � �

C2.8 Degenza media polmonite � �

C3 Valutazione di efficienza pre-operatoria � � � � �

C4 Valutazione di appropriatezza � � � � �

C4.1 % Drg medici da reparti chirurgici (divisi RO e DH) � � � � �

C4.2 % colecistectomie laparoscopiche in Day-Surgery � � � � �

C4.3 Drg LEA Chirurgici: % standard raggiunti � � �

C4.4 Drg LEA Medici: % standard raggiunti � � �

C5 Valutazione della qualità clinica � � � � �

C5.1 % ricoveri ripetuti entro 30 giorni � �

C5.2 % fratture anca operate in 2 gg � � � � �

C5.3 % prostatectomie transuretrali � �

C5.4 Mortalità intraospedaliera per infarto � �

C5.5 Mortalità intraospedaliera per embolia polmonare � �

C5.6 % di utilizzo di 1 mammaria nel by-pass (AOU) � �

C5.7 % di interventi di riparazione della valvola mitrale (AOU) � �

C5.8 % ventilazioni meccaniche non invasive (AOU) � �

C5.9 % appendicectomie in laparoscopia �

C5.10 % interventi del colon in laparoscopia �

C6 Rischio clinico � �

C6.1 Indice di sinistrosità �

C6.2 Sviluppo del sistema di incident reporting:C6.2.1 Indice di diffusione degli audit �

C6.2.2 Indice di diffusione delle Mortality & Morbidity Review �

C6.3 Impatto economico �

C6.4 Sicurezza del paziente:C6.4.1 Sepsi post-operatoria per chirurgia d'elezione �

C6.4.2 Mortalità intraospedaliera nei dimessi con Drg a bassa mortalità � �

C6.4.3 Embolia polmonare o trombosi venosa post-chirurgica � �

C7 Valutazione Materno-Infantile � � � � �

C7.1 % cesarei depurato � � � � �

C7.2 % parti indotti � � �

C7.3 % episiotomia depurato � � �

C7.4 Tasso neonati con Apgar<7 al 5° minuto � � �

C7.5 % di utilizzo di ventosa o forcipe � �

C7.6 Tasso di ricoveri in pediatria: RO e DH � �

C7.7 Tasso di fughe per parto � � �

C8 Valutazione dell'efficacia sanitaria delle attività territoriali � � � �

C8.1 Tasso ospedalizzazione scompenso � � � �

C8.2 Tasso ospedalizzazione polmonite � � � �

C8.3 Tasso ospedalizzazione diabete con complicanze a lungo periodo � � �

C8.4 Tasso concepimenti minorenni � �

C8.5 Tasso di ricoveri >30 gg sulla popol. resid. � �

C8.6 Tasso di ricoveri con patologie psichiatriche per residenti maggiorenni � �

C8.7 % di TSO sui ricoveri con patologie psichiatriche, per residenti � �

C8.8 Tasso ospedalizzazione BPCO � �

C8.9 Tasso di ricoveri con patologie psichiatriche per residenti minorenni �

C8.10 % ricoveri ripetuti a 31-180 giorni �

La valutazione come metodo di lavoro: il sistema adottato dalla Regione Toscana

99

IQUADERNID

I

Codice indicatore Indicatori e sottoindicatoriBersaglio Bersaglio Obiettivo Bersaglio Obiettivo

2005 2006 2006 2007 2007

Page 14: Quaderno Monitor Rivista - iris.sssup.it

C8.11 % IVG su straniere �

C9 Valutazione dell'appropriatezza prescrittiva � �

C9.1 Inibitori di pompa protonica: riduzione n. unità posologiche � �

C9.2 Statine: tasso di abbandono � �

C9.3 Sostanze ad azione sul sistema renina-angiotensina: % confezioni sartani � �

C9.4 Inibitori selettivi ricaptazione serotonina: riduzione DDD � �

C10 Valutazione del percorso oncologico � �

C10.1 % interventi conservartivi per tumore alla mammella � �

C10.2 % interventi per tumore al polmone fuori Area Vasta (AOU) � �

C10.3 % deceduti a casa per tumore maligno � �

VALUTAZIONE ESTERNA (D)D1 Percorso oncologico � �

D2 Medicina di base � � �

D3 Attività ambulatoriale � � �

D4 Attività diagnostica � � �

D5 Servizi di prevenzione �

D6 Conoscenza URP �

D7 Presa in carico del paziente nel percorso oncologico �

da parte del MMGD8 Soddisfazione percorso emergenza � � �

D8.1 Percorso complessivo � � �

D8.2 Accoglienza e privacy � � �

D8.3 Personale � � �

D9 Percentuale abbandoni pronto soccorso � �

D10 Insoddisfazione percorso emergenza � � � �

D10.1 Percorso complessivo � � � �

D10.2 Accoglienza e privacy � � � �

D10.3 Personale � � � �

D11 Qualità dell'assistenza del ricovero �

D11.1 Cortesia e disponibilità �

D11.2 Accuratezza dell’assistenza sanitaria �

D11.3 Valutazione complessiva cure prestate �

D11.4 Valutazione complessiva dell’esperienza di ricovero rispetto alle aspettative �

D12 Umanizzazione del ricovero �

D12.1 Empatia �

D12.2 Gestione Dolore �

D13 Comunicazione sanitaria del ricovero �

D13.1 Informazioni cliniche �

D13.2 Partecipazione �

D14 Comfort e ambiente �

D14.1 Orario visiste familiari �

D14.2 Pulizia degli spazi �

D14.3 Confort camera da letto �

D14.4 Gradevolezza dei pasti �

D14.5 Orario pasti �

D15 Servizi distrettuali �

D16 Capacita' di informazione sui servizi della Ausl �

VALUTAZIONE INTERNA (E)E1 Tasso di risposta all'indagine di clima � � � � �

E2 Tasso di assenza � � � � �

E3 Tasso di infortuni dei dipendenti � � �

E4 Condizioni di lavoro per i responsabili � � �

E4.1 Il mio lavoro � �

E4.2 Condizioni di lavoro � �

I SISTEMI DI VALUTAZIONE DEI SERVIZI SANITARI

100

IQUADERNID

I

Codice indicatore Indicatori e sottoindicatoriBersaglio Bersaglio Obiettivo Bersaglio Obiettivo

2005 2006 2006 2007 2007

Page 15: Quaderno Monitor Rivista - iris.sssup.it

E4.3 Lavoro di gruppo � �

E5 Management per i resposabili � � �

E5.1 Comunicazione ed informazione � � �

E5.2 Il mio responsabile � � �

E5.3 La mia Azienda � � �

E6 Condizioni di lavoro per i dipendenti � �

E6.1 Il mio lavoro � �

E6.2 Condizioni di lavoro � �

E6.3 Lavoro di gruppo � �

E7 Management per i dipendenti � � � � �

E7.1 Comunicazione ed informazione � � �

E7.2 Il mio responsabile � � �

E7.3 La mia Azienda � � �

E8 Evoluzione Aziendale � �

E9 Attività di formazione � �

VALUTAZIONE ECONOMICO FINANZIARIA ED EFFICIENZA OPERATIVA (F)F1 Equilibrio Economico � � � � �

F1.1 Equilibrio Economico Generale � � �

F1.2 Equilibrio Economico Gestione Sanitaria � � �

F1.3 ROI � � �

F3 Equilibrio Patrimoniale � � �

F3.1 Indice di disponibilità � � �

F3.2 Tasso di obsolescenza tecnica � �

F3.2.1 Incidenza dei canoni leasing � �

F3.3 Indice di rinnovo degli investimenti � �

F5 Equilibrio Finanziario � � �

F5.1 Indice di elasticità finanziaria �

F5.2 Costo delle scelte di finanziamento � �

F5.2.1 Composizione dei debiti finanziari � �

F5.2.2 Dilazione media dei debiti � �

F7 Servizi Interni � � �

F8 Budget � � �

F10 Governo della spesa farmaceutica � � � � �

F11 Indice di compensazione � � �

F12 Efficienza prescrittiva farmaceutica � �

F12.1 Inibitori di pompa protonica: costo medio unitario � �

F12.2 Statine: costo medio unitario � �

F12.3 Sostanze ad azione sul sistema renina-angiotensina: % Enalapril � �

F12.4 Antagonisti dei recettori alfa adrenergici: % Tamsulosina � �

F12.5 Antidepressivi: costo medio unitario � �

F13 Procedure controllo interno magazzino � �

F13.1 Conoscenza principi contabili � �

F13.2 Esistenza procedura scritta � �

F13.3 Applicazione procedura � �

F13.4 Informazioni prospetti Conto Economico e Stato Patrimoniale � �

F13.5 Informazioni Prospetto Nota Integrativa � �

F13.6 Imputazioni costo ai Centri di Costo � �

F14 Efficienza ed efficacia nella Sanità PubblicaVeterinaria � �

F14.1 Sicurezza Alimentare e Piani Residui � �

F14.2 Flussi informativi � �

F14.3 Qualifiche sanitarie � �

F14.4 Dilazione di pagamento dei rimborsi agli allevatori � �

F15 Efficienza dei servizi di prevenzione e sicurezza sui luoghi di lavoro � �

F15.1 Copertura del territorio � �

F15.2 Efficienza Produttiva � �

La valutazione come metodo di lavoro: il sistema adottato dalla Regione Toscana

101

IQUADERNID

I

Codice indicatore Indicatori e sottoindicatoriBersaglio Bersaglio Obiettivo Bersaglio Obiettivo

2005 2006 2006 2007 2007

Page 16: Quaderno Monitor Rivista - iris.sssup.it

informativo regionale, i bilanci delle Aziende, leindagini realizzate direttamente dal Laborato-rio MeS con le stesse metodologie in tutte lerealtà per quanto concerne la valutazione inter-na ed esterna, e le elaborazioni dell’Agenzia re-gionale di sanità per quanto concerne la valuta-zione dello stato di salute della popolazione. So-lo per gli indicatori tasso di assenteismo e infor-tuni sui dipendenti, nell’ambito della valutazio-ne interna, i dati sono forniti direttamente dalleAziende al Laboratorio Mes che li ha elaborati.

7. LA PERFORMANCE DEL SISTEMASANITARIO TOSCANO NEL 2006Nel 2006 il sistema sanitario nel suo comples-so ha ottenuto una performance positiva su al-cuni indicatori e una performance media nel-

la maggior parte degli indicatori selezionati.Questo è chiaramente dovuto al fatto che i ri-sultati rappresentati sul bersaglio regionale, so-prattutto nel primo anno di elaborazione, inmolti casi sono calcolati sulla media dei risul-tati conseguiti dalle Aziende e ricadono, quin-di, nella fascia gialla. Negli anni successivi alprimo di elaborazione, la Regione è stata ingrado di individuare un obiettivo di azione perciascun indicatore ed il posizionamento del-l’indicatore del bersaglio (vedi figura 6) si è spo-stato dal livello intermedio in base alla capaci-tà del sistema regionale di migliorare. I dati nelbersaglio si riferiscono al 2006, ad eccezionedegli indicatori B5, B13, di quelli di salute del-la popolazione e di alcuni indicatori della di-mensione F.

I SISTEMI DI VALUTAZIONE DEI SERVIZI SANITARI

102

IQUADERNID

I

FIGURA 6 - Il bersaglio regionale 2006

Page 17: Quaderno Monitor Rivista - iris.sssup.it

I bersagli delle singole Aziende appaiono in real-tà assai differenti con un maggior numero di pun-ti estremi in fascia rossa – arancione e nelle fasceverde scuro e verde chiaro. Si veda a titolo diesempio i bersagli (vedi figura 7 e 8).Come appare dal bersaglio regionale (figura 6),gli indicatori in cui si registra la performance piùelevata sono quelli relativi alla dimensione ester-na. I cittadini hanno infatti espresso un giudiziosignificativamente positivo relativamente ai ser-vizi sanitari su cui è stata realizzata l’indagine disoddisfazione, ossia il servizio di ricovero, il pron-to soccorso e il percorso materno infantile.Otti-ma la performance raggiunta riguardo al conte-nimento dei tempi di attesa per le prestazioni am-bulatoriali e specialistiche da erogare entro i 15giorni per la prima visita (indicatore B3). Nel

2007 sono oggetto di misurazione anche i tempidi attesa per le prestazioni diagnostiche.Pur se la valutazione media della soddisfazione èelevata, rimane ancora alto il numero di utenti in-soddisfatti dei servizi di pronto soccorso (indica-tore D10) e si registrano alcune criticità nella con-tinuità e coordinamento del percorso assistenzia-le di ricovero ospedaliero (indicatore B10).Assaicritico è anche l’indicatore E1, che registra unascarsa performance sul tasso di risposta dei di-pendenti all’indagine di clima: la bassa adesioneè un significativo segnale di sofferenza e di scar-sa attenzione alle problematiche Aziendali.Poiché le Aziende mostrano una notevole varia-bilità in molti degli indicatori presenti nella di-mensione socio-sanitaria, a livello regionale si re-gistra una performance media, ad eccezione di un

La valutazione come metodo di lavoro: il sistema adottato dalla Regione Toscana

103

IQUADERNID

I

FIGURA 7 - Il bersaglio 2006 della Ausl 9 di Grosseto

Page 18: Quaderno Monitor Rivista - iris.sssup.it

indicatore. Ciò dipende anche dal fatto che inbuona misura la valutazione si basa su standarddefiniti a livello regionale, proprio per spingere leAziende al miglioramento del processo di offer-ta dei servizi.Confrontando la performance degli indicatori chesono stati oggetto di valutazione nel 2006 e chesono confrontabili con il 2005, a livello regiona-le si registra che le Aziende sanitarie territorialisono riuscite a conseguire un miglioramento del-la performance nel 69% dei casi, mentre per leAziende ospedaliero universitarie il miglioramentodella performance è presente nel 50% dei casi (ve-di figura 9 pag. 105).La differenza dipende dal fatto che le Aziendeospedaliero universitarie hanno adottato il siste-

ma successivamente a quelle territoriali e che han-no avuto meno tempo per orientare la propriaazione in linea con gli indicatori oggetto di ve-rifica. In questo primo periodo di adozione delsistema di valutazione della performance leAzien-de hanno registrato capacità diverse di attivareprocessi di cambiamento e di perseguire miglio-ramenti nei risultati negli indicatori del sistema.Anche se il bersaglio regionale, elaborato sullemedie dei risultati delle Aziende, non presenta al-cun indicatore sulla fascia rossa, questi sono inve-ce presenti in alcuni casi nei bersagli delle singo-le realtà Aziendali.Il grafico della figura 10 evidenzia l’andamentoper tutti gli indicatori del bersaglio confrontabi-li tra il 2005 e il 2006. La colonna in blu eviden-

I SISTEMI DI VALUTAZIONE DEI SERVIZI SANITARI

104

IQUADERNID

I

FIGURA 8 - Il bersaglio 2006 dell’Ausl 11 di Empoli

Page 19: Quaderno Monitor Rivista - iris.sssup.it

zia il risultato in termini di valutazione da 0 a 5ottenuto nel 2005 mentre la parte in viola evi-denzia il differenziale ottenuto nel 2006 in ag-giunta alla colonna del 2005 se positivo oppuresegnalato in negativo se peggiorativo. Come ap-

pare evidente dal grafico, il numero di indicatoriin cui si registra un miglioramento è nettamentesuperiore a quelli in cui la performance è peg-giorata e questo dimostra la capacità del sistemadi attivare cambiamenti, certamente anche grazie

La valutazione come metodo di lavoro: il sistema adottato dalla Regione Toscana

105

IQUADERNID

I

FIGURA 9 - Percentuale regionale di indicatori del 2006 con una performance migliore rispetto al 2005 per AUSL e AOU

100

90

80

70

60

50

40

30

20

10

0

50,09

69,23

� AUSL � AOU

FIGURA 10 - Punteggi 2005 e variazione 2005-2006 degli indicatori Aziende USL (media regionale)

5

4

3

2

1

0

-1

-2

� MEDIA AUSL 2005 � DELTA 2006-2005

Page 20: Quaderno Monitor Rivista - iris.sssup.it

al sistema di reporting introdotto.Significativo è anche analizzare quali indicatoriregistrano tra le Aziende alte variazioni di risul-tato e quali invece hanno un allineamento regio-nale. È ipotizzabile che la performance degli in-dicatori con bassa deviazione standard sia fruttodelle strategie o caratteristiche proprie del siste-ma sanitario,mentre quella con alta variabilità siadeterminata maggiormente dalle scelte del ma-nagement Aziendale. I risultati ad alta variabilitàdipendono molto dalla organizzazione, nonchédalle competenze professionali presenti in cia-scuna realtà Aziendale.Nel primo gruppo si trat-ta di indicatori dell’area “valutazione esterna”, nelsecondo gruppo di indicatori di valutazione so-cio sanitaria e di efficienza operativa. I cittadinitoscani sono in generale molto soddisfatti dei ser-vizi ricevuti o meglio è probabile che approvinocomplessivamente le strategie e l’organizzazionedel sistema sanitario regionale.Assai variegata, invece, la performance nella di-mensione socio sanitaria e di efficienza operati-va, che dipende molto di più dai professionisti edall’assetto organizzativo presente in ogni Azien-da. In questa area la responsabilità del manage-ment Aziendale è più evidente e maggiori sono

le possibilità di apprendimento mediante il con-fronto con le “best practices”. La variabilità tra leAziende ma anche nelle Aziende dipendente daicomportamenti adottati dai professionisti evidenziaquanto sia ancora lontana l’adozione di protocolliclinici uniformi e di linee guida condivise sui per-corsi assistenziali offerti. Il sistema di valutazionesulla dimensione socio sanitaria può contribuiremolto a spingere i professionisti sanitari a condi-videre maggiormente le proprie scelte terapeuti-che e a adottare modelli basati sulla medicina ba-sata sulle evidenze.Infine, l’indicatore che registra la percentuale diSchede di Dimissione Ospedaliera (Sdo) inviatenel corso del 2006 rispetto al corrispondente pe-riodo del 2005, passa dal 54% del primo invio diaprile al 96% dell’invio di gennaio 2007 (vedi fi-gura 12, pag. 107).Tale indicatore è significativoper esprimere la capacità di cambiamento delleAziende sanitarie toscane e soprattutto della vo-lontà di aderire ad un sistema che permette unavalutazione più trasparente e chiara della perfor-mance Aziendale.Tutti gli operatori e i sistemi informativi Azien-dali hanno sostenuto al riguardo un elevato im-pegno. Ricevere con tempestività e continuità nel

I SISTEMI DI VALUTAZIONE DEI SERVIZI SANITARI

106

IQUADERNID

I

FIGURA 11 - Punteggi 2006 e deviazione standard degli indicatori Aziende USL (media regionale)

5

4

3

2

1

0

� MEDIA AUSL 2005 � DEVIAZIONE STANDARD 2006

Valu

tazi

one

Page 21: Quaderno Monitor Rivista - iris.sssup.it

tempo una reportistica capace di evidenziare iprocessi di miglioramento conseguiti dalle Azien-de del sistema a confronto ha sicuramente con-solidato il rapporto di fiducia ed invogliato tuttii soggetti del sistema a fare del loro meglio peralimentare il sistema informativo regionale.

8. CONCLUSIONILa letteratura manageriale affronta la problema-tica della valutazione multidimensionale della per-formance considerando quale oggetto di riferi-mento il sistemaAzienda, evidenziando che la na-tura pubblica o privata non implica sostanziali dif-ferenze in termini di utilità ai processi decisiona-li del management. Se quindi sistemi di valuta-zione multidimensionali possono essere efficace-mente applicati anche in realtà pubbliche, rima-ne però da affrontare il punto successivo ossia sequesti possono essere applicati anche a livello di“sistema”, ossia in dimensione regionale o nazio-nale. Uno strumento come il BSC (balanced sco-recard) acquista utilità nella misura in cui è col-legato alla strategia Aziendale, ne guida l’azionee, mediante la verifica dei risultati con un ap-proccio fortemente orientato allo studio delle de-

terminanti dei risultati, aiuta a riorientare gli sfor-zi nel caso questi non siano in linea con la stra-tegia.È possibile per un sistema pubblico, composto damolteplici soggetti, con missioni a volte integra-te tra di loro, a volte anche in competizione, ap-plicare le stesse logiche? È possibile per un siste-ma pubblico nel suo complesso non solo avereobiettivi politici ma tradurli in strategie di azio-ne coerenti tali da permettere l’applicazione distrumenti di misurazione gestionali quali il BSC?Alcuni autori evidenziano che sia semplicisticorispetto alla realtà l’assunzione di una esistente re-lazione causale tra obiettivi azioni e risultati (Ot-ley, 1999) e questo sembra particolarmente con-divisibile per il settore pubblico. In questo casoinfatti molto dipende dalle scelte di assetto orga-nizzativo adottate.Nel contesto sanitario quantopiù il soggetto politico interviene per definire nonsolo gli obiettivi ma pianifica anche le modalitàe le strategie per perseguirli, tanto più strumentiquali il BSC sono adottabili.Analizzando le ap-plicazioni del BSC realizzate in sanità a livello in-ternazionale (Li-cheng Chang, 2004) e naziona-le si concorda con quanti (Zelman et all. 2003,

La valutazione come metodo di lavoro: il sistema adottato dalla Regione Toscana

107

IQUADERNID

I

FIGURA 12 - Percentuale di SDO inviate nel 2006 rispetto al numero di ricoveri erogatinel corrispondente periodo del 2005

100

90

80

70

60

50

40

30

20

10

0

Gen-Feb 2006 Gen-Mag 2006 Gen-Set 2006 Gen-Dic 2006

54,29

72,02

90,9995,70

Consolidato SDO Consolidato SDO Consolidato SDO Consolidato SDOal 6/04/2006 al 20/06/2006 al 20/10/2006 al 24/01/2007

Page 22: Quaderno Monitor Rivista - iris.sssup.it

Baraldi 2005) apprezzano l’impostazione di fon-do del modello proposto da Kaplan ma eviden-ziano la necessità di opportuni e rilevanti adatta-menti al contesto sanitario che hanno determi-nato, in molti casi, la progettazione di modelliconcettuali assai diversi dal sistema originale.Soprattutto ciò che appare difficile e critico a li-vello di sistema, rispetto al riferimento Azienda-le, non è tanto la rappresentazione multidimen-sionale dei risultati quanto la costruzione della“mappa strategica” tale da consentire di governa-re le relazioni di causa ed effetto tra azioni e ri-sultati conseguiti.Questa può avere, nel contestodei sistemi sanitari pubblici, diversi gradi di ap-plicazione, in base alle scelte di ruolo del sogget-to pubblico. Se questo si propone di svolgere unruolo di programmazione complessiva, la costru-zione della mappa strategica è possibile ed auspi-cabile e permette di avere una visione integratae coordinata dell’agire pubblico, facilitando l’in-dividuazione delle azioni correttive e la valuta-zione anche politica dell’operato dell’ammini-strazione pubblica (Ontario, 2005).Tanto più infatti questa si assume il compito e laresponsabilità della programmazione e pianifica-zione del sistema, limitando la competizione trale istituzioni che compongono il sistema e rego-lando le operazioni di scambio a garanzia del cit-tadino, tanto più l’utilizzo di strumenti comples-si per la valutazione della performance e la pre-disposizione di mappe strategiche diventano es-senziali (De Lancer, 2006). Le logiche del BSCrappresentano quindi un punto di partenza vali-do ma da sviluppare e adattare alla complessitàdell’oggetto da monitorare.L’esperienza del sistema di valutazione per la sa-nità toscana conferma la rilevanza e significativi-tà che un sistema di misurazione multidimensio-

nale dei risultati può avere per migliorare la ge-stione e la performance per un sistema sanitariopubblico. Il cammino della ricerca si orienta og-gi, grazie al patrimonio di dati e informazioni cheora sono a disposizione sulla performance conse-guita negli ultimi anni dal sistema sanitario to-scano, verso l’elaborazione di mappe strategichecapaci di orientare l’azione anche in termini pre-dittivi sia del sistema nel suo complesso sia deisoggetti che lo costituiscono.

BIBLIOGRAFIA

1. Baraldi S. , Il balanced scorecard nelle Aziende sanitarie, Mc

Grow Hill, Milano, 2005, pp2-30.

2. De Lancer P. J. 2006, Performance measurement, an effective

tool for government accountability ? The debate goes on, in

Evaluation, vol12, num 2, pp 219-236, Sage publications,

London.

3. Li-cheng Chang, The Use of a Scorecard Approach for stra-

tegic Performance Measurement, in National Health servi-

ce: Limitations and Implications,WP n. 68, KBS, University

of Kent, 2004.

4. Mc Laughlin Curtis P., Kaluzny Arnold D.,2000,Building client

Centered Systems of Care, in Health Care Management Re-

view, vol.25, n.1, winter

5. Nuti S. 2007, La valutazione della sanità toscana: Report

2006, Edizione Ets Pisa.

6. Opit L.J., 1993, The measurement of Health Service Outco-

mes, OxfordTextbook of health care, London.

7. Otley D, 1999, Performance management : a framework for

management Control Systems Research in Management ac-

counting research,Vol 10, pp.363-382.

8. VEDUNG E.,1997, Public policy and Program evaluation,

Transaction Publishers, New Brunswick

9. ZelmanW. N., Pink G.H, Matthias C. B. , 2003, Use of the

balanced scorecard in Health Care, Journal of health Care

Finance, Summer 2003, pp.1-16.

10.The Ontario Health System Scorecard, Ministry of Health

and LongTerm Care, Ontario Canada, dec. 2005

I SISTEMI DI VALUTAZIONE DEI SERVIZI SANITARI

108

IQUADERNID

I