Criticità metodologiche della valutazione tramite indicatori

valutazione

che significa?

assegnazione di un valore ad una entità

Quindi …

è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo

Quindi …

è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo

Quindi …

E quindi dipende moltissimo da CHI e dal PERCHE’ la si fà

è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo

riguarda un’entità specifica, semplice o complessa, ma che deve essere identificata e conosciuta con precisione

Quindi …

è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo

riguarda un’entità specifica, semplice o complessa, ma che deve essere identificata e conosciuta con precisione

Quindi …

Il pericolo è quello di valutare solo ciò che è illuminato tralasciando la maggior parte della realtà che è invece al buio …

è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo

riguarda un’entità specifica, semplice o complessa, ma che deve essere identificata e conosciuta con precisione

e il “nuovo aggiunto” è la valorizzazione che è strettamente legata all’uso che si vuol fare della valutazione

Quindi …

è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo

riguarda un’entità specifica, semplice o complessa, ma che deve essere identificata e conosciuta con precisione

e il “nuovo aggiunto” è la valorizzazione che è strettamente legata all’uso che si vuol fare della valutazione

Quindi …

Il valore dipende dall’utilizzo!

Con quale percorso?

Con quale percorso?

nomenclaturaUsiamo gli stessi

concetti ?

Usiamo gli stessi nomi ?

Usiamo gli stessi codici ?

nomenclaturaUsiamo gli stessi

concetti ?

Usiamo gli stessi nomi ?

Usiamo gli stessi codici ?

spesa, costo, prezzo, tariffa ….

incidenza, prevalenza puntuale, prevalenza periodale, tasso, percentuale …

performance, efficienza tecnica, efficienza allocativa, appropriatezza organizzativa …

prevenzione, promozione, protezione …

nomenclaturaUsiamo gli stessi

concetti ?

Usiamo gli stessi nomi ?

Usiamo gli stessi codici ?

Residenza Sanitaria Assistita, Residenza Protetta, Ospedale di Riabilitazione …

ASL, ASSL, ALS, …

bilancio, conto economico, budget, …

direttore, dirigente, coordinatore, capo ufficio …

nomenclaturaUsiamo gli stessi

concetti ?

Usiamo gli stessi nomi ?

Usiamo gli stessi codici ?

DRG Revisione IX, X, XIX, …

Tariffa regionale, TUC, Pesi, …

Nomenclatori

Codici CE, Codici LA …

Codici Reparti Ospedalieri, …

nomenclatura

La definizione concettuale e l’assegnazione nominale sono già delle operazioni altamente valutative. ( …Dio quando creò il mondo incominciò a chiamare le cose con il loro NOME …”)

In ogni caso per confrontare realtà differenti dobbiamo innanzitutto essere certi di usare gli stessi concetti e gli stessi nomi.

descrizione

Una descrizione è una copia semplificata e quindi necessariamente, anche se di poco, distorta della realtà.

Ovviamente senza una descrizione non c’è valutazione, ma una descrizione non è di per se una valutazione.

descrizione

Le due qualità principali della descrizione sono:

Attendibilità

Validità

La foto è attendibile? Lo è nella misura in cui corrisponde al soggetto fotografato …

La foto è valida? Lo è nella misura in cui serve per lo scopo per cui la si vuol usare …

descrizione

Le due qualità principali della descrizione sono:

Attendibilità

Validità

La foto è attendibile? Lo è nella misura in cui corrisponde al soggetto fotografato …

La foto è valida? Lo è nella misura in cui serve per lo scopo per cui la si vuol usare …

descrizioneL’elemento

principale che serve descrivere a fini

valutativi è la variabilità presente

nel sistema:

VARIABILITA’ TRA OPERATORI

descrizioneL’elemento

principale che serve descrivere a fini

valutativi è la variabilità presente

nel sistema:

VARIABILITA’ TRA COMUNI

descrizioneL’elemento

principale che serve descrivere a fini

valutativi è la variabilità presente

nel sistema:

VARIABILITA’ TRA OSPEDALI

Variazione dei ricoveri ordinari vs variazione dei ricoveri in day hospital

descrizioneL’elemento

principale che serve descrivere a fini

valutativi è la variabilità presente

nel sistema:

VARIABILITA’ TRA AZIENDE

descrizioneL’elemento

principale che serve descrivere a fini

valutativi è la variabilità presente

nel sistema:

VARIABILITA’ TRA REGIONI

monitoraggio

Un monitoraggio è una descrizione, solitamente continua o ripetuta, confrontata con un riferimento.

La scelta del riferimento può far

cambiare anche completamente il

giudizio.

monitoraggio

Riferimento:

distribuzionale

programmatorio

normativo

puntuale

a intervallo

statico

dinamico

legislativo

scientifico

valori centralivalori di dispersione

minimi o massimirange di accettabilità

assolutoproporzionale

tendenzamobile

nazionaleregionale

di letteraturadi consenso

monitoraggioesempi

valutazione

Ciò che rende tale la valutazione è l’assegnazione di un valore ad ogni modalità riscontrata

E il valore è tale solo in funzione degli interventi che ne devono conseguire.

D = f(R)descrizione realtà

V = f(D) valore descrizione

I = f(V)interventi valore

valutazione

Una valutazione quindi non può in alcun modo essere avulsa da:

- conoscenza delle realtà (descrizione)

- giudizio delle diversità (monitoraggio)

- valore operativo assegnato alla diversità

- intervento decisionale conseguente

valutazione

Ne consegue che:- non può esistere un processo valutativo che vada bene per tutto

- non può separarsi funzionalmente il valutatore dal decisore

- un processo valutativo deve mutare al mutare della realtà da valutare

- due processi valutativi possono portare anche a decisioni differenti

- il modello di valutazione deve essere trasparente a chi lo utilizza

valutazione

Di problemi “tecnici” nel modello di valutazione ce ne sono molti … ne evidenziamo uno per tutti:

La funzione di composizione delle informazioni elementari

La conclusione della valutazione deve essere

univoca se deve esitare in una decisione …

Occorre quindi trovare il modo di comporre unitariamente le differenti indicazioni elementari …

valutazione

La funzione di composizione:

Informale

Il giudizio valutativo sintetico è lasciato al decisore che in modo

soggettivo e non esplicitato (e quindi in

modo non ripetibile) ha il compito di formularlo.

Grafica

L’algoritmo non è di tipo statistico bensì grafico: in questo caso i “pesi” vengono per lo più ignorati e ciò può falsare le conclusioni

Statistica

Si decidono i pesi delle diverse categorie e si

procede con un algoritmo matematico statistico che

però, per la sua complessità, spesso non risulta

comprensibile al decisore

Avviare un progetto di ricerca da realizzare con un gruppo inter-regionale sui sistemi di valutazione finalizzato a:

1) Approfondire aspetti metodologici e tecnici relativi alla valutazione

2) Elaborare, con il consenso delle Regioni, una linea guida su come effettuare le valutazioni

3) Produrre un modello di sistema di valutazione utilizzabile dalle Regioni senza proprie esperienze

Le prospettive di lavoro per Agenas :

in conclusione valutazione è dare un giudizio alla

diversità per avere indicazioni utili a corregere solo gli elementi negativi

grazie per l’attenzione