Valutazione in educazione sanitaria Pio Russo Krauss Responsabile Educazione Sanitaria ASL Napoli 1...
-
Upload
sansone-pavan -
Category
Documents
-
view
223 -
download
1
Transcript of Valutazione in educazione sanitaria Pio Russo Krauss Responsabile Educazione Sanitaria ASL Napoli 1...
Valutazione in educazione sanitaria
Pio Russo Krauss
Responsabile Educazione Sanitaria ASL Napoli 1 Centro
Finalità della valutazione• verificare se l’intervento si è svolto o si sta
svolgendo come programmato
• sapere se l'intervento ha raggiunto i suoi obiettivi, se è stato utile, inutile o nocivo
• conoscere se i risultati conseguiti sono commisurati alle risorse impiegate
• verificare l’accoglienza e il gradimento da parte degli operatori, dei soggetti coinvolti, dei destinatari, della “committenza” o di altri soggetti
• individuare gli eventuali elementi utili, superflui e nocivi dell'intervento
• valutare se un intervento da svolgere è presumibilmente pertinente, coerente, fattibile, efficace, opportuno, efficiente
Parole diverse significati differenti• PRODOTTO: avere realizzato ciò che pensavamo servisse per
ottenere il risultato e l’esito desiderato (es. dare a tutti i pediatri formazione e materiale educativo per i pazienti; dare a tutte le scuole formazione per gli insegnanti, programmazioni educative, materiali didattici, interventi da parte di esperti e consulenza)
• RISULTATO: effetto realizzatosi grazie alla collaborazione del target intermedio e/o finale (es. i pediatri svolgono in maniera migliore la loro funzione di educatori sanitari; gli studenti hanno migliori conoscenze su come alimentarsi correttamente e su quanta attività fisica fare).
• ESITO: benefici per il target finale e/o per la comunità (es. i bambini fanno un’alimentazione più corretta; gli studenti fanno più attività fisica e mangiano meno snack; il Comune aumenta le zone pedonali e le aeree per lo sport).
• IMPATTO: beneficio di salute nella popolazione (es. diminuisce la percentuale di soggetti obesi; diminuisce l’incidenza dell’infarto). Dipende dal progetto ma anche da molti altri fattori
oggettiva, soggettiva, semioggettiva
• valutazione di processo• valutazione d’efficacia
(risultato/esito/impatto)• valutazione economica: - valutazione costo/efficacia - costo/utilità - costo/benefici• valutazione di gradimento• valutazione a priori (ex ante)
Valutazione di processo
Ha il fine di conoscere come effettivamente si è svolto o si sta svolgendo l'intervento (valutazione interna)
Solitamente è in itinere per potere attuare il controllo di gestione (“Come si sta svolgendo il progetto?”)
Sono state svolte le riunioni programmate? Quante persone vi hanno partecipato? Cosa hanno prodotto? E’ stato preparato il materiale didattico nei tempi e modi previsti? Se no per quali motivi? Le unità didattiche sono state svolte nei modi e tempi previsti dai soggetti individuati? Se no per quali motivi? Ecc.
Valutazione d’efficacia
Verifica dei risultati conseguiti (valutazione esterna), dell’efficacia:
Obiettivi di salute
Obiettivi di comportamento
Obiettivi di atteggiamento
Obiettivi cognitivi (conoscenze, competenze ecc.)
Valutazione economicaNella valutazione economica si
rapportano gli output agli input
(valutazione dell’efficienza)• valutazione costi/efficacia: output espressi
in unità fisiche (riduzione della mortalità, della morbilità, anni di vita guadagnati, giorni di malattia evitati ecc.)
• valutazione costi/utilità: output espressi in unità di misura di salute come “giorni di salute”, “anni di vita aggiustati per la qualità” (QALYs)
• valutazione costi/benefici: output espressi in unità monetarie
Valutazione di gradimento
Serve a verificare come un’iniziativa è stata accolta, se i soggetti coinvolti, gli operatori, la “committenza”, hanno gradito o meno l’intervento
Il gradimento di un intervento è solitamente una condizione necessaria, anche se non sufficiente, per l’efficacia
educativa
Valutazione analitica
• struttura organizzativa
• strategia educativa
• materiale didattico
• personale (gli educatori, gli organizzatori ecc.)
• destinatari dell'intervento
• il contesto dell'intervento
Valutazione a priori (ex ante)
Nella valutazione a priori si analizza l’ipotesi di intervento alla luce del contesto nel quale deve essere realizzato, delle acquisizioni della ricerca scientifica e di un sistema di riferimento teorico
Griglia per la valutazione a priori• coerenza agli obiettivi strategici (aziendali, regionali)
• coerenza tra motivazione del progetto e obiettivi; • coerenza tra obiettivi, contenuti e azioni;• coerenza tra obiettivi educativi e metodologie e tecniche
educative • coerenza tra attori e attività• disponibilità delle risorse occorrenti (costi)• realizzabilità e accettabilità delle azioni previste• risultati attesi• presunzione di efficacia (diretta, indiretta)• efficienza in rapporto ad altri possibili interventi• definizione di strumenti e procedure per la valutazione
di processo• flessibilità in caso di imprevisti• definizione di strumenti e procedure per la valutazione
d’esito e di gradimento• sostenibilità• equità
Cronogramma di un intervento1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
Preparazione materiale didattico
Stampa materiale
Formazione operatori 1° liv
Formazione insegnanti
Test ingresso
Itinerario didattico
Incontri con insegnanti
Digitazione dati
Incontri con genitori
Test uscita
Elaborazione dati
Metodologia valutativa• determinazione dell’oggetto del
controllo (decidere cosa si vuole valutare e perché)
• misurazione: a) scelta di strumenti di misurazione
b) utilizzazione degli strumenti mediante procedure
c) registrazione dei risultati
d) lettura dei risultati;
• valutazione propriamente detta: e) confronto del risultato ottenuto con
criteri
f) espressione di un giudizio.
Controllo della temperatura
Interrogazione funzioni delle operazioni
FASI DELLA VALUTAZIONE
Si decide di controllare la temperatura
Si stabilisce su quali parti del programma interrogare gli studenti,
determinazione dell’oggetto del controllo
DETERMINAZIONE DELL’OGGETTO
DEL CONTROLLO
Si utilizzano termometri adatti
Si formulano le domande
scelta di uno strumento
MISURAZIONE
Si seguono procedure codificate
Si interroga usando un dato tono di voce, un dato tempo ecc.
utilizzazione dello strumento mediante procedure
Si annota la temperatura
Si ricordano le risposte date
registrazione dei risultati
Si leggono i risultati Si considerano i risultati
lettura dei risultati
Si giudicano i risultati (cosa dice la letteratura scientifica)
Si giudica se gli studenti hanno risposto in modo soddisfacente
confronto del risultato ottenuto con criteri codificati VALUTAZONE
Si esprime un giudizio sullo stato di salute del paziente
Si esprime un giudizio sulla preparazione
espressione di un giudizio tramite un codice
La misurazione deve essere valida, riproducibile, precisa,
accurata, omogenea, non ambigua, fedele
• Validità: accordo tra ciò che si misura o osserva (l’indicatore) e ciò che è in realtà
• Riproducibilità è l’affidabilità nel tempo e nello spazio della misura. E’ direttamente proporzionale a precisione e accuratezza
• Precisione scostamento dalla media dei diversi valori misurati.
• Accuratezza scostamento della media dei valori misurati dal valore vero.
Questa misurazione come è?
Valore vero Valore vero
Curva dei risultati delle misurazioni
Curva dei risultati delle misurazioni
Questa misurazione come è?
Valore vero Valore vero
Curva dei risultati delle misurazioni
Curva dei risultati delle misurazioni
• omogeneità gli strumenti e le procedure devono essere gli stessi oppure devono essere il più possibile standardizzati
• non ambiguità si deve misurare un solo elemento in maniera tale che l’interpretazione della misurazione sia chiara e univoca
• fedeltà in fase di registrazione e lettura riportare esattamente ciò che si è misurato, senza errori
Tipologie di strumenti per misurare il comportamento
1) il comportamento è riferito dal soggetto: interviste, questionari, test
2) il comportamento è rilevato da un osservatore: osservazione conosciuta dal soggetto (“osservatore visibile”), osservazione ignorata dal soggetto (“osservatore nascosto”); con o senza registrazione (video); libera o strutturata (con una griglia stabilita che guida l’osservazione).
3) il comportamento è rilevato tramite tracce (indicatori).
ESEMPIO
Igiene orale
- oggetto del controllo: 1) lavarsi i denti dopo i pasti, 2) lavarsi i denti in modo correttoQuestionario: ti lavi i denti dopo i pasti? Quante volte ti sei lavato i denti ieri? Quando ti sei lavato i denti ieri?
Osservatore che osserva se e come si lava i denti: la maestra a scuola (ob. 1), ass. sanitario che osserva come si lava i denti (ob.2)
Traccia: quanti bambini si sono portati lo spazzolino in una gita; quantità di placca batterica presente sulla superficie dei denti
Coefficiente di Spearman della correlazione tra le risposte ad alcune domande del questionario e l’estensione della placca sia in ingresso che in uscita (*)
DOMANDA INGRESSO USCITA
QUANTE VOLTE AL GIORNO TI LAVI I DENTI?QUANDO CAMBI LO SPAZZOLINO?
- 0.20 - 0.03
I TUOI GENITORI TI DICONO DI LAVARE I DENTI?MANGI CARAMELLE TRA UN PASTO E L’ALTRO?
- 0.215 - 0.06
0.01 0.08
+ 0.09 + 0.02
L’estensione della placca è espressa come media delle osservazioni di due osservatori nelle due sedute di osservazione prima e dopo l’intervento.
Conclusione: in questo caso il questionario non è uno strumento valido (il soggetto tende a mentire)
INDICE DI CONCORDANZA Nel tempo Tra gli osservatori
LAVAGGIO COMPLETO
SUPERFICE ESTERNA * - 0.01 0.27
SUPERFICE INTERNA
SUPERFICIE MASTICATORIA 0.70 0.87
MOVIMENTO VERTICALE
MOVIMENTO ORIZZONTALE 0.37 0.60
MOVIMENTO ROTATORIO
MOVIMENTO CORRETTO 0.71 0.77
PUNTEGGIO PLACCA
0.32 0.68
0.29 0.61
0.48 0.78
0.45 0.62
0.22 0.67
* Per la variabile superficie esterna, il valore osservato non dipende da discordanze tra osservatori ma dalla mancanza di variabilità nelle osservazioni (assenza di casi di non lavaggio della superficie esterna)
Conclusione: l’osservatore è uno strumento affidabile
Indice k rilevato dal confronto delle osservazioni del lavaggio dei denti e dell’estensione della placca nel tempo e tra osservatori
Risultati prima e dopo l’interventogruppo
assistenti sanit
0 +
Gruppo controllo
0 +
Gruppo maestre
0 +
Lav parz/compl 14 9 9 15 12 6
Superf interna 73 29 122 5 95 10
Superf masticat 34 22 46 22 58 21
Movim corretto 64 45 126 1 96 12
Indice lavaggio 37 35 30 15 80 21
Indice placca 88 16 30 15 14 14
Odds e intervalli di confidenza dei risultati avutiGruppo assist san
Odds IC 95%
Gruppo maestre
Odds IC 95%
Lavaggio parziale 0,4 0,1-1,2 0,30 0,08-1,1
Superf interna 9,7 3,6-26,2 2,57 0,85-7,77
Superf masticatoria 1,4 0,6-2,8 0,8 0,37-1,54
Movimento corretto 88,6 12-657 15,7 2-123
Indice lavaggio 1,9 0,9-4,1 2 0,7-5,2
Indice placca 0,6 0,3-1,3 0,4 0,2-0,9
Conclusione: l’intervento svolto dalle maestre riesce a migliorare l’igiene orale
Definizioni di atteggiamento
Disposizione affettiva verso un oggetto
Costrutto che guida il comportamento umano, risultante da una dimensione cognitiva (le credenze), da una affettiva (la disposizione) e da una conativa (la tendenza all’azione).
Metodi diretti- Domanda singola:
“E’ favorevole alle misure che limitano l’uso dell’auto privata?”
- 3-4 domande (direzione, forza, centralità, impegno comportamentale):
a)“Bisogna ridurre l’uso dell’auto in città? Si No
b) “Com’è la sua convinzione su questo tema? Molto forte, forte ecc.
c) “Quanto è importante questo tema nella scelta del partito da votare alle elezioni comunali? Molto importante, importante ecc.
d) ha mai firmato una petizione per limitare l’uso dell’auto?
- Questionari di Likert pool di affermazioni riguardanti l’oggetto seguite da una scala di
accordo/disaccordo.
Valutazione degli obiettivi cognitivi
Gli obiettivi cognitivi hanno un contenuto e una forma.
Vi sono forme di “basso livello” (es. “sapere a memoria”) e di alto livello (es.
“mettere in relazione”, “applicare”).
Le tassonomie delle categorie formali dell’apprendimento cognitivo cercano di classificare le varie forme degli obiettivi cognitivi ordinandoli gerarchicamente.
categorie operazioni oggetti
conoscenza di contenuti (termini, fatti, ecc.)
definire, distinguere, ricordare, riconoscere
termine, significato, definizione, fatti,
conoscenza dei modi e dei mezzi di trattare contenuti (convenzioni, rapporti, categorie, criteri, metodi)
ricordare, riconoscere, identificare, acquisire
convenzioni, regole, mezzi, simboli, processi, cause, influenze, caratteristiche, criteri, metodi, utilizzazioni
conoscenza di generalizzazioni e astrazioni (leggi, principi, ecc.)
ricordare, identificare, riconoscere
principi, leggi, generalizzazioni, interrelazioni, formulazione
comprensione (traduzione, interpretazione, estrapolazione)
illustrare, riassumere, interpretare, spiegare, dimostrare, inferire, prevedere,
significati, definizioni, rappresentazioni, conclusioni, metodi, conseguenze, corollari
applicazione applicare, collegare, trasferire, utilizzare, classificare
principi, leggi, conclusioni, metodi, teorie, fenomeni,
analisi (elementi, relazioni, principi organizzativi)
scoprire, identificare, classificare, discriminare, dedurre
elementi, ipotesi, conclusioni, argomenti, relazioni, modelli, tecniche,
sintesi (produzione di un lavoro, di generalizzazioni)
scrivere, raccontare, produrre, creare, pianificare, progettare, sintetizzare, formulare
composizioni, strutture, modelli, lavoro, progetti, soluzioni, schemi, teorie, ipotesi
valutazione (su criteri interni o esterni)
giudicare, argomentare, validare, contrastare
esattezza, pertinenza, errori, verità, coerenza, fini, mezzi, teorie
Tassonomia di Bloom
Prove strutturate• Questionari, test: tabella della probabilità
numero di domande
vero-falso 3 risposte 4 risposte
1 2 3 4
2 4 9 16
3 8 27 64
4 16 81 256
5 32 243 1.025
6 64 729 4.096
7 128 2.187 16.384
8 256 6.561 65.536
9 512 19.638 262.144
10 1.024 59.049 1.048.576
Prove non strutturate
• Interrogazioni
• Produzione di un elaborato (relazione, cartellone ecc.)
Esempio• Obiettivi cognitivi: conoscere cosa significa rifiuto, biodegradabile,
riciclaggio, compost, CDR, smaltimento, discarica, inquinamento, sistema, feed-back; conoscere le caratteristiche e la tipologia dei rifiuti solidi (frazione umida, cellulosica, secca, ecc.); conoscere i danni derivanti da una cattiva gestione dei RSU e vantaggi e svantaggi delle varie forme di smaltimento, conosce i fattori causali del problema RS; sa affrontare il problema con un approccio sistemico
• Oggetto del controllo: tipologia dei RSU, danni, fattori causali, approccio sistemico
• Si definiscono gli obiettivi in termini operativi secondo la tassonomia di Bloom: es. conosce il significato di frazione umida; riesce a dare definizioni corrette di frazione umida; discrimina le sostanze che fanno parte dalla frazione umida da quelle cellulosiche e da quelle secche. Conosce la definizione di sistema; conosce la definizione di feed-back; ricorda le caratteristiche dei sistemi complessi; sa fare esempi di feed-back; sa costruire una rete di un problema complesso.
• Si definiscono gli strumenti di misura: es. questionario con domande a scelte multiple per gli obiettivi ……. e a risposte aperte per gli obiettivi …..., test di stadio cognitivo per le questioni ambientali
• Si definiscono le procedure (luogo, tempo, modi, chi ecc.)
• Si valuta confrontando con criteri
Test di sviluppo cognitivoMetti in relazione le cose che sono numerate nel
disegno e spiega la relazione esistente
Centro di Educazione Ambientale di Bilbao
Disegno della valutazione
• La valutazione è effettuata solo alla fine dell’intervento nei soggetti sottoposti allo stesso. Utilizzato quando si conosce già la situazione di partenza.
• La valutazione è effettuata prima e dopo l’intervento nei soggetti sottoposti allo stesso. Quando non è nota la situazione di partenza.
• La valutazione è effettuata prima e dopo l’intervento nei soggetti sottoposti allo stesso e in un gruppo di soggetti non sottoposto all’intervento.
Possibili fattori di errore
effetto cavia: il semplice essere “osservati” inficia la misura (assenza di spontaneità)
scelta di un ruolo: accondiscendente, oppositivo
cambiamento del soggetto per effetto della misura: in test ripetuti nel tempo
stile di risposta: alcuni soggetti tendono a dare risposte sulla base di criteri formali del test (es. risponde sempre con la risposta mediana)
distorsione dell’osservatore: per preconcetti, stanchezza, ecc.
cambiamento delle “qualità” dell’osservatore: per misure ripetute nel tempo lo stesso osservatore può cambiare le sue caratteristiche (diventa più indulgente, più severo ecc.)
Alcuni consigli
• Consultare sempre la letteratura sull’argomento e persone esperte
• Definire bene cosa si vuole valutare e perché
• Individuare le possibili difficoltà, prospettare i possibili fattori confondenti e cercare di neutralizzarli
• Prima di utilizzare un qualsiasi strumento di misura provarlo e validarlo. Ogni volta che è possibile utilizzare test già validati
• Motivare e formare chi rileva e trascrive i dati
• Utilizzare correttamente le procedure statistiche
Alcuni consigli su questionari e test
• Mettere in premessa il più brevemente e chiaro possibile le finalità e le istruzioni
• Curare la grafica: spazio sufficiente per le risposte, leggibilità, non ambiguità ecc.
• I questionari sulle conoscenze non devono contenere domande trabocchetto e devono contenere domande di differente difficoltà
• Evitare le doppie negazioni• Considerare il livello culturale dei destinatari e cercare di
essere il più chiari e univoci possibile • Nelle misurazioni eseguite in gruppo evitare che i soggetti
comunichino tra loro, possano copiare o influenzarsi a vicenda
• Dare un tempo prefissato che sia adeguato (se troppo lungo aumenta il rischio che i soggetti comunichino tra loro)
• Chi somministra il test dovrebbe essere un soggetto terzo (non facente parte dell’equipe del progetto)
• I test vanno somministrati in un luogo silenzioso e tranquillo
Piccola considerazione e ultimi importanti consigli
Valutare un intervento non è semplice, ma è importante. Chiedersi
perché,
per chi
cosa
si vuole valutare.
Coinvolgere tutta l’equipe e i portatori di interesse.
Piccola considerazione e ultimi importanti consigli
2Valutare un intervento occupa tempo e
risorse che vanno sprecate se non si progetta bene la valutazione e se non sono tutti
precisi e puntuali. Quindi
progettare bene (chiedere consigli, studiare ecc.), non fare il passo più lungo della
gamba, coinvolgere chi rileverà i dati, chi li trascriverà, chi li elaborerà e far
comprendere l’importanza del rigore metodologico e della precisione.
Prima di iniziare fare una o più prove. Poco dopo iniziato fare una verifica per
evidenziare e correggere gli errori