Post on 01-May-2015
L’uso della evidence per la progettazione degli interventi
Alberto Perra e Angela GiustiPerugia, maggio 2012
Cercare le prove
di efficaciaCostruire il modello
logico Centrare i beneficiari
Comprendere l’ambiente, i sistemi e l’azione umana
Identificare i gruppi di interesse e la comunità
Effettuare l’analisi di contesto
Costruire l’albero dei problemi
Costruire l’albero degli obiettivi
Effettuare l’analisi delle alternative
Costruire il quadro logico e verificare la fattibilità
Identificare i pacchetti di attività, responsabilità e risorse
Comporre il cronogramma
Elaborare il piano di valutazione
Redigere il testo del progetto e effettuare la valutazione ex-ante
ideazione
verifica ideazion
e
programmazione
3
memo…
Evidence: “insieme disponibile di fatti o informazioni indicanti che una convinzione o proposta sia giusta o valida”
Efficacia teorica: capacità intrinseca o potenziale di un intervento di migliorare un problema di salute◦Studi clinici o di
lab
Efficacia reale: capacità di un intervento di migliorare un problema in un certo contesto◦Studi valutativi
di popolazione
L’efficacia degli interventi
Esempi: Vaccini, fluorazione acqua, allattamento al seno
Trattamento anti-ipertensivo >40
5
Accuratezza diagnostica 80%
Copertura della popolazione 50%
Popolazione da sottoporre a trattamento
75%
Aderenza del paziente al trattamento 80%
Competenza professionale 100%
Riduzione del rischio relativo di eventi cardio-vascolari: 33%Efficacia teorica
Riduzione del rischio relativo di eventi cardio-vascolari: 8%Efficacia pratica
6
Per cercare la evidence per il progetto da dove partiamo?
7
Strutturare le domande
Approccio basato sulle evidenze
Valutare le evidenze
Reperire le evidenze
Metterle in atto
Valutare i risultati
Formulare il quesito di ricerca
Partire dal modello logico (quale intervento mi aspetto che produca quale risultato?)
Strutturare la domanda usando il modello PICOC o SPICE
Vale la pena investire qualche ora/giorno: un quesito ben impostato e che rifletta il punto di vista degli stakeholders é un investimento a lungo termine (tempo, risorse, stress!)
Modello logico per la vaccinazione popolazione, input, attività, esiti
Popolazione
Utilizzazione servizio
Copertura vaccinale
Malattie vaccino prevenibili
Morbidità e mortalità
Esposizione a a malattia vaccino-prevenibile
Riduzione
esposizione
Ambiente
Aumento domanda comunità
Aumento accessibilità
Interventi sui servizi
Efficacia vaccino
Trattamento malattie vaccino-prevenibili
Componenti di intervento
Cambiamenti attesi
Il modello PICOC
P Popolazione
I Intervento
C Confronto
O Outcome
C Contesto
Il modello SPICE
S Setting – Where? In what context?
P Perspective – For who?
I Intervention (Phenomenon of Interest) – What?
C Comparison – What else?
E Evaluation – How well? What result?
The Cochrane Qualitative Research Methods Group
Formulazione del quesito di ricerca per la sintesi delle evidenze qualitative
Esempi di PICOC
Popolazione Intervento Confronto Outcome Contesto
Donne di età >= 45
Invito scritto per il pap test
Invito scritto + richiamo
Partecipazione allo screening
Rurale, semi-urbano, urbano
Lavoratori del comparto edile
Formazione alla sicurezza
Informazione con opuscolo
ConoscenzaUso di DPIMortalità
--
Adolescenti scolarizzati 15-18 anni
Formazione su sicurezza stradale
-- Uso del casco Scuole delle periferie urbane
Donne in gravidanza
Informazione allattamento da peer counsellor
Assistenza standard
ConoscenzaAS iniziale e a 6 mesi
--
Modello logico per la vaccinazione
Popolazione
Utilizzazione servizio
Copertura vaccinale
Malattie vaccino prevenibili
Morbidità e mortalità
Esposizione a a malattia vaccino-prevenibile
Riduzione
esposizione
Ambiente
Aumento domanda comunità
Aumento accessibilità
Interventi sui servizi
Efficacia vaccino
Trattamento malattie vaccino-prevenibili
14
Strutturare le domande
Approccio basato sulle evidenze
Valutare le evidenze
Reperire le evidenze
Metterle in atto
Valutare i risultati
Fate prima un brainstorming…
Obiettivo di questo brainstorming è produrre un
elenco di fonti informative, di strumenti e strategie di ricerca utili a trovare la migliore evidence per i propri programmi/progetti/componenti di salute.
Quali sono le fonti che abitualmente utilizziamo nel nostro contesto lavorativo e quali le strategie di ricerca?
Reperire la evidence
Risorse più comuni
Peer review (revisione tra pari) Parere di esperti Best practices Linee Guida Letteratura grigia Fonti primarie, secondarie o
terziarie
17
Fonti
1. Fonti primarie
2. Fonti secondarie
3. Fonti terziarie 1. Fonti terziarie
2. Fonti secondarie
3. Fonti primarie
UTILITA’ PER I PROFESSIONISTI
Fonti terziarie◦Riassumono/rielaborano una serie di fonti secondarie
◦L’eventuale rielaborazione non prevede criteri di qualità predefiniti
◦La lingua prevalente è l’italiano
Esempi: enciclopedie, libri di testo, siti CAT (Critically Appraised Topic), revisioni narrative, linee guida non EB, stampa e siti web specializzati e non, portali web
www.epicentro.iss.it www.dors.it www.saperidoc.it Salute-UE
Fonti secondarie
◦ Sintetizzano una o più fonti primarie o secondarie◦ Forniscono una panoramica delle attuali conoscenze
mediche di un argomento◦ La ricerca sui database risulta più semplice grazie ad
alcune parole chiave (es revisione sistematica, metanalisi)
◦ Sono pre-filtrate e valutate nella qualità (qualità metodologica, conflitto di interessi, ecc)
◦ La lingua prevalente rimane l’inglese, ma esistono fonti tradotte o di produzione italiana
Esempi: meta-analisi, revisioni sistematiche e non sistematiche, linee guida EB, testi specialistici, “position statements” e revisioni delle organizzazioni sanitarie e società scientifiche.
Fonti primarie◦ Articoli i cui autori hanno partecipato
direttamente alla ricerca◦ Lo sono la maggior parte degli articoli pubblicati
nella letteratura scientifica sanitaria ◦ Accessibili attraverso database molto ampi e di
difficile consultazione◦ Sono solo parzialmente filtrate e valutate nella
qualità (qualità metodologica, conflitto di interessi, ecc)
◦ La lingua prevalente è l’inglese
Esempi: RCT, studi di cohorte, studi caso-controllo, studi di prevalenza, ecc.
21
Fonti primarie:“Mission impossible”
Per essere aggiornato con “fai da te”ciascuno di voi dovrebbe leggere in media 8 nuovi articoli ogni giorno
Alcuni esempi
Chiara identificazione delle sponsorizzazioni
Identificazione del target
Autorevolezza autore
Inclusione dei riferimenti bibliograficiInclusione di link alle fonti
Navigabilità (usabilità)
“TROVARE” la letteratura via web
Database di interesse per la salute pubblica◦ Pubmed◦ Embase◦ Psichynfo
Portali e siti specializzati
Cochrane
Epicentro
SNLG (Istituto Sup Sanità)
Ceveas, Emilia-Romagna
Dors, Piemonte
Regione Lombardia, Knowledge Centre
NICE, Regno Unito
Motori di ricerca Google Google Scholar Google books
Qualità dei siti di informazione sulla salute (1)
Alcuni criteri: Autorevolezza dell’autore Autorevolezza dell’istituzione di
appartenenza Identificazione dello scopo e del target Chiara identificazione delle
sponsorizzazioni Inclusione dei riferimenti bibliografici Inclusione di link alle fonti
Qualità dei siti di informazione sulla salute (2)
Periodicità dell’aggiornamento (data pubblicazione, data ultima modifica)
Eventuali certificazioni di qualità
Valutazione dell’accesso (uso di server dedicato, velocità di collegamento, necessità di registrazione, accesso abilitato a specifici utenti)
Assistenza online (help autoesplicativo, e-mail dell’autore, mailing-list per aggiornamento o ulteriori informazioni, motore di ricerca interno)
26
Strutturare le domande
Approccio basato sulle evidenze
Valutare le evidenze
Reperire le evidenze
Metterle in atto
Valutare i risultati
Valutare la evidence
Quali criteri utilizzare
per definire l’informazione
di qualità utile per l’azione?
Sintesi critiche dell’evidence
Valutazione critica di singoli articoli
Trial clinici controllati
Studi quasi sperimentali
Studi di coorte, descrittivi, qualitativi
Studi caso-controllo, serie di casi, reports
Background informativi, parere esperti
La piramide della evidence
Revisioni Sistematiche
LG basate su RS
Valutare la qualità descrittivadi una pubblicazione scientifica
PRISMA: Preferred Reporting Items for Systematic reviews and Meta-Analyses
CONSORT : CONsolidated Standards Of Reporting Trials
STROBE : STrengthening the Reporting of Observational Studies in Epidemiology
COREQ : COnsolidated criteria for Reporting Qualitative research
AGREE: Appraisal of Guidelines for REsearch & Evaluation
Revisione Narrativa è una operazione di sintesi di un certo numero di articoli pubblicati nella letteratura scientifica su di uno specifico argomento di ricerca
Revisione Sistematica è preparata utilizzando un approccio sistematico e dei metodi espliciti (cioè descritti in un protocollo) per identificare, selezionare e valutare criticamente gli studi rilevanti e raccogliere ed analizzare i dati dagli studi inclusi nella revisione. Una Revisione Sistematica non necessariamente utilizza metodi statistici (meta-analisi) per sintetizzare i dati dai diversi studi
Meta-analisi è l’uso di tecniche statistiche all’interno di una Revisione Sistematica per combinare dati che derivano da studi indipendenti in modo da ottenere una stima numerica dell’effetto complessivo di una particolare procedura/variabile rispetto ad uno specifico esito
Tipi di revisione della letteratura
Fonte: Maggini, Raschetti, Giusti. Progetto IGEA. Gestione integrata del diabete mellito di tipo 2 nell’adulto. Manuale di formazione per gli operatori sanitari. Il Pensiero Scientifico Editore, 2009.
LINEE GUIDA: a cosa servono?
Migliorare efficacia e appropriatezza nella gestione degli interventi
Limitare la variabilità dei comportamenti
Aggiornare e informare i professionisti e i cittadini/utenti
Fornire indicatori per la valutazione degli interventi.
Ma eravamo partiti DA QUI…
33
Modello logico per la vaccinazione
Popolazione
Utilizzazione servizio
Copertura vaccinale
Malattie vaccino prevenibili
Morbidità e mortalità
Esposizione a a malattia vaccino-prevenibile
Riduzione
esposizione
Ambiente
Aumento domanda comunità
Aumento accessibilità
Interventi sui servizi
Efficacia vaccino
Trattamento malattie vaccino-prevenibili
Ricerca e catalogazione evidence (vaccino antinfluenzale)
Aumento conoscenze
Sistemi di promemoria o sollecito per gli utenti (telefonate, lettere, cartoline
postali)
Aumento copertur
a vaccinale
Diminuzione incidenza di influenza
Diminuzione mortalità
42 studi effettuati
1 42
0 0
The Community Guide, 2000
Promemoria vaccini
Raccomandazione forte
Evidence per:
Dalla Community Guidehttp://www.epicentro.iss.it/ebp/vaccini.asp
38
Strutturare le domande
Approccio basato sulle evidenze
Valutare le evidenze
Reperire le evidenze
Metterle in atto
Valutare i risultati
39
Lo stiamo facendo, no?
La questione delle prove in promozione della salute
40
Il sistema sanitario finisce per farsi carico dei problemi che derivano dall'epidemia di MCNT e deve fare i conti con queste, senza
purtroppo possedere gli strumenti per affrontare le loro cause, in quanto le
risposte necessarie non sono di ordine sanitario o clinico, ma sociale e
ambientale"
Kickbusch I, Buckett K (Ed.). Implement health in all policies, Adelaide 2010
'efficacia' : una gamma di opinioni su il 'successo' nella promozione della salute◦ un programma che realizza un impatto significativo sui
cambiamenti delle conoscenze, sulla base di una relazione causale ipotizzata tra conoscenza e cambiamenti nel comportamento, giudicato 'inefficace' da chi cerca prove concrete dei cambiamenti dei fattori di rischio biologici, o anche la mortalità
◦ un programma che realizza il cambiamento nel livello organizzativo nel management di una mensa scolastica giudicato 'inefficace' in base ai criteri di cambiamento di comportamenti nei singoli lavoratori.
Quale efficacia?
42
Azioni integrate (i 5 di Ottawa) Identificare gli ambienti giusti per le azione
integrate◦ Grandi e piccole città, isole, comuni e comunità locali,
mercati, scuole, luoghi di lavoro e strutture sanitarie La partecipazione è essenziale per sostenere gli
sforzi di integrazione Le persone devono essere al centro dell'azione di
promozione della salute e dei processi decisionali Apprendimento in «salute» favorisce la
partecipazione◦ L'accesso all'istruzione e all'informazione è essenziale per
ottenere una partecipazione efficace e l'empowerment delle persone e delle comunità
Quali criteri per agire efficacemente in promozione della salute?
43
1. Mettere a punto e varare una politica di salute pubblica
2. Creare ambienti favorevoli3. Rafforzare azione comunitaria4. Sviluppare le competenze personali5. Riorientare i servizi sanitari
5 indirizzi da Ottawa
44
fumo e
obesità
Ma l’applicazione dei criteri non porta sempre e necessariamente agli stessi risultati!
45
Globalizzazione
Sviluppo
Media e pubblicità
Trasporti
Urbanizzazione
Salute
Sicurezza sociale
Media e cultura
Educazione
Alimenti e nutrizione
Trasporti in comune
Agricoltura/Giardini/ Mercati locali
Alimenti prodotti importati
Condizioni igieniche
Assistenza sanitaria
Sicurezza pubblica
Divertimenti/ Luoghi di attrazione
Lavoro
Famiglia e abitazione
Dispendio energetico
Cibo e attività nei luoghi di lavoro
Cibo e attività a scuola
Infezioni
% Obesità o peso insufficiente
Quantità di cibo mangiato: densità nel nutrimento
Fattori Fattori internazionaliinternazionali
Fattori nazionaliFattori nazionali
Nazionali Nazionali / regionali/ regionali
LocaliLocali Lavoro/ Lavoro/ scuola/casascuola/casa
PersonaliPersonali PopolPopol..
Fare uso, nella pianificazione degli interventi di PS, delle teorie
Appoggiarsi a una sistematica valutazione dei bisogni (condivisa)
Usare modelli di pianificazione validati Costruire opportunità di sostegno sociale Creare partnership e alleanze oltrepassando
le frontiere tradizionali (di settore o di aobienti)
Qualche strategia…..
47
Cercare le prove
di efficaciaCostruire il modello
logico Centrare i beneficiari
Comprendere l’ambiente, i sistemi e l’azione umana
Identificare i gruppi di interesse e la comunità
Effettuare l’analisi di contesto
Costruire l’albero dei problemi
Costruire l’albero degli obiettivi
Effettuare l’analisi delle alternative
Costruire il quadro logico e verificare la fattibilità
Identificare i pacchetti di attività, responsabilità e risorse
Comporre il cronogramma
Elaborare il piano di valutazione
Redigere il testo del progetto e effettuare la valutazione ex-ante
ideazione
verifica ideazion
e
programmazione
Ambiente sociale
Ambiente fisico Base genetica
Sistema sanitario
ProsperitàBenessere
Salute e capacità
Malattia o Fattore di Rischio
Risposta individuale
(comportamento, biologia)
Modello di sintesi di determinanti di salute, stato di salute e servizi di salute
Evans R G, 1990, modificato
Model l o PRECEDE/PROCEEDModel l o PRECEDE/PROCEED (L.W.Green)
PRECEDEPRECEDE
PROCEEDPROCEED
V FASEDIAGNOSI
AMMINISTRATIVAE POLITICA
IV FASEDIAGNOSI EDUCATIVA
E ORGANIZZATIVA
III FASEDIAGNOSI DEI
COMPORTAMENTI EDELL’AMBIENTE
II FASEDIAGNOSI
EPIDEMIOLOGICA
I FASEDIAGNOSI SOCIALE
VI FASEIMPLEMENTAZIONEDELL’INTERVENTO
VII FASEVALUTAZIONEDI PROCESSO
VIII FASEVALUTAZIONE
DI IMPATTO
IX FASEVALUTAZIONEDI RISULTATO
PROMOZIONEDELLA SALUTE
Educazionealla salute
Definizionedel
piano e dellepolitiche
di intervento
Fattoripredisponenti
Fattoririnforzanti
Fattoriabilitanti
Comportamentie stilidi vita
Ambiente
SaluteQualità
dellavita
Modello precede-proceed
52
Ambiente interno e esterno(sistemi e strutture sociali, politici, economici, condizioni psicologiche e fisiche
Pratiche Processi e attività diretti a:
Aspetti sanitari
Aspetti organizzativi
Ricerca e valutazione
Punti di sostegno
Valori Scopi Etica
Teorie credenze
Prove di efficacia
Comprensione dell’ambiente
Visione
Analisi:salute
Analisi:organizzazione
Il Modello dei domini interattivi delle buone pratiche in promozione della salute e in salute pubblica (Kahan e Goodstadt, 2005)
Pre-contemplazione
Contemplazione Determinazione Azione Manteniment
o
Il cambiamentoALCOL
mortale
vitale
Coloro che bevono sono tutti uguali?
Pre-contemplazione
Mantenimento
Azione
Determinazione
Contemplazione
Cambiamento stile di vita stabile
Ricaduta
Il cambiamento negli stili di vita
Ricercabilità delle prove◦ I motori di ricerca non sono pensati per produrre i risultati in
PS (es MESH) Standard di efficacia
◦ Derivano dall’EBM e non sono immediatamente adattabili all’EBHP
PS si tende a riportarla nei termini «individuali» Variazioni nella qualità dell’intervento (risorse e
capacità degli operatori) Valutazione non corretta Non pubblicazione dei risultati
Limiti nella EBHP
55
Trial Altri studi Opinioni di esperti Iniziativa individuale
Su quale evidence è basato il nostro intervento?
56
Da dove viene questa evidence?
UK/USA/Australia
Trasferibilità?
2 Gruppi (62 partecipanti)
La ricerca dei risultati dei progetti partecipati: cosa
misurare e dove;utilità, limiti dei sistemi di
informazione attualmente in funzione
Coordinatore Marco Cristofori
La valutazione dei progetti di PS partecipatiI progetti di promozione della salute, elaborati e realizzati localmente hanno alcune caratteristiche di cui è necessario tener conto e che li differenziano da altri interventi richiesti al sistema sanitario, sociale e scolastico
Il progetto è costruito su una visione condivisa che parte da una «rappresentazione sociale» di una certa realtà così come la percepiscono i GI partecipanti
Fine precipuo della valutazione è quindi la descrizione di una «nuova» rappresentazione sociale di una condizione condivisa con i GI
Caratteristiche - 1La valutazione: difficile quanto necessariaDIFFICILE: Perché il risultato di salute e il processo hanno ampie zone di sovrapposizione (la partecipazione che cosa è?)Il risultato di salute non è sempre condiviso con i gruppi di interesse che si aspettano risultati diversiLa valutazione deve dare «risposte» specifiche alle «domande» specifiche di ogni GII risultati di salute (oltre che di processo) possono essere modificati lungo la realizzazione del progettoTrovare «prove di efficacia» convincenti per dare forza al progetto
Caratteristiche - 2DIFFICILE: I progetti di promozione della salute devono produrre empowerment, concetto non facilmente traducibile in indicatori misurabili e condivisiA differenza di altri interventi socio-sanitari, non sono facilmente reperibili informazioni sul costo-efficacia o costo-beneficio degli interventi partecipati di promozione della saluteCome misurare in una comunità l’effetto di un progetto che contribuisce a «mantenere» il livello di salute?Misurare il cambiamento con la chiave prima-dopo e stimarne la plausibilità rispetto all’azione di progetto
Caratteristiche - 3La valutazione: difficile quanto necessariaNECESSARIA: La partecipazione dei GI non si può considerare completa senza un’attività condivisa di valutazioneLa rimodulazione del progetto, frequente, deve essere fatta sulla scorta delle indicazione della valutazioneE’ lo strumento necessario per seguire la partecipazione e evitare l’esclusione di gruppi di popolazione «vulnerabili» durante l’esecuzione del progettoNon è possibile comprendere il valore di un progetto senza (in ordine)1 chiarire gli obiettivi2 definire criteri, indicatori e standard
Caratteristiche - 4NECESSARIA: Spesso necessario un sistema di misura ad hoc del progetto (per processo e risultati)Il ricorso a strumenti di indagine qualitativa è essenziale per la partecipazione in generale e per la valutazione in particolare, anche se il personale ha competenze limitate in entrambi i campiSenza una valutazione ex-ante, volta a verificare la qualità della proposta progettuale, il progetto non dovrebbe essere varato; fra i vari criteri è essenziale la sostenibilità senza la quale non è opportuno far partire il progettoDestabilizzante l’approccio necessario a GS in quanto si fissa solo un campo (4 stili) e un criterio metodologico (partecipazione)Monitoraggio più impegnativo (metodo) e faticoso (tempo e risorse) per i progetti ps
I sistemi di informazione esistenti
Utili o utilissimi per la preparazione dello studio di contesto del progettoPotenzialmente utili per alcuni indicatori di processo, ma: la scala di misura dei vari Okkio, PASSI è maggiore di quella necessaria per misurare indicatori spesso a carattere più locale la tempestività (il tempo necessario per avere l’info) può non essere sufficiente per cogliere i cambiamenti locali richiesti dal progetto
Buon viaggio nel mondo della evidence!