L’uso della evidence per la progettazione degli interventi

Alberto Perra e Angela GiustiPerugia, maggio 2012

Cercare le prove

di efficaciaCostruire il modello

logico Centrare i beneficiari

Comprendere l’ambiente, i sistemi e l’azione umana

Identificare i gruppi di interesse e la comunità

Effettuare l’analisi di contesto

Costruire l’albero dei problemi

Costruire l’albero degli obiettivi

Effettuare l’analisi delle alternative

Costruire il quadro logico e verificare la fattibilità

Identificare i pacchetti di attività, responsabilità e risorse

Comporre il cronogramma

Elaborare il piano di valutazione

Redigere il testo del progetto e effettuare la valutazione ex-ante

ideazione

verifica ideazion

e

programmazione

3

memo…

Evidence: “insieme disponibile di fatti o informazioni indicanti che una convinzione o proposta sia giusta o valida”

Efficacia teorica: capacità intrinseca o potenziale di un intervento di migliorare un problema di salute◦Studi clinici o di

lab

Efficacia reale: capacità di un intervento di migliorare un problema in un certo contesto◦Studi valutativi

di popolazione

L’efficacia degli interventi

Esempi: Vaccini, fluorazione acqua, allattamento al seno

Trattamento anti-ipertensivo >40

5

Accuratezza diagnostica 80%

Copertura della popolazione 50%

Popolazione da sottoporre a trattamento

75%

Aderenza del paziente al trattamento 80%

Competenza professionale 100%

Riduzione del rischio relativo di eventi cardio-vascolari: 33%Efficacia teorica

Riduzione del rischio relativo di eventi cardio-vascolari: 8%Efficacia pratica

6

Per cercare la evidence per il progetto da dove partiamo?

7

Strutturare le domande

Approccio basato sulle evidenze

Valutare le evidenze

Reperire le evidenze

Metterle in atto

Valutare i risultati

Formulare il quesito di ricerca

Partire dal modello logico (quale intervento mi aspetto che produca quale risultato?)

Strutturare la domanda usando il modello PICOC o SPICE

Vale la pena investire qualche ora/giorno: un quesito ben impostato e che rifletta il punto di vista degli stakeholders é un investimento a lungo termine (tempo, risorse, stress!)

Modello logico per la vaccinazione popolazione, input, attività, esiti

Popolazione

Utilizzazione servizio

Copertura vaccinale

Malattie vaccino prevenibili

Morbidità e mortalità

Esposizione a a malattia vaccino-prevenibile

Riduzione

esposizione

Ambiente

Aumento domanda comunità

Aumento accessibilità

Interventi sui servizi

Efficacia vaccino

Trattamento malattie vaccino-prevenibili

Componenti di intervento

Cambiamenti attesi

Il modello PICOC

P Popolazione

I Intervento

C Confronto

O Outcome

C Contesto

Il modello SPICE

S Setting – Where? In what context?

P Perspective – For who?

I Intervention (Phenomenon of Interest) – What?

C Comparison – What else?

E Evaluation – How well? What result?

The Cochrane Qualitative Research Methods Group

Formulazione del quesito di ricerca per la sintesi delle evidenze qualitative

Esempi di PICOC

Popolazione Intervento Confronto Outcome Contesto

Donne di età >= 45

Invito scritto per il pap test

Invito scritto + richiamo

Partecipazione allo screening

Rurale, semi-urbano, urbano

Lavoratori del comparto edile

Formazione alla sicurezza

Informazione con opuscolo

ConoscenzaUso di DPIMortalità

--

Adolescenti scolarizzati 15-18 anni

Formazione su sicurezza stradale

-- Uso del casco Scuole delle periferie urbane

Donne in gravidanza

Informazione allattamento da peer counsellor

Assistenza standard

ConoscenzaAS iniziale e a 6 mesi

--

Modello logico per la vaccinazione

Popolazione

Utilizzazione servizio

Copertura vaccinale

Malattie vaccino prevenibili

Morbidità e mortalità

Esposizione a a malattia vaccino-prevenibile

Riduzione

esposizione

Ambiente

Aumento domanda comunità

Aumento accessibilità

Interventi sui servizi

Efficacia vaccino

Trattamento malattie vaccino-prevenibili

14

Strutturare le domande

Approccio basato sulle evidenze

Valutare le evidenze

Reperire le evidenze

Metterle in atto

Valutare i risultati

Fate prima un brainstorming…

Obiettivo di questo brainstorming è produrre un

elenco di fonti informative, di strumenti e strategie di ricerca utili a trovare la migliore evidence per i propri programmi/progetti/componenti di salute.

Quali sono le fonti che abitualmente utilizziamo nel nostro contesto lavorativo e quali le strategie di ricerca?

Reperire la evidence

Risorse più comuni

Peer review (revisione tra pari) Parere di esperti Best practices Linee Guida Letteratura grigia Fonti primarie, secondarie o

terziarie

17

Fonti

1. Fonti primarie

2. Fonti secondarie

3. Fonti terziarie 1. Fonti terziarie

2. Fonti secondarie

3. Fonti primarie

UTILITA’ PER I PROFESSIONISTI

Fonti terziarie◦Riassumono/rielaborano una serie di fonti secondarie

◦L’eventuale rielaborazione non prevede criteri di qualità predefiniti

◦La lingua prevalente è l’italiano

Esempi: enciclopedie, libri di testo, siti CAT (Critically Appraised Topic), revisioni narrative, linee guida non EB, stampa e siti web specializzati e non, portali web

www.epicentro.iss.it www.dors.it www.saperidoc.it Salute-UE

Fonti secondarie

◦ Sintetizzano una o più fonti primarie o secondarie◦ Forniscono una panoramica delle attuali conoscenze

mediche di un argomento◦ La ricerca sui database risulta più semplice grazie ad

alcune parole chiave (es revisione sistematica, metanalisi)

◦ Sono pre-filtrate e valutate nella qualità (qualità metodologica, conflitto di interessi, ecc)

◦ La lingua prevalente rimane l’inglese, ma esistono fonti tradotte o di produzione italiana

Esempi: meta-analisi, revisioni sistematiche e non sistematiche, linee guida EB, testi specialistici, “position statements” e revisioni delle organizzazioni sanitarie e società scientifiche.

Fonti primarie◦ Articoli i cui autori hanno partecipato

direttamente alla ricerca◦ Lo sono la maggior parte degli articoli pubblicati

nella letteratura scientifica sanitaria ◦ Accessibili attraverso database molto ampi e di

difficile consultazione◦ Sono solo parzialmente filtrate e valutate nella

qualità (qualità metodologica, conflitto di interessi, ecc)

◦ La lingua prevalente è l’inglese

Esempi: RCT, studi di cohorte, studi caso-controllo, studi di prevalenza, ecc.

21

Fonti primarie:“Mission impossible”

Per essere aggiornato con “fai da te”ciascuno di voi dovrebbe leggere in media 8 nuovi articoli ogni giorno

Alcuni esempi

Chiara identificazione delle sponsorizzazioni

Identificazione del target

Autorevolezza autore

Inclusione dei riferimenti bibliograficiInclusione di link alle fonti

Navigabilità (usabilità)

“TROVARE” la letteratura via web

Database di interesse per la salute pubblica◦ Pubmed◦ Embase◦ Psichynfo

Portali e siti specializzati

Cochrane

Epicentro

SNLG (Istituto Sup Sanità)

Ceveas, Emilia-Romagna

Dors, Piemonte

Regione Lombardia, Knowledge Centre

NICE, Regno Unito

Motori di ricerca Google Google Scholar Google books

Qualità dei siti di informazione sulla salute (1)

Alcuni criteri: Autorevolezza dell’autore Autorevolezza dell’istituzione di

appartenenza Identificazione dello scopo e del target Chiara identificazione delle

sponsorizzazioni Inclusione dei riferimenti bibliografici Inclusione di link alle fonti

Qualità dei siti di informazione sulla salute (2)

Periodicità dell’aggiornamento (data pubblicazione, data ultima modifica)

Eventuali certificazioni di qualità

Valutazione dell’accesso (uso di server dedicato, velocità di collegamento, necessità di registrazione, accesso abilitato a specifici utenti)

Assistenza online (help autoesplicativo, e-mail dell’autore, mailing-list per aggiornamento o ulteriori informazioni, motore di ricerca interno)

26

Strutturare le domande

Approccio basato sulle evidenze

Valutare le evidenze

Reperire le evidenze

Metterle in atto

Valutare i risultati

Valutare la evidence

Quali criteri utilizzare

per definire l’informazione

di qualità utile per l’azione?

Sintesi critiche dell’evidence

Valutazione critica di singoli articoli

Trial clinici controllati

Studi quasi sperimentali

Studi di coorte, descrittivi, qualitativi

Studi caso-controllo, serie di casi, reports

Background informativi, parere esperti

La piramide della evidence

Revisioni Sistematiche

LG basate su RS

Valutare la qualità descrittivadi una pubblicazione scientifica

PRISMA: Preferred Reporting Items for Systematic reviews and Meta-Analyses

CONSORT : CONsolidated Standards Of Reporting Trials

STROBE : STrengthening the Reporting of Observational Studies in Epidemiology

COREQ : COnsolidated criteria for Reporting Qualitative research

AGREE: Appraisal of Guidelines for REsearch & Evaluation

Revisione Narrativa è una operazione di sintesi di un certo numero di articoli pubblicati nella letteratura scientifica su di uno specifico argomento di ricerca

Revisione Sistematica è preparata utilizzando un approccio sistematico e dei metodi espliciti (cioè descritti in un protocollo) per identificare, selezionare e valutare criticamente gli studi rilevanti e raccogliere ed analizzare i dati dagli studi inclusi nella revisione. Una Revisione Sistematica non necessariamente utilizza metodi statistici (meta-analisi) per sintetizzare i dati dai diversi studi

Meta-analisi è l’uso di tecniche statistiche all’interno di una Revisione Sistematica per combinare dati che derivano da studi indipendenti in modo da ottenere una stima numerica dell’effetto complessivo di una particolare procedura/variabile rispetto ad uno specifico esito

Tipi di revisione della letteratura

Fonte: Maggini, Raschetti, Giusti. Progetto IGEA. Gestione integrata del diabete mellito di tipo 2 nell’adulto. Manuale di formazione per gli operatori sanitari. Il Pensiero Scientifico Editore, 2009.

LINEE GUIDA: a cosa servono?

Migliorare efficacia e appropriatezza nella gestione degli interventi

Limitare la variabilità dei comportamenti

Aggiornare e informare i professionisti e i cittadini/utenti

Fornire indicatori per la valutazione degli interventi.

Ma eravamo partiti DA QUI…

33

Modello logico per la vaccinazione

Popolazione

Utilizzazione servizio

Copertura vaccinale

Malattie vaccino prevenibili

Morbidità e mortalità

Esposizione a a malattia vaccino-prevenibile

Riduzione

esposizione

Ambiente

Aumento domanda comunità

Aumento accessibilità

Interventi sui servizi

Efficacia vaccino

Trattamento malattie vaccino-prevenibili

Ricerca e catalogazione evidence (vaccino antinfluenzale)

Aumento conoscenze

Sistemi di promemoria o sollecito per gli utenti (telefonate, lettere, cartoline

postali)

Aumento copertur

a vaccinale

Diminuzione incidenza di influenza

Diminuzione mortalità

42 studi effettuati

1 42

0 0

The Community Guide, 2000

Promemoria vaccini

Raccomandazione forte

Evidence per:

Dalla Community Guidehttp://www.epicentro.iss.it/ebp/vaccini.asp

38

Strutturare le domande

Approccio basato sulle evidenze

Valutare le evidenze

Reperire le evidenze

Metterle in atto

Valutare i risultati

39

Lo stiamo facendo, no?

La questione delle prove in promozione della salute

40

Il sistema sanitario finisce per farsi carico dei problemi che derivano dall'epidemia di MCNT e deve fare i conti con queste, senza

purtroppo possedere gli strumenti per affrontare le loro cause, in quanto le

risposte necessarie non sono di ordine sanitario o clinico, ma sociale e

ambientale"

Kickbusch I, Buckett K (Ed.). Implement health in all policies, Adelaide 2010

'efficacia' : una gamma di opinioni su il 'successo' nella promozione della salute◦ un programma che realizza un impatto significativo sui

cambiamenti delle conoscenze, sulla base di una relazione causale ipotizzata tra conoscenza e cambiamenti nel comportamento, giudicato 'inefficace' da chi cerca prove concrete dei cambiamenti dei fattori di rischio biologici, o anche la mortalità

◦ un programma che realizza il cambiamento nel livello organizzativo nel management di una mensa scolastica giudicato 'inefficace' in base ai criteri di cambiamento di comportamenti nei singoli lavoratori.

Quale efficacia?

42

Azioni integrate (i 5 di Ottawa) Identificare gli ambienti giusti per le azione

integrate◦ Grandi e piccole città, isole, comuni e comunità locali,

mercati, scuole, luoghi di lavoro e strutture sanitarie La partecipazione è essenziale per sostenere gli

sforzi di integrazione Le persone devono essere al centro dell'azione di

promozione della salute e dei processi decisionali Apprendimento in «salute» favorisce la

partecipazione◦ L'accesso all'istruzione e all'informazione è essenziale per

ottenere una partecipazione efficace e l'empowerment delle persone e delle comunità

Quali criteri per agire efficacemente in promozione della salute?

43

1. Mettere a punto e varare una politica di salute pubblica

2. Creare ambienti favorevoli3. Rafforzare azione comunitaria4. Sviluppare le competenze personali5. Riorientare i servizi sanitari

5 indirizzi da Ottawa

44

fumo e

obesità

Ma l’applicazione dei criteri non porta sempre e necessariamente agli stessi risultati!

45

Globalizzazione

Sviluppo

Media e pubblicità

Trasporti

Urbanizzazione

Salute

Sicurezza sociale

Media e cultura

Educazione

Alimenti e nutrizione

Trasporti in comune

Agricoltura/Giardini/ Mercati locali

Alimenti prodotti importati

Condizioni igieniche

Assistenza sanitaria

Sicurezza pubblica

Divertimenti/ Luoghi di attrazione

Lavoro

Famiglia e abitazione

Dispendio energetico

Cibo e attività nei luoghi di lavoro

Cibo e attività a scuola

Infezioni

% Obesità o peso insufficiente

Quantità di cibo mangiato: densità nel nutrimento

Fattori Fattori internazionaliinternazionali

Fattori nazionaliFattori nazionali

Nazionali Nazionali / regionali/ regionali

LocaliLocali Lavoro/ Lavoro/ scuola/casascuola/casa

PersonaliPersonali PopolPopol..

Fare uso, nella pianificazione degli interventi di PS, delle teorie

Appoggiarsi a una sistematica valutazione dei bisogni (condivisa)

Usare modelli di pianificazione validati Costruire opportunità di sostegno sociale Creare partnership e alleanze oltrepassando

le frontiere tradizionali (di settore o di aobienti)

Qualche strategia…..

47

Cercare le prove

di efficaciaCostruire il modello

logico Centrare i beneficiari

Comprendere l’ambiente, i sistemi e l’azione umana

Identificare i gruppi di interesse e la comunità

Effettuare l’analisi di contesto

Costruire l’albero dei problemi

Costruire l’albero degli obiettivi

Effettuare l’analisi delle alternative

Costruire il quadro logico e verificare la fattibilità

Identificare i pacchetti di attività, responsabilità e risorse

Comporre il cronogramma

Elaborare il piano di valutazione

Redigere il testo del progetto e effettuare la valutazione ex-ante

ideazione

verifica ideazion

e

programmazione

Ambiente sociale

Ambiente fisico Base genetica

Sistema sanitario

ProsperitàBenessere

Salute e capacità

Malattia o Fattore di Rischio

Risposta individuale

(comportamento, biologia)

Modello di sintesi di determinanti di salute, stato di salute e servizi di salute

Evans R G, 1990, modificato

Model l o PRECEDE/PROCEEDModel l o PRECEDE/PROCEED (L.W.Green)

PRECEDEPRECEDE

PROCEEDPROCEED

V FASEDIAGNOSI

AMMINISTRATIVAE POLITICA

IV FASEDIAGNOSI EDUCATIVA

E ORGANIZZATIVA

III FASEDIAGNOSI DEI

COMPORTAMENTI EDELL’AMBIENTE

II FASEDIAGNOSI

EPIDEMIOLOGICA

I FASEDIAGNOSI SOCIALE

VI FASEIMPLEMENTAZIONEDELL’INTERVENTO

VII FASEVALUTAZIONEDI PROCESSO

VIII FASEVALUTAZIONE

DI IMPATTO

IX FASEVALUTAZIONEDI RISULTATO

PROMOZIONEDELLA SALUTE

Educazionealla salute

Definizionedel

piano e dellepolitiche

di intervento

Fattoripredisponenti

Fattoririnforzanti

Fattoriabilitanti

Comportamentie stilidi vita

Ambiente

SaluteQualità

dellavita

Modello precede-proceed

52

Ambiente interno e esterno(sistemi e strutture sociali, politici, economici, condizioni psicologiche e fisiche

Pratiche Processi e attività diretti a:

Aspetti sanitari

Aspetti organizzativi

Ricerca e valutazione

Punti di sostegno

Valori Scopi Etica

Teorie credenze

Prove di efficacia

Comprensione dell’ambiente

Visione

Analisi:salute

Analisi:organizzazione

Il Modello dei domini interattivi delle buone pratiche in promozione della salute e in salute pubblica (Kahan e Goodstadt, 2005)

Pre-contemplazione

Contemplazione Determinazione Azione Manteniment

o

Il cambiamentoALCOL

mortale

vitale

Coloro che bevono sono tutti uguali?

Pre-contemplazione

Mantenimento

Azione

Determinazione

Contemplazione

Cambiamento stile di vita stabile

Ricaduta

Il cambiamento negli stili di vita

Ricercabilità delle prove◦ I motori di ricerca non sono pensati per produrre i risultati in

PS (es MESH) Standard di efficacia

◦ Derivano dall’EBM e non sono immediatamente adattabili all’EBHP

PS si tende a riportarla nei termini «individuali» Variazioni nella qualità dell’intervento (risorse e

capacità degli operatori) Valutazione non corretta Non pubblicazione dei risultati

Limiti nella EBHP

55

Trial Altri studi Opinioni di esperti Iniziativa individuale

Su quale evidence è basato il nostro intervento?

56

Da dove viene questa evidence?

UK/USA/Australia

Trasferibilità?

2 Gruppi (62 partecipanti)

La ricerca dei risultati dei progetti partecipati: cosa

misurare e dove;utilità, limiti dei sistemi di

informazione attualmente in funzione

Coordinatore Marco Cristofori

La valutazione dei progetti di PS partecipatiI progetti di promozione della salute, elaborati e realizzati localmente hanno alcune caratteristiche di cui è necessario tener conto e che li differenziano da altri interventi richiesti al sistema sanitario, sociale e scolastico

Il progetto è costruito su una visione condivisa che parte da una «rappresentazione sociale» di una certa realtà così come la percepiscono i GI partecipanti

Fine precipuo della valutazione è quindi la descrizione di una «nuova» rappresentazione sociale di una condizione condivisa con i GI

Caratteristiche - 1La valutazione: difficile quanto necessariaDIFFICILE: Perché il risultato di salute e il processo hanno ampie zone di sovrapposizione (la partecipazione che cosa è?)Il risultato di salute non è sempre condiviso con i gruppi di interesse che si aspettano risultati diversiLa valutazione deve dare «risposte» specifiche alle «domande» specifiche di ogni GII risultati di salute (oltre che di processo) possono essere modificati lungo la realizzazione del progettoTrovare «prove di efficacia» convincenti per dare forza al progetto

Caratteristiche - 2DIFFICILE: I progetti di promozione della salute devono produrre empowerment, concetto non facilmente traducibile in indicatori misurabili e condivisiA differenza di altri interventi socio-sanitari, non sono facilmente reperibili informazioni sul costo-efficacia o costo-beneficio degli interventi partecipati di promozione della saluteCome misurare in una comunità l’effetto di un progetto che contribuisce a «mantenere» il livello di salute?Misurare il cambiamento con la chiave prima-dopo e stimarne la plausibilità rispetto all’azione di progetto

Caratteristiche - 3La valutazione: difficile quanto necessariaNECESSARIA: La partecipazione dei GI non si può considerare completa senza un’attività condivisa di valutazioneLa rimodulazione del progetto, frequente, deve essere fatta sulla scorta delle indicazione della valutazioneE’ lo strumento necessario per seguire la partecipazione e evitare l’esclusione di gruppi di popolazione «vulnerabili» durante l’esecuzione del progettoNon è possibile comprendere il valore di un progetto senza (in ordine)1 chiarire gli obiettivi2 definire criteri, indicatori e standard

Caratteristiche - 4NECESSARIA: Spesso necessario un sistema di misura ad hoc del progetto (per processo e risultati)Il ricorso a strumenti di indagine qualitativa è essenziale per la partecipazione in generale e per la valutazione in particolare, anche se il personale ha competenze limitate in entrambi i campiSenza una valutazione ex-ante, volta a verificare la qualità della proposta progettuale, il progetto non dovrebbe essere varato; fra i vari criteri è essenziale la sostenibilità senza la quale non è opportuno far partire il progettoDestabilizzante l’approccio necessario a GS in quanto si fissa solo un campo (4 stili) e un criterio metodologico (partecipazione)Monitoraggio più impegnativo (metodo) e faticoso (tempo e risorse) per i progetti ps

I sistemi di informazione esistenti

Utili o utilissimi per la preparazione dello studio di contesto del progettoPotenzialmente utili per alcuni indicatori di processo, ma: la scala di misura dei vari Okkio, PASSI è maggiore di quella necessaria per misurare indicatori spesso a carattere più locale la tempestività (il tempo necessario per avere l’info) può non essere sufficiente per cogliere i cambiamenti locali richiesti dal progetto

Buon viaggio nel mondo della evidence!