La valutazione critica di un articolo scientifico · volume della letteratura (risorse ... filtrare...

La valutazione critica di un articolo scientifico

Università degli Studi G. D’AnnunzioFacoltà di Medicina e Chirurgia

Corso di Laurea Specialistica in Scienze Infermieristiche e Ostetriche

Dott.ssa Elisabetta Palma Dott. Giancarlo Cicolini

Obiettivi di apprendimento:

Definire la valutazione critica (Critical Appraisal –C.A.) in un contesto praticoComprendere i criteri chiave per la C.A. e selezionare una checklist o altro strumento appropriato per la C.A. Identificare le conclusioni di un articolo e valutare se la metodologia giustifica risultati Valutare se i risultati sono generalizzabili ad altre areeSviluppare metodi di registrazione e presentazione di C.A. ad articoli, con la consapevolezza delle risorse necessarie a supportare il processo

Una riflessione …

L’eccesso di informazioni è un problema reale per i clinici, i manager e i ricercatori. Considerare metodi capaci di ridurre il volume della letteratura (risorse, abilità, tecnologie)

Risorse Abilità Tecnologie

Es.: ricerca di riviste full-text

Es.: capacità di lettura veloce "Skim reading”

Es.: servizio di e-mail alerting

La C.A.

È un’abilità supportata da un certo numero di risorse appositamente sviluppate per lo scopo e da un certo numero di tecnologie come le riviste interattive online.Ma cosa è davvero la C.A. di un articolo e in cosa si differenzia dalla semplice lettura?

La valutazione:È una tecnica che implementa l’efficienza della vostra lettura, permettendovi di escludere ricerche con disegni di ricerca troppo deboli per la pratica. Questo permette di avere tempo libero per l’analisi sistematica di studi qualitativamente buoni ed estrarne i punti salienti.La valutazione permette di risolvere 2 ordini di problemi comuni a diverse discipline:

L’eccesso di informazioni pubblicate (in generale l’80% di quello che vi serve si trova nel 20% della letteratura totale, non avrete mai bisogno del resto!)La consapevolezza che tutti gli studi contengono errori, anche se spesso minori, o sono troppo lontani dalla realtà (effetto “ivory tower")

Gli strumenti utili della C.A.:La C.A. utilizza strumenti utili per:

la valutazione sistematica della letteratura separare gli studi “buoni” dai “cattivi” quando nella ricerca incontrate studi in conflittofiltrare la ricerca originale o le meta-analisi di buona qualitàdecidere quali articoli influenzeranno la vostra pratica clinicainfrangere le barriere tra ricerca (scienza pura) e pratica (scienza applicata)supportare lo sviluppo dell’Evidence BasedPractice (EBP).

Una riflessione…

Quando vi imbattete in un articolo di ricerca come decidete se:

vale la pena leggerlo?il contenuto è credibile?

Fattori rilevanti / 1RILEVANZA – argomento dello studio, importanza attuale nella pratica clinica, somiglianza con il settingdove state lavorando, come è stato scritto, a chi èrivolto, ecc.FATTORI ESTRINSECI - chi ha scritto l’articolo, dove lavora, qualifica professionale, se è conosciuto, chi finanzia la pubblicazione, in che rivista èpubblicato, se l’autore ha già scritto sull’argomento …(non sono necessariamente associati con la qualitàdell’articolo)FATTORI INTRINSECI - appropriatezza del disegno dello studio rispetto al quesito di ricerca, la numerosità campionaria, i metodi di reclutamento, i metodi utilizzati per ottenere i risultati, ecc. (sono in relazione allo studio stesso)

Fattori rilevanti / 2

La C.A impone di liberarsi da pregiudizi o bias nei riguardi dei fattori estrinseci (i puristi affermano che non dovrebbero essere conosciuti al momento del giudizio). Il giudizio iniziale va dato sulla rilevanzagenerale dello studio.Successivamente, guardare ai fattori intrinseci utilizzando una checklist strutturata, infine riconsiderare l’utilizzabilità nella pratica.

Le checklist

Esistono vari tipi di checklist sulla base del tipo di ricerca oppure specifiche per una professione (es: gli infermieri) o disciplina (es.: promozione della salute) Nella scelta della lista focalizzate sulla qualità del metodo e non sulla lunghezza della lista.In genere un buono studio si fa riconoscere, mentre studi mediocri possono sembrare di buona qualità.

Griglie per la C.A. - siti utili

Studi caso-controllo: http://www.public-health.org.uk/casp/Revisioni sistematiche: http://www.public-health.org.uk/casp/review.htmlRCT: http://www.public-health.org.uk/casp/rct.htmlStudi qualitativi: http://www.public-health.org.uk/casp/qualitative.html

http://www.public-health.org.uk/casp/

http://www.public-health.org.uk/casp/review.html

http://www.public-health.org.uk/casp/review.html

http://www.public-health.org.uk/casp/rct.html

http://www.public-health.org.uk/casp/rct.html

http://www.public-health.org.uk/casp/qualitative.html

http://www.public-health.org.uk/casp/qualitative.html

C.A. di ricerche originali

Questo modello si applica a studi primari e ricerche originali che utilizzano la metodologia quantitativa,

utilizzate la skim reading per farvi un’ideaanalizzate di nuovo, lentamente, valutando la rispondenza ai tre aspetti:

VALIDITA’AFFIDABILITA’

APPLICABILITA’

Le domande da farsiVALIDITA’

le conclusioni sono giustificate dalla metodologia e dai risultati? la metodologia è corretta? gli autori hanno fatto affermazioni ragionevoli?ci sono altri fattori confondenti che andavano considerati? se utilizzano un campione, come hanno evitato i bias?

AFFIDABILITA’APPLICABILITA’

Le domande da farsiVALIDITA’

AFFIDABILITA’quali sono i risultati dell’articolo?l’effetto è stato dimostrato abbastanza da giustificarne la significatività? quanto siamo confidenti che il risultato si trova nell’intervallo della ragionevole aspettativa e non è dovuto al caso?

APPLICABILITA’

Le domande da farsiVALIDITA’AFFIDABILITA’

APPLICABILITA’i problemi che devo affrontare sono sufficientemente simili a questi dello studio?posso estrapolarne i risultati? posso generalizzarli al mio posto di lavoro?

Metodologia

campione

quesiti di ricerca

randomizzazione

sono definiti? come è stato selezionato?

la dimensione èsufficiente (potenza)?

metodi di randomizzazione? criteri di inclusione/esclusione chiari?

a parte l’intervento sperimentale, il trattamento nei 2 gruppi è lo stresso?drop-out e crossover sono conteggiati?gli outcomes sono definiti? l’analisi “ITT” è utilizzata?

Quesiti di screening

Lo studio è indirizzato a un argomento specifico e chiaro?

Saresti in grado di descrivere lo studio in termini di partecipanti, dell’intervento, degli the outcomesmisurati e dei confronti fatti?L’assegnazione dei partecipanti era randomizzata?I soggetti entrati nello studio sono stati tutti correttamente conteggiati alla fine?

Se rispondi SI a tutte queste domande, allora vai avanti e cerca risposte a queste altre domande:

Quesiti sui gruppiCi sono differenze tra i due gruppi riconducibili a bias di selezione o variabili di confondimento? (età, genere, estrazione sociale…)Cecità rispetto ai partecipanti, ai ricercatori, agli sperimentatoriI gruppi erano simili all’inizio dello studio?A parte l’intervento sperimentale, i due gruppi sono stati trattati allo stesso modo?

Quesiti sui risultati

Quanto è stata rilevante la differenza tra i due gruppi? (quali outcomessono stati registrati? come sono state espresse le differenze tra i gruppi?)Quanto erano precise le stime degli effetti del trattamento?(vai a vedere gli I.C.)

Quesiti sulla utilità

I risultati saranno utili a livello locale?I risultati possono essere applicati al tuo lavoro? (in cosa i soggetti dello studio sono diversi dai tuoi pazienti?)Gli outcomes importanti sono stati tutti considerati? (se no, questo inficia l’interpretazione dello studio)I benefici controbilanciano i rischi e i costi? (molte ricerche non includono l’analisi costi-benefici, che potrebbe essere invece molto utile).

Esempio:

Critical appraisal of a randomisedcontrolled trial (primary quantitative research): RCT to evaluate earlydischarge scheme for patients withstroke. Rudd AG, Wolfe CDA, Tilling K and Beech R. BMJ 1997; 315: 1039-1044.http://www.bmj.com/cgi/content/full/315/7115/1039

http://www.bmj.com/cgi/content/full/315/7115/1039

I risultati dello studio sono validi?

1. lo studio era indirizzato a un quesito ben specifico? Il quesito era stato chiaramente identificato in termini di:

Popolazione studiata Interventi applicati Outcomes considerati

VALIDITA’

Guardiamo insieme …

L’abstract ci aiuta a individuare la popolazione (Setting/subjects):

331 pazienti clinicamente stabili, che vivono soli e che sono ingrado di spostarsi autonomamente o che vivono con un caregiver e sono in grado di spostarsi con aiuto.questi sono pazienti che si recano in uno dei 2 ospedali scuola del centro di Londra: appare chiaro che questo esclude molti altri pazienti eleggibili che potrebbero beneficiare degli interventi sullo strokeappare chiaro che l’incidenza di malattie cardiache o respiratorie potrebbe essere minore in questi pazienti (il centro di Londra non presenta industrie pesanti o minerarie es. carbone che influenzano la saute di pazienti di questo gruppo di età)La tipologia di pazienti del centro città potrebbe essere differente da quella della periferia, più popolosa.

Da notare che nessuna di queste potenziali differenze inficia di per sé la definizione di popolazione, tuttavia potrebbe esserci una limitazione alla applicabilità in altre realtà.

VALIDITA’

Guardiamo insieme …L’intervento è descritto come una "specialist community rehabilitation" comparata al "conventional hospital and community care" Questo pone due problemi:

il termine "conventional care" è troppo vago, in setting diversi può assumere caratteristiche differenti in termini di durata e qualità. Le variazioni nell’assistenza convenzionale erogata presso il St. Thomas e il King's College Hospital vengono messe insieme, determinando fattori di confondimento.i "packages of care" sono composti da un numero di elementi indistinguibili, che non vengono mai identificati, così come non viene valutata la loro efficacia individuale. Risulta impossibile conoscere quali componenti degli interventi effettuati vengono attuati nel gruppo sperimentale e di controllo e se questi sono efficaci.

Questo approccio “a scatola chiusa” dove il lettore deve prendere per buoni i contenuti del pacchetto di cura si ritrova anche in altri studi, per es. la Cochrane Collaboration's review sull’efficacia delle "stroke units." nella fattispecie, è impossibile sapere esattamente cosa comprende una "stroke unit“ né se tali realtà sono omogenee.È necessario un approccio pragmatico, se si riesce a definire quale degli interventi presenti nel pacchetto di assistenza è efficace allora una ulteriore ricerca potrà verificare la natura e i meccanismi attraverso cui si generano i benefici per il paziente.

VALIDITA’

Guardiamo insieme …La tendenza ad essere sopraffatti dal gran numero di outcomesriportati. In questo caso gli autori hanno deciso quali fossero gli esiti principali e la dirata del periodo di misurazione; in questo caso l’indice di Barthel a 12 mesi. Questo porta a due riflessioni:

Questa particolare misura di esito è valida e significativa? Il periodo durante cui viene misurata è valida in termini di contesto clinico?

Coloro che non hanno conoscenze specifiche nel campo della riabilitazione faranno fatica a comprendere il significato dell’indice di Barthel. Nell’articolo si specifica che si tratta di una misura della disabilità in cui valori minori sono associati a condizioni peggiori. Solitamente il significato clinico della Barthelalla dimissione è più appropriato rispetto a quello a un anno, tuttavia in questo caso l’obiettivo è il ritorno alla normalità (per quanto possibile) per cui la misurazione a un anno è rilevante (collegata ai programmi di riabilitazione di comunità).

VALIDITA’


1. lo studio era indirizzato a un quesito ben specifico? Il quesito era stato chiaramente identificato in termini di:

Popolazione studiata Interventi applicati Outcomes considerati

Riepilogando, a parte i dubbi Riepilogando, a parte i dubbi

circa lcirca l’’esatta natura dellesatta natura dell’’insiemeinsieme

degli interventi e la consapevolezza degli interventi e la consapevolezza

che molti pazienti eleggibili sono che molti pazienti eleggibili sono

stati esclusi dallo studio, stati esclusi dallo studio,

la domanda può considerarsi esaurita.la domanda può considerarsi esaurita.

VALIDITA’


2. l’assegnazione dei pazienti al trattamento era randomizzata?

Non è una questione di lana caprina: se le condizioni di randomizzazione non sono soddisfatte, diventa impossibile dare un giudizio definitivo sullo studio.

VALIDITA’

Guardiamo insieme …L’assegnazione dei pazienti al trattamento era randomizzata?

Troviamo i dettagli della randomizzazione in un paragrafo separato, in cui apprendiamo che “randomisation was restricted in permuted blocks of 10 with random number tables provided in blank sealed opaque envelopes”. Una randomizzazione di qualità è caratterizzata da metodiche non aperte a manipolazioni o artefatti statistici. I metodi migliori sono:

generatori computerizzati di numeri casualitavole dei numeri casuali (come in questo caso)

La permutazione in blocchi è una forma di randomizzazione limitata, usata spesso per praticità negli studi multicentrici per scongiurare sbilanciamenti eccessivi nel numero dei pazienti assegnati in ogni braccio dello studio e per favorire un’allocazione indipendente. È particolarmente suscettibile ai bias di selezione.

VALIDITA’


3. I pazienti entrati nello studio sono stati conteggiati correttamente alla fine?

Completezza del follow upAnalisi ITT

VALIDITA’


Completezza del follow upè problematica in pazienti con patologie severe, in particolare in una popolazione anziana come quella oggetto di studio (età media 71 anni). Valutate se il numero dei pazienti che escono dallo studio è bilanciato tra i gruppi (non è il nostro caso)

L’evento morte a 12 mesi ha interessato il 16% e il 21% dei pazienti nei 2 gruppi.I drop-out sono stati rispettivamente il 3% e il 2%, mentre 5+4 hanno rifiutato di proseguire i controlli o si sono trasferiti.

VALIDITA’


Analisi ITTpermette di avere un’idea di cosa è accaduto realmente calcolando gli esiti (es. mortalità) entro ciascun braccio, rapportandola al numero di pazienti inizialmente assegnati a quel braccio. L’analisi ITT non tiene conto delle violazioni del protocollo ma anziché escluderle dall’analisi registra entro ciascun braccio gli eventi che riguardano i pazienti “compliant” assieme agli eventi che riguardano i pazienti che hanno violato il protocollo.

i pazienti sono stati analizzati nel gruppo dove erano stati allocati?"

VALIDITA’


4. I pazienti, i sanitari, i ricercatori erano ciechi rispetto al trattamento?

Appare chiaro che i pazienti sapevano in che gruppo erano: "occasionally the patient did make clearwhich group they had been in". I ricercatori erano divisi in 2 gruppi: coloro che raccoglievano i dati e coloro che li analizzavano.

Il ricercatore che a 12 mesi andava a casa del paziente era cieco al trattamento ma poteva venirlo a sapere casualmente dal paziente stesso.Non è chiaro se chi analizzava i dati era in cieco.

VALIDITA’


5.I gruppi erano simili all’inizio dello studio?Dalla tabella 1 sembra di si. Da notare la lunga permanenza prima della randomizzazione nel community therapy group.I pazienti disfasici nel community therapy group è maggiore, indicando una maggiore severità delle condizioni.

Se lo squilibrio è contrario all’ipotesi di studio, ovvero i due gruppi erano uguali all’inizio significa che l’entità degli esiti sarebbe stata ancora maggiore nei casi, ciò modifica ma non nega l’interpretazione. Se, invece, la diversità favorisce il gruppo sperimentale, questo determina un confondimento nello studio.

Entrambi i gruppi sono stati ben analizzati nelle analisi piùrilevanti, come il Previous Barthel score e il Barthel score alla randomizzazione.

VALIDITA’


6. A parte l’intervento sperimentale, i gruppi sono stati trattati allo stesso modo?

Vale per tutta la durata dello studio, qualunque altra procedura potrebbe contribuire a bias di risultato.

Ad esempio se un gruppo viene visto ogni mese per 6 mesi e l’altro viene visto solo all’inizio e alla fine dei 6 mesi la differenza nei risultati della riabilitazione potrebbe essere spiegata da variabili non legate allo studio (interazione sociale con il ricercatore).

In questo caso è specificato che "All other servicesapart from therapy were as described for the conventional group"

VALIDITA’

I risultati dello studio sono affidabili?

Quali sono i risultati?

Entità del trattamentoStima degli effetti del trattamento

AFFIDABILITA’


7. Entità dell’effetto del trattamento?

Si cercava una differenza di 3.5 nel punteggio di Barthel a un anno calcolato su 130 pazienti in ciascun gruppo, alla fine il gruppo di controllo è risultato leggermente più piccolo (126).

I trattamenti non sono significativamente differenti in termini di efficacia relativa. Il livello di significatività statistica era p<0.05, guardando gli altri outcomes vediamo che il community therapy group aveva livelli di ansia da ricovero e depressione più elevati (p=0.02) e una maggiore soddisfazione rispetto all’assistenza ospedaliera (p=0.032) rispetto al conventional group.Nessun’altra misura a un anno risulta statisticamente significativa.

È discutibile affermare che tali differenze assumano un significato clinico.

AFFIDABILITA’AFFIDABILITA’


8. Quanto sono precise le stime dell’effetto del trattamento?

Data la mancanza di significatività statistica, non si può affermare nulla.Si nota tuttavia che l’IC al 95% per la scala di Barthel va da 0 a 1, indicando che la differenza tra i due gruppi non è superiore a 1.

AFFIDABILITA’

I risultati dello studio sono applicabili?

9. I risultati possono essere applicati alla popolazione locale?

Lo studio ha il pregio di essere stato condotto in GB, all’interno del NHS, tuttavia possono comunque esistere variazioni legate a fattori associati all’aver condotto lo studio nel centro di Londra, in due ospedali scuola.Non siamo certi che i pacchetti di assistenza fossero simili tra i due gruppi o che possano essere simili a quelli forniti alla nostra popolazione locale.Il problema principale di questo studio è che molti soggetti sono stati esclusi dati i criteri di inclusione molto rigidi. Possiamo dire che un certo sottogruppo può beneficiare dell’implementazione di linee guida e protocolli basati sull’evidenza scientifica, ma non l’intera popolazione.

APPLICABILITA’

Ulteriori considerazioni…

La valutazione degli outcomes èimportante:

per il professionistaper il managerper il paziente

Sono stati considerati tutti gli outcome importanti?

SODDISFAZIONE ACCETTABILITA’

COSTO/EFFICACIA

EFFICACIA

paziente

sanitario manager


Di solito nessuno studio risponde in modo soddisfacente a tutte e tre le dimensioni.

EFFICACIA: in questo studio i due trattamenti sono simili SODDISFAZIONE: sembrerebbe che i soggetti trattati in ospedale siano più soddisfatti, ma con livello di stress piùelevato rispetto ai pazienti del community therapy group. COSTO/EFFICACIA: nella tabella 5 gli autori hanno raccolto molti dati, anche se in modo non sistematico o comprensibile. I dati raccolti permettono un’analisi dei costi, anche se non era tra gli intenti dichiarati, ma non èpossibile stabilire se i reparti di ricovero o i servizi ambulatoriali sono direttamente confrontabili.

ricordate: siate cauti quando vengono aggiunte altre argomentazioni estranee alla ricerca originale a supporto delle tesi degli autori.


Il gioco vale la candela?

I benefici valgono i rischi / i costi?

La mera lettura dell’analisi dei costi rende difficile stabilire un livello di soglia.

in assenza di benefici, è giustificato implementare la dimissione precoce, magari in quei pazienti che potrebbero beneficiarne?ulteriori dati sull’incidenza dello stroke nella popolazione locale potrebbero indirizzare le politiche sanitarie (e i finanziamenti conseguenti) verso i reparti ospedalieri o i servizi sul territorioUlteriori studi potrebbero analizzare i fattori di costo rilevanti e valutarne l’impatto sul settore sanitario e sociale

Conclusioni?La C.A. :

(di un singolo articolo) non dà risposte definitive rispetto a un problema, tuttavia chiarisce quali sono le priorità per ulteriori ricercheci difende dall’uso improprio di articoli per scopi impropri o diversi da quelli inizialmente dichiaratici aiuta a identificare dove gli autori hanno oltrepassato i limiti della loro stessa ricerca nel trarre conclusioni per la pratica clinica.

Conclusioni?

Le domande ulteriori da considerare includono:

come ridurre l’incertezza ed estendere l’applicabilità di un singolo studio? cosa fare quando due o più studi su una medesima area arrivano a conclusioni apparentemente diverse?

Per rispondere, è necessario fare la C.A. delle revisioni sistematiche della letteratura.

La C.A. delle revisioniUn singolo studio sembra dimostrare che non esietonodifferenze significative tra i due approcci (dimissione precoce vs. trattamento convenzionale)

È una conclusione esaustiva / definitiva?Potrebbero altri studi confermare / smentire questa conclusione?

È qui che le revisioni sistematiche mostrano la loro utilità: se più studi mostrano risultati simili, possiamo essere certi che un dato intervento funziona … se i risultati sono contraddittori, dobbiamo concentrarci su possibili bias di progettazione o sulla presenza di altri fattori di confondimentoCi sono altre differenze nel campione, nel tipo di intervento sperimentale e negli effetti misurati?

La C.A. delle revisioniIn pratica possiamo prendere gli studi a supporto o a sfavore circa l’efficacia di un determinato intervento e:

“dare un voto” a ciascuno studio e vedere qual èl’opinione prevalente (non tiene conto delle dimensioni)catalogare gli studi in base alle dimensioni e vedere dove c’è un maggiore sostegno all’ipotesi (non tiene conto della qualità del disegno degli studi)catalogare gli studi in base a dimensione e qualità (tiene conto della potenza e della qualità degli studi)

Questo approccio è utile per tutti gli studi secondari (meta-analisi, revisioni sistematiche, linee guida, analisi economiche) La check list è simile a quella che abbiamo già visto per gli studi primari.

Check list C.A. letteratura secondaria

A. I risultati delle revisioni sono validi?

Forniscono risposte a quesiti specifici sull’assistenza al paziente? Hanno evidenziato gli studi attraverso la ricerca:

in Medline e altri database rilevantinel registro Cochrane delle RCT nella letteratura straniera nella “letteratura grigia” (fonti non pubblicate – non indicizzate: tesi, atti di conferenze, report interni, documenti dell’industria farmaceutica) confronto incrociato dei riferimenti bibliograficicontatto diretto con gli esperti del settore per trovare materiale non pubblicatoricerca manuale delle più importanti riviste del settore


A. I risultati delle revisioni sono validi?

Nelle meta-analisi,è più importante ri-analizzare i dati piuttosto che le conclusioni

Gli autori hanno indicato i criteri di inclusione ed esclusione degli studi, considerando i Pazienti, gli interventi utilizzati, gli outcomes riportati e la metodologia?


B. Quali sono i risultati?Nelle meta analisi, come sono presentati i dati?

I dati sono spesso rappresentati con linee orizzontali che rappresentano l’IC 95% dell’effetto di ogni studio (l’lC 95% del rischio relativo di casi rispetto ai controlli) A volte c’è un puntino centrale a rappresentare la migliore stima singola dello studio.

Guardate lo schema e proponete le vostre osservazioni

Cosa possiamo dedurre?

Probabilmente un piccolo studio, IC ampio, crossing unity (impossibile stabilire se l’intervento è efficace)Probabilmente un piccolo studio, IC

ampio, non crossing unity:suggerisce che l’intervento è efficace ma con scarse evidenze.Studio più ampio, IC ristretto ma crossingunity, non evidenze che l’intervento sia efficace.Studio ampio, IC ristretto, non crossing, suggerisce che l’intervento èefficace.studio piccolo, IC ampio, suggerisce che l’intervento è dannoso!Meta-anali di tutti gli studi identificati, suggerisce che l’intervento è efficace.


Gli autori hanno considerato l’omogeneità?

Se sono interessato all’effetto della frutta sul cancro mi cercherò studi sul consumo di mele e arance, ma se mi interessa solo il consumo di agrumi dovrò scartare gli studi sulle mele.Nelle meta-anali, posso confrontare visivamente i grafici come abbiamo appena visto, oppure possiamo usare il Χ2

test (Thompson, 1995).


C. I risultati saranno utili localmente:

È più facile stabilirlo rispetto alla ricerca originale. Altri studi possono aver interessato persone di età, estrazione sociale … ma se il trattamento è efficace nonostante le differenze allora il risultato ègeneralizzabile.Attenti alle comparazioni tra sottogruppi, spesso le conclusioni non sono giustificate. Attenti alle forzature tipo testare più ipotesi sui dati, soprattutto se le ipotesi sono fatte dopo che lo studio è iniziato.Sono stati considerati tutti gli outcomes clinici importanti?I benefici compensano rischi e costi?

Critical appraisal di una revisione sistematica

Esercizio 2:

Effectiveness of home care programmes forpatients with incurable cancer on their qualityof life and time spent in hospital: systematicreview F W J M Smeenk, JC M van Haastregt, LP de Witte, HF J M Crebolder BMJ 1998; 316: 1939-1944 and at:



A. Are the results of the reviewvalid?

Screening Questions

chi ha fatto la revisione si è indirizzato a un argomento specifico?gli autori hanno consultato gli articoli giusti? vale la pena continuare a leggere?

A. Are the results of the reviewvalid?Detailed Questions

pensi che siano stati inclusi studi importanti e rilevanti?gli autori hanno fatto abbastanza per valutare la qualità degli studi inclusi?se i risultati sono stati confrontati, era ragionevole farlo?qual è il risultato finale della review?quanto sono precisi i risultati?i risultati sono applicabili alla popolazione locale?sono stati considerati tutti gli outcomes importanti?i benefici compensano rischi e costi?

APPRAISAL OF QUALITATIVE STUDIES

A prima vista, la valutazione di studi qualitativi appare più intuitiva e meno deduttiva,più un’arte che una scienza. Ci sono sommari di inrevite invece di numeri, gli outcomes possono esse più soggettivi e sfaccettati rispetto a variabili dicotomiche “si/no.Gli strumenti di raccolta dati (intervistesembrabo piùa rischio di bias da osservatore rispetto alle scale di misurazione di peso o pressione. C’è il rischio di enfatizzare – anche inconsciamente –argomenti che supportino le conclusioni: chi legge può dare interpretazioni differenti. Il ricercatore può perdere l’imparzialità e trovarsi coinvolto dal soggetto osservato.

Metodi di ricerca qualitativaPer affermare che una ricerca qualitativa è di buon livello, gli autori devono dimostrare:

di avere un obiettivo specifico e non di mettere insieme i dati per dar loro un sensodi scegliere la metodologia appropriatacosa è incluso e cosa non è incluso in modo chiaroEffetti sui drop out e i non-responder.

Gli autori devono porre nuove domande pertinenti a un lavoro qualitativo.Gli autori devono dichiarare le relazioni tra osservatori e soggetti osservati e qualunque bias che può essere stato introdotto. Di nuovo, dobbiamo farci e dobbiamo rispondere alle solite 3 domande:

qual è il messaggio?posso crederci?posso generalizzare?

Analisi critica di uno studio qualitativo

Esercizio 3Reed J and Morgan D (1999) Discharging older people fromhospital to care homesJournal of Advanced Nursing 29: 819-25

http://www3.interscience.wiley.com/journal/119093365/abstract




Screening questions

Lo scopo della ricerca è chiaramente dichiarato?La metodologia qualitativa èapprorpiata?


Detailed Questions:Stategie di campionamento

a. da dove e perché è strato estratto il campione?Chi è stato selezionato e perché?Come è stata fatta la selezione e perché?La dimensione del campione era giustificata?È chiaro perchè alcuni partecipanti hanno scelto di non partecipare?


Detailed Questions:

La strategia di campionamento era adatta allo scopo?Raccolta dati: è chiaro:

dove si è svolta e perché è stato scelto quel settingcome e perché sono stati raccolti i dati?come e perché sono stati registrati i dati?i metodi di raccolta sono stati cambiati in corso d’opera? Perché?i dati sono stati raccolti in modo finalizzato allo scopo della ricerca?


Detailed Questions:

Analisi dei dati – è chiaro:Come è stata fatta l’analisi?I dati erano sufficientemente rigorosi?


Detailed Questions:

Relazioni tra osservatori – è chiaro:Se i ricercatori hanno esaminato il loro ruolo in modo critico, i bias e le influenze potenziali?Dove sono stati raccolti i dati e perché è stato scelto quel setting?Come è stata spiegata la ricerca ai partecipanti?

La relazione tra ricercatori e partecipanti èstata adeguatamente considerata?


Detailed Questions:

Risultati Giustificazione dell’interpretazione dei dati

I dati presentati sono sufficienti a supportare i risultati?I ricercatori spiegano come i dati sono presentati sono stati estrapolati dall’originale?


Detailed Questions:

TrasferibilitàRilevanza e utilità

Nell’indirizzare nuove ricercheNel contribuire a comprendere/fare luce/dare una nuova prospettiva all’argomentoNel suggerire future ricercheIn termini di impatto sulla pratica corrente


Detailed Questions:

How relevant is the research? Howimportant are these findings topractice?

Utilizzare e presentare i risultati di una CA

Riflessione:

Come registreresti o archivieresti i risultati di una CA che hai fatto per massimizzare l’utilità dell’analisi?

Utilizzare e presentare i risultati di una CA

Quali sono i possibili "outputs" di un esercizio di CA? ecco alcuni suggerimenti, non esaustivi :

Cambiare la mia pratica.Cambiare la pratica dei miei colleghi.Sviluppare LG.Dare l’avvio a una rivista o a un forum professionaleAssociare la tua ricerca all’oggetto in questione

Critically Appraised Topics(CATs)

I CATs sono sommari scritti dove conservare il lavoro fatto su uno studio per utilizzarlo in altri casi. Sono utilissimi per imparare a formulare quesiti clinici, cercare le migliori prove di efficacia, valutare, organizzare, riassumere le evidenze,integrare la ricerca nella pratica clinica. Sono stati inventati dai docenti di medicina internistica della McMaster University per affinare le capacità di CA e migliorare le abilità didattiche in ambito EBM.

Referenceshttp://163.1.212.5/cats/catsearch.html

http://163.1.212.5/cats/catsearch.html

La valutazione critica di un articolo scientifico · volume della letteratura (risorse ... filtrare...

Documents

Transcript of La valutazione critica di un articolo scientifico · volume della letteratura (risorse ... filtrare...