Strumenti del processo diagnostico: il questionario

Costruzione del questionarioAnalisi della validità e riproducibilità del questionario attraverso un indice statistico di concordanza : il kappa

Argomento della lezione

• Il questionario: strumento principale per raccogliere le informazioni

• Come si costruisce un questionario• Vari tipi di questionari• Validazione di un questionario• Confrontare le informazioni raccolte da un

questionario con un gold standard (strumentazioni, esami, clinico) attraverso il kappa di Coehn

Obiettivo della lezione

• L'obiettivo di questa lezione è riflettere sulla complessità che c'è dietro la costruzione di un buon questionario

• Essere in grado di rispondere alle seguenti domande:

Come si costruisce un questionario? quando si usa? come faccio a sapere se il questionario che ho costruito per raccogliere una serie di informazioni sulla insufficienza renale funziona?

Il processo diagnostico

• Il processo diagnostico consiste nel trarre dall’osservazione di un individuo quegli elementi che permettano di giudicare se è affetto o meno da una determinata malattia e, conseguentemente, le indicazioni sulla linea terapeutica da seguire.

• Alla base del processo diagnostico vi è l’acquisizione di informazioni riconducibili alle caratteristiche dell’individuo che si presenta all’osservazione. Queste informazioni possono essere raccolti attraverso:

sintomi riferiti,esame obiettivo esami strumentali o di laboratorioQuestionario, test

Che cos'è il questionario?

• Uno strumento per raccogliere informazioni che può essere utilizzato in molti campi: indagine clinica, stesura di linee guida e protocolli terapeutici, nelle audit cliniche, ricerca epidemiologica, valutazione dello stato della qualità….

• È uno strumento apparentemente semplice, ma il disegno di un questionario è un processo complesso che coinvolge diversi aspetti e considerazioni

Obiettivi possibili:

• Studiare i fattori di rischio (es. indagini epidemiologiche)

• Verificare l'efficacia di misure applicate (stesura di linee guida, analisi casistica, etc)

• Strumenti di diagnosi (disturbi comportamentali, alimentari, mentali, etc…)

• Scheda raccolta dati (anamnesi, checklist)

Il questionario una definizione

I questionari sono“strumenti di raccolta delle informazioni, definiti come un

insieme strutturato di domande e relative categorie di risposta definite a priori da chi lo costruisce, ovvero di domande cosiddette “chiuse” dove all’intervistato (inteso come colui che risponde alle domande scritte del questionario) viene richiesto di individuare tra le risposte presentate quella che più si avvicina alla propria posizione, e/o di domande “aperte”, che non prevedono cioè delle risposte predeterminate”(Zammuner, 1996).

ma alle quali il soggetto può rispondere riportando e valutando la propria esperienza.

Il questionario

• Se è vero che tutti i questionari sono costituiti da domande, non è vero che le domande da sole bastano a fare un questionario

• Ciò che distingue un buon questionario da una serie di domande è l'attività di pianificazione

• Ricordate sempre che:OGNI DOMANDA HA LA RISPOSTA CHE SI MERITA!!!

QUALE QUESTIONARIO?

• per costruire un questionario la prima domanda da porsi è: "cosa voglio sapere? cosa voglio misurare?"

• Stabiliti gli obiettivi bisogna scegliere se utilizzare un questionario:

Già validato (creato, utilizzato, testato)Già utilizzato – possibilità di comparare i datiCreato ad hoc ->

• Ci occuperemo del terzo caso

Caratteristiche di base

• essere facile da leggere• riportare istruzioni chiare• occuparsi delle informazioni veramente

importanti• avere già in mente il tipo di analisi che si

vorrà poi fare sui datiil questionario deve essere trattato come un

delicato strumento scientifico e in quest’ottica deve essere calibrato, controllato e utilizzato

Passi preliminari: la raccolta delle informazioni

• Analisi della letteratura scientifica sull’ambito di indagine.

• Analisi delle esperienze simili.• Interviste o focus group con

“osservatori privilegiati” e operatori del servizio.

Fasi della costruzione del questionario

• Scelta e definizione delle aree di contenuto da esplorare nel questionario.

• Formulazione dei relativi quesiti o item.• Declinazione dei contenuti delle aree in singoli

quesiti che rilevano verbalmente le opinioni e le percezioni dei rispondenti.

• Sistemazione dei quesiti in un ordine adeguato.

Alcuni suggerimenti:

• all’inizio del questionario dare alcune brevi istruzioni su come rispondere;

• iniziare possibilmente con domande semplici, che mettano a proprio agio chi risponde

• raggruppare le domande che si riferiscono a uno stesso tema per facilitare la concentrazione del rispondente su un unico argomento alla volta, esaurito il quale si passa al successivo

• posizionare le domande più complesse che richiedono maggiore attenzione in posizione intermedia della sequenza, non all’inizio poiché possono demotivare il rispondente nel proseguire la compilazione, e non alla fine quando la fatica si può far sentire

Alcuni suggerimenti:

• se è necessario usare una sequenza temporale, è consigliabile porre prima le domande riguardanti il passato, poi quelle relative al presente

• condurre una analisi tramite pre-test dello strumento ottenuto; ovvero testare su un piccolo campione di soggetti il questionario.

Pre-test

• È consigliabile che lo strumento di rilevazione sia somministrato a un gruppo di individui (10-20) con caratteristiche simili a quelle del campione che si intende intervistare.

• Lo scopo è quello di individuare e correggere i possibili errori di interpretazione, le domande superflue, le domande mancanti, le modalità di risposta confuse o inappropriate, ecc.

• In questa fase risulta utile incoraggiare gli intervistati a commentare le domande e le risposte, facendo così emergere eventuali criticità dello strumento.

Tipi di domande

• Aperte : qualsiasi risposta possibile, risposte anche lunghe, risposta trascritta e codificata in un secondo tempo. Queste domande vanno bene per raccogliere opinioni in interviste personali.

• Chiuse : chi risponde deve scegliere tra un limitato numero di opzioni.

Dicotomiche (si/no ma aggiungere anche non so)A scelta multipla. Facili da codificare ed analizzare. Il range di risposte possibili èlimitato.

• Ciascun tipo di domande presenta vantaggi e limiti.

esempi

Domande chiuse Domande aperte Le domande sono accompagnate da una lista di alternative (o categorie) di risposta fra le quali il soggetto sceglie quella o quelle che meglio rappresentano la sua risposta

Le domande aperte permettono al rispondente di esporre liberamente con le proprie parole le sue percezioni

esempio: quante volte in un mese si reca dal medico di base?

meno di una volta una volta due - tre volte quattro volte più di 4 volte non so/non ricordo

esempio quante volte in un mese si reca dal medico di base?

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Domande chiuse

• VantaggiSi risponde più velocementeTasso di risposta più altoPiù facili da analizzareLa lista di alternative aiuta a comprendere meglio la domanda

• LimitiLe categorie possono suggerire la rispostaLe categorie possono non comprendere tutte le casistiche

Domande aperte

• VantaggiQualità delle risposte, possono emergere aspetti nuovi Originalità delle rispostePossibilità di approfondire gli argomenti

• LimitiPiù difficili da codificareLe risposte possono mancare o possono contenere informazioni irrilevantiRichiede maggior tempo nelle risposte

formati di risposta chiusi esempio si usa quando Domande ad Alternativa Fissa si deve scegliere da un elenco di possibili risposte tra loro esclusive

età meno di 20 anni tra 20 e 40 anni tra 41 e 60 anni più di 60 anni

si conoscono bene le possibili risposte, che vengono sintetizzate nei punti di un elenco

Domande a scelta multipla il rispondente compie una scelta da un elenco di possibili risposte

chi l'ha informata della possibilità di accesso alla day-surgery (può indicare più di una alternativa) il medico di medicina generale specialista amici conoscenti libero accesso altro

è possibile chiedere agli intervistati di scegliere una o più possibili risposte

Domande a risposta graduata il rispondente compie una scelta sulla base di una scala a risposte graduate.

come va in generale la sua salute molto bene bene discretamente male molto male

si chiede di indicare la categoria verbale che più si avvicina alla propria posizione

Tipi di risposta chiusi

Response effect

• Quando gli intervistati scelgono la risposta che occupa la stessa posizione nella scala (scelgono sempre abbastanza)

• o nelle alternative di risposta, per esempio sempre le prime risposte presentate o le ultime, senza considerare il contenuto della domanda.

• Se si teme uno di questi effetti, può essere utile introdurre nella batteria alcune domande di controllo a polarità invertita, che controllino la sincerità delle risposte.

Punto intermedio e non so

• Solitamente si tende a utilizzare scale di risposta che abbiano un numero pari di punti, e a escludere il punto intermedio con etichetta “moderatamente adeguato” o “così così”,

• In questo modo gli intervistati sono forzati a prendere una posizione ed evitare che sia alto il numero di coloro che non esprimono una posizione netta circa l’oggetto dell’indagine.

• È consigliabile non introdurre tra le categorie di risposta il punto “non so”.

target

• Il questionario deve essere modellato sulla base delle caratteristiche socio-anagrafiche

• del target. Aspetti rilevanti possono essere:Età, Sesso, tasso di ScolarizzazioneTipo di Professione, etnia, religione, NazionalitàDimestichezza con la lingua italiana scritta e parlatascelta delle domandeordine delle domandemodalità di rispostalunghezza del questionario,

Costruzione delle domande

1. Usare parole, frasi e stile familiari alla maggior parte delle persone

2. usare parole semplici e frasi brevi e semplici3. cercare di essere specifici senza entrare in dettagli

molto elaborati4. fare domande concise senza il rischio di dettagli

ambigui o domande doppie5. cercare di essere precisi e non vaghi6. Porsi l’obbiettivo di usare meno di 20 parole per

domanda7. evitare domande fuorvianti o in cui si suggerisca la

risposta8. evitare di immaginarsi in anticipo la risposta9. cercare di essere realistici e non ipotetici10.usare il buon senso

Qualche esempio

• Domande ambigue:quante volte all’anno si è recato dal medico di famiglia nel biennio 1989-1990?

• Due domande in una:Ha accusato problemi respiratori quando fa troppo caldo?

• Parole che non vengono comprese: Soffre di dispnea?

• Eventi difficilmente ricordabili: Quanto pesava all’età di 10 anni?

• Domande pilotate:Lei non fuma,vero?

Qualche esempio

• Domande troppo lunghe con troppe ideeHa mai usato integratori, antinfiammatori, analgesici?

• Intervalli che si sovrappongono:Quante visite avvengono in un anno? Fino a 10, da 10a 20, da 20 in su?

• Non richiedere esattamente l’informazione voluta:

Non ha mai un desiderio irresistibile verso alcuni cibi? (per sapere cosa effettivamente le persone mangiano)

E ancora...

• Scelta delle parole:dovrebbero essere scelte con l’obiettivo di assicurare il corretto significato. Criteri di scelta:

• la parola significa proprio ciò che intendiamo dire?

• la parola ha qualche altro significato?• il contesto rende chiaro ciò che vogliamo dire?• esistono parole simili che potrebbero

confondere?• esiste una parola o una frase più semplice?

somministrazione

• Autosomministrazione È il soggetto, nel vostro caso il paziente che compila il questionario

• IntervistaÈ un medico o un altro operatore che pone le domande del questionario al soggetto

• Somministrazione postaleIl questionario viene inviato per posta

• Intervista telefonica• Internet

differenze

• Tutte queste tecniche hanno dei limiti e dei vantaggi che bisogna tenere presente nella fase di costruzione

• In particolare se il questionario saràautosomministrato o postale le domande dovranno essere particolarmente chiare e il layout dovrà essere semplice accattivante

• I questionari postali dovranno essere spediti in buste preaffrancate e indirizzate per ridurre il tasso di non risposta che è il più alto tra le tipologie di somministrazione

Esempi di questionari

Quando si costruisce un questionario èbuona norma codificare le risposte come in questo caso.

Lo scopo èfacilitare l’analisi

Questo questionario fa parte di uno studio per le linee guida del trattamento della tiroide

Si raccolgono tutte le informazioni provenienti da diverse fonti: esame obiettivo, strumentale etc

Questionario, test, scala

Questionario, test e scala sono la stessa cosa? no.• Differenza tra questionario e scala

Nel questionario le risposte possono essere anche a bassa articolazione (si/no)Nella scala le risposte prevedono una maggiore graduazione nella scelta (es le scale del dolore come definisce il dolore..?molto forte, forte, moderatamente forte…assente)

• Differenza tra questionario e testNel test il setting è rigidamente strutturato, oltre a domande ci possono essere anche una serie di prove (esempio i test di intelligenza, i test sulla memoria)

Vantaggi e limiti del questionario

• I vantaggi principali del questionario sono il basso costo e la rapidità di somministrazione.

• Questo strumento, però, presenta numerosi limiti, come ad esempio, l’impossibilità per il soggetto di approfondire la risposta data, perché comunque è costretto a scegliere tra i soli items proposti.

• I questionari vengono costruiti per misurare “qualcosa” che non è misurabile in altri modi. Questo ne costituisce il limite e il vantaggio.

Validità e attendibilità del questionario

• Come per tutti gli strumenti diagnostici anche per il questionario bisogna valutare la validità e l’attendibilitào riproducibilità

• La validità si riferisce alla proprietà del giudizio clinico di dimostrarsi in accordo con evidenze più probanti, quale un più attento esame obiettivo o strumentale del paziente, o la sua osservazione nel corso del tempo (gold standard).

• La riproducibilità si riferisce alla proprietà del giudizio clinico di dimostrarsi in accordo con quello derivante da altre osservazioni dello stesso fenomeno (grado di accordo tra operatori diversi o tra strumenti diversi)

validità

• La validità di uno strumento si riferisce al grado con cui lo strumento stesso misura ciò che si prefigge di misurare.

• Perché i dati raccolti siano validi, devono fornire effettivamente le informazioni per ottenere le quali lo strumento è stato costruito.

• Ci sono vari tipi di validità: validità concorrente/di criterio;validità di costrutto;validità di facciata;validità convergente/discriminante;validità predittiva

validità

Validità di contenuto/concettuale

Validità concorrente/di criterio

Capacità dello strumento di misurare effettivamente ciò che si intende rilevare esempio un test sull’alcolismo deve classificare correttamente i soggetti in fumatori non fumatori

Corrispondenza tra i risultati ottenuti e un criterio esterno correlato esempio il test per alcolismo deve registrare accordo con il test che rileva la presenza di alcol nel sangue

Come misurarla Come misurarla Attraverso l’analisi indipendente dello strumento da un gruppo di esperti

Confrontando i risultati ottenuti da un pre-test con altri risultati noti

Validità di costrutto Validità di facciata

Corrispondenza tra i risultati ottenuti e la costruzione teorica proposta.

Analisi dell’adeguatezza del materialestimolo ai soggetti da esaminare.

Come misurarla Come misurarla Elaborando una ipotesi teorica ed esaminando la corrispondenza tra tale ipotesi e i risultati ottenuti.

Attraverso la richiesta di un giudizio qualitativo intuitivo ai soggetti sul materiale-stimolo

validità

Validità convergente e discriminante

Validità predittiva

La validità discriminante consiste nel dimostrare un ragionevole grado di indipendenza tra le varie aree che compongono lo strumento. Per validità convergente si intende la misura della dipendenza di ogni item con il fattore di riferimento.

Indica la capacità della scala di predire l’evoluzione del fenomeno che si intende misurare.

Come misurarla Come misurarla Per la misura della validità discriminante si può

utilizzare il coefficiente di cograduazione di Spearman.

La validità convergente si misura tramite correlazione tra ogni domanda/item e la sua scala di appartenenza.

Si può utilizzare la cograduazione come misura dell’intensità del legame tra le variabili.

attendibilità

• Per attendibilità si intende una misurazione che, applicata allo stesso oggetto, deve dare gli stessi risultati anche quando viene compiuta da persone diverse, in situazioni diverse, con strumenti diversi.

• Le verifiche empiriche dell’attendibilità riguardano:

l’omogeneità o coerenza interna dell’insieme degli stimoli che compongono il test;la concordanza tra forme parallele di uno stesso test;la stabilità delle reazioni di soggetti esaminate più volte, ossia la verifica dei risultati al re-test.

attendibilità

Omogeneità /coerenza interna

Concordanza

Corrispondenza tra risposta e risposta all’interno dello strumento.

Corrispondenza tra risultati di rilevazioni ripetute con strumenti diversi.

Come misurarla Come misurarla alfa di Cronbach: calcolare la correlazione delle risposte a ogni domanda con le risposte a tutte le altre domande.

Replicare la rilevazione con strumenti diversi e calcolare la correlazione tra i risultati.

Stabilità Corrispondenza tra risultati di rilevazioni ripetute con lo stesso strumento. Come misurarla rilevazione nel tempo sugli stessi soggetti e calcolare la correlazione tra i due risultati.

Accordo tra due osservatori

• Per misurare il grado di accordo tra due osservatori bisognerebbe che due clinici esaminassero separatamente un certo numero di pazienti e che per ognuno di essi formulassero il giudizio clinico relativo alla classificazione dei pazienti in base:

a due categorie diagnostiche, ad esempio malattia presente o assente, malattia A o B, malattia lieve o grave;a più di due categorie diagnostiche non ordinali, ad esempio malattia A, B o C;a categorie diagnostiche ordinali, ad esempio malattia assente, lieve o grave, malattia assente, sospetta o presente, ecc…

Come mettere i dati per calcolare l’accordo

Accordo osservato

• Si definisce accordo osservato (AO) la proporzione di pazienti per i quali i due clinici concordano nella formulazione del giudizio clinico sul totale dei pazienti sottoposti al giudizio stesso:

• Questa misura dell’accordo tra osservatori è tuttavia piuttosto superficiale in quanto non considera che i due clinici potrebbero concordare nella diagnosi per puro effetto del caso

Accordo atteso• Si definisce accordo atteso (AA) la proporzione attesa

di diagnosi concordanti per effetto del caso sul totale dei pazienti

Indice K di concordanza oltre il caso

Ne deriva che una misura della proporzione di accordo che esclude la quota dovuta al caso è data dall’indice K di concordanza:

Indice kappa un esempio• A 2 clinici viene chiesto di classificare 100 pazienti psichiatrici

in 2 categorie: malattia psichiatrica, malattia organica.

• L’accordo osservato è:AO = 85 + 10 / 100 = 0.95ovvero i due clinici concordano sulla diagnosi nel 95% dei casi.

Tuttavia, l’accordo atteso per effetto del caso è:AA = (85 . 90 + 15 . 10) / 1002 = 0.78ovvero l’accordo potenziale oltre il caso è di (1 – 0.78) = 0.22.Ne deriva che l’indice K di concordanza è:K = (0.95 – 0.78) / (1 – 0.78) = 0.77

Indice K generalizzato per categorie diagnostiche ordinali

• Si sommano le diagnosi concordanti e si “pesano” in base alla vicinanza diagnostica esempio

esempio• 2 clinici esaminano indipendentemente l’uno dall’altro 100

mammografie classificandole nelle seguenti tre categorie ordinali: assenza di lesioni, presenza di lesioni dubbia e presenza di lesioni certa.

• Indicizzando le tre categorie con 1 (assenza di lesioni), 2 (dubbia presenza di lesioni) e 3 (certa presenza di lesioni) i pesi sono qui di seguito indicati:

L’accordo osservato è:AOw = 1 * (22/100) + 0.75 * (1/100) + 0 *(7/100) + 0.75* (2/100) + 1 *1*(21/100)+ 0.75 *(3/100) + 0 * (8/100) + 0.75 * (4/100) + 1 * (32/100) = 0.83 L’accordo atteso per effetto del caso è:AAw = [1 * (32 * 30)/1002)] + [0.75 * (26* 30)/ 1002)] + [0 * (42*30)/ 1002)] + [0.75* (32 * 26)/ 1002)] + [1* (26 *26)/ 1002)] + [0.75* (42 * 26)/ 1002)] + [0* (32 * 44)/ 1002)] + [0.75* (26*44)/ 1002)] + [1* (42* 4)/ 1002) = 0.64Ne deriva che l’indice K di concordanza pesato è:Kw = (0.83 – 0.64) / (1 – 0.64) = 0.52

Indice di concordanza per dati quantitativi

• Quando vogliamo misurare l’accordo tra due o più strumenti od operatori e le modalità non sono espresse in termini qualitativi (esempio assenza/presenza malattia), ma quantitative (livelli di colesterolo nel sangue)si utilizzano altri strumenti:

• Il grafico di correlazione• Il Coefficiente di Correlazione Lineare• Il Coefficiente di Correlazione Intraclasse

(ICC)

Grafico di correlazione

correlazione y = x + 0,2R = 1

0

0,5

1

1,5

0 0,5 1

operatore A

oper

ator

e B

Il coefficiente di correlazione Intraclasse

• Stima quanto della variabilità totale osservata è da attribuire alla variabilità tra diversi operatori

• È un rapporto tra la varianza tra gruppi e la varianza totale

tot

traICCvarvar

=

( )nxxi

2

var ∑ −=

bibliografia

• Boncori L., Teoria e tecnica dei test. Torino, Bollati Boringhieri, 1993.

• Manganelli Rattazzi A.M., Il questionario. Padova, CluepEditrice, 1990.

• Zammuner V.L., Interviste e questionari. Roma, Borla Edizioni, 1996.

• Fleiss, J. L., Levin, B., & Paik M. C. (2003). Statistical methods for rates and proportions.Hoboken, New Jersey: Wiley.

• http://proxy.racine.ra.it/ausl/Epi-Info/Forma/REGOLE%20PER%20UN%20QUESTIONARIO.htm

• http://ourworld.compuserve.com/homepages/jsuebersax/kappa.htm