Disegni quasi-sperimentali e sperimentali

Introduzione

Il disegno quasi-sperimentale e sperimentale elimina alcune minacce contro la validità interna (threats) che limitano la “forza” del disegno before-and-after, il più semplice disegno di valutazione di efficacia di un intervento.

In questa lezione si parlerà prima di come un disegno before-and-after può evolvere a un disegno quasi-sperimentale con l’aggiunta di uno o più elementi e poi di disegni sperimentali.

Negli ambienti di lavoro i disegni quasi-sperimentali sono maggiormente fattibili dei disegni sperimentali.

Ci sono cinque strategie per migliorare il disegno prima-e-dopo

• Strategia 1: Aggiungere un gruppo di controllo

• Strategia 2: Prendere più misure prima e dopo l’implementazione dell’intervento

• Strategia 3: Sfasare l’introduzione dell’intervento tra i gruppi

• Strategia : Aggiungere una fase di rimozione dell’intervento

• Strategia 5: Usare misure di outcome addizionali

Strategia 1 Aggiungere un gruppo di controllo

Pre-post con controlli non-randomizzati

O X O

O O

Pre-post con controlli non-randomizzati

Come nel disegno sperimentale, vi è almeno un gruppo che riceve l'intervento (gruppo di intervento) ed un gruppo che non lo riceve (gruppo di controllo). La differenza sta nel modo in cui i partecipanti sono assegnati ai gruppi per l’intervento e la valutazione. In un esperimento i partecipanti sono assegnati a caso; nei disegni quasi-sperimentali l'assegnazione è determinata spesso dall'organizzazione del lavoro.

Costituire i gruppi (intervento e controllo) negli studi quasi-sperimentali

Il principio fondamentale nella scelta non-randomizzata dei gruppi per un disegno quasi-sperimentale è quello di renderli confrontabili. Dovrebbero essere simili sotto tutti gli aspetti eccetto che per l'intervento. Nel confrontare due reparti, è necessario trovarne due che siano simili rispetto al tipo di attività lavorativa. Per selezionare gruppi che si assomiglino, si potrebbero cercare reparti simili in ambienti di lavoro differenti, preferibilmente nello stesso tipo di industria.

Costituire i gruppi (intervento e controllo) negli studi quasi-sperimentali

• caratteristiche del lavoratore (per esempio, età, sesso, esperienza)

• natura delle mansioni di lavoro

• ambiente del lavoro (cioè, esposizione ai rischi, controlli per la sicurezza)

• fattori contestuali (per esempio, cultura sulla sicurezza e la salute; sostegno dell'amministrazione per la sicurezza)

• registro di informazioni sulla sicurezza

La scelta dipende dalla situazione locale. Non possiamo dire specificamente quale gruppo sarebbe meglio, ma possono essere prese in considerazione alcune caratteristiche

Vantaggi del disegno “pre-post con controlli non-randomizzati

Aggiungere un gruppo di controllo non-randomizzato al semplice disegno before-and-after riduce automaticamente alcune delle minacce alla validità interna. In particolare si riduce l'interferenza da circostanze esterne (history threats), perché quest’ultimo effetto si verificherà sia nel gruppo di controllo che nel gruppo di intervento. Quindi questo disegno permette di separare l'effetto dell'intervento da quello di altre circostanze.

Strategia 2 Prendere più misure prima e dopo l’implementazione dell’intervento

Time series designs

OOOXOOO

Strategia 2: due approcci

Disegnitime series

2a: semplice

OOOXOOO

2b: multiplo OOOXOOOOOO OOO

Strategia 2a: “time series” semplice

OOOXOOO

Un disegno time series semplice differisce dal disegno before-and-after perché si effettuano misurazioni multiple prima e dopo l'intervento.

Si stabilisce un baseline time trend ottenendo svariate misure dei risultati prima di effettuare l'intervento.

Dopo l'intervento si rifanno misurazioni multiple per stabilire un second time trend.

Se l'intervento è efficace, troveremo una differenza tra le misure dei risultati nei due trend temporali.

Disegno “time series” semplice Vantaggi

Nel primo riquadro si vede che vi è stato un decremento nella misura tra prima e dopo l’intervento. Tuttavia, questa differenza può essere dovuta a “history”, “maturation”, “instrumentation”, “regression-to-the-mean” o “Hawthorne threats”. Aggiungendo le misure, come indicate nel secondo riquadro, possiamo ridurre la probabilità di:

• maturation threat perchè i cambiamenti dovuti ad aumento di età o di esperienza sono più graduali.

• regression-to-the-mean o testing threats perché i risultati sono ripetutamente elevati prima e ripetutamente bassi in seguito.

• Hawthorne e placebo threats perché la gente si adatta al cambiamento delle condizioni.

• history effect threat perché le misure più numerose rendono un evento coincidente improbabile.

• Restano possibili dropout e instrumentation threats, se non vi sono informazioni supplementari.

Quante misure sono necessarie per un disegno time series semplice?

Il numero di misure necessarie per un time series design dipende dalla quantità di fluttuazione casuale della misura (rumore) e da quanto ci si aspetta possa essere l’impatto l’intervento (segnale). Generalmente sono necessarie 6-15 misurazioni per inquadrare il baseline time trend e altrettante per il second time trend.

Quante misure sono necessarie per un disegno time series semplice?

Poiché sono necessarie molte misure, usando il tasso di infortunio come outcome, un time series design probabilmente non sarebbe adatto per studiare una piccola azienda, dove ci vorrebbe troppo tempo – un anno o più – per ottenere un trend di infortuni. Invece, il disegno potrebbe essere adatto per un gruppo di piccole aziende, un’azienda più grande, o nel caso si misurassero le condizioni del posto di lavoro anziché il tasso di infortunio. Queste situazioni consentono misurazioni più frequenti e più sicure.

Quante misure sono necessarie per un disegno time series semplice?

Anche quando non è possibile prendere tante misure quante sono necessarie per un’analisi di serie cronologiche, effettuare misure supplementari nel tempo permette una migliore stima dell’effetto dell’intervento.

Fornisce una migliore percezione del tipo di variabilità nel tempo e se l'ultima misura “before” è dello stesso ordine di grandezza di quelle che la precedono, e se la prima misura “after” è dello stesso ordine di quelle che seguono.

Strategia 2b: “time series” multiplo OOOXOOOOOO OOO

Ancora meglio di utilizzare separatamente la Strategia #1 o #2, si può rafforzare il disegno before-and-after, combinando entrambe le strategie (gruppo di controllo + molteplici misurazioni).

Strategia 3 Sfasare l’introduzione dell’intervento

nei due gruppi

Multiple baseline design across groups

OOOXOOO OOOOOO OOOXOOO

Multiple baseline design across groups

L’introduzione sfasata di un intervento consente di ridurre marcatamente l’effetto “history threats”.

Quando si effettua un intervento soltanto in un gruppo, non si può mai essere realmente sicuri che non sia accaduto qualcos'altro simultaneamente causando l'effetto misurato. Anche usando un gruppo di controllo, qualcosa potrebbe essere accaduto al gruppo di intervento (oltre all'intervento in se) tale da influenzare il risultato.

Quando l’introduzione dell’intervento è sfasato, e l’effetto apparente è corrispondentemente sfasato, un “history effect” diventa una spiegazione improbabile dei risultati.

Multiple baseline across groups design

Ogni volta che un ambiente di lavoro è composto da più divisioni o gruppi, l’introduzione sfasata di un intervento dovrebbe essere considerata come una alternativa prima di implementare l’intervento in tutta l’azienda.

Questo approccio “sfasato” può permettere una valutazione provvisoria e, se necessario, una modifica dell’intervento o della sua implementazione, prima di applicarlo a tutta l’azienda

(Tuttavia tali modifiche dovrebbero essere considerate nell’interpretazione dei risultati).

Esempio:In un’azienda fu introdotto un intervento prima in un reparto e poi in un altro. L'intervento iniziò con una sessione educativa su buone pratiche per la sicurezza. Successivamente i comportamenti di sicurezza sono stati misurati da un osservatore addestrato (3-4 volte alla settimana) che, usando una lista di controllo, forniva la percentuale di operazioni eseguite senza pericoli. Poiché la sequenza di eventi si era presentata non una ma due volte, questo fatto supportava il nesso causale tra l’intervento e il cambio di comportamento.

Strategia 4 Aggiungere una fase di

rimozione dell’intervento

OOOXOOO-XOOO

Un modo per rinforzare un disegno di tipo before-and-after o anche time series è far seguire all'introduzione di un intervento un'altra fase in cui l'intervento viene rimosso. Nel caso più semplice, ci sono tre fasi: una fase baseline, una fase di intervento e una fase di inversione. Se si rimuove l’intervento, si dovrebbe vedere un corrispondente cambiamento del risultato verso lo stato baseline.

Naturalmente, questo disegno non è adatto a tutte le situazioni, perché si spera che l'effetto di un intervento duri e quindi non si inverta facilmente. Tuttavia, questo approccio è utile quando il risultato misurato è il comportamento. In questo caso, l'intervento "è stato invertito" sospendendo l’invio delle risposte di feedback.

La dimostrazione dell’inversione dell’effetto comporta una marcata riduzione delle minacce interne alla validità (in particolare history, maturation, testing, dropout and Hawthorne, assumendo che i ricercatori esterni siano ancora presenti durante la fase di inversione). Gli effetti placebo e di strumentazione possono ancora rimanere elementi importanti e dovrebbero essere considerati.

Dopo la dimostrazione dell'effetto d'inversione dell’intervento, si può riprendere l'intervento.

Vantaggi di un disegno con una fase di inversione dell’intervento

L’altra faccia della medaglia è che cambiamenti ripetuti nella programmazione della sicurezza potrebbero generare confusione, stress ed risentimento fra i lavoratori interessati. Inoltre se un intervento è sembrato promettente, la sua rimozione potrebbe essere considerata non etica.

Quindi, è una strategia da usare con attenzione.

Svantaggi di un disegno con una fase di inversione

dell’intervento

Strategia 5 Misurare molteplici outcome

O1/O2 X O1/O2

Usare misure di outcome addizionali: due approcci

Measure multiple

outcomes

Aggiungere misure di risultati interposti

Aggiungere misure di outcome correlate

ma diverse dagli obiettivi dello studio

Aggiungere misure di risultati interposti

Indicatori di risultati intermedi o interposti:

• effetti a breve e medio termine dell'intervento

• misure di esecuzione dell’intervento

Component 1 Component 2

Objectives

Short-term outcomes

Intermediate-term outcomes

Long-term outcomes

Esempi di indicatori interposti

Per quanto è fattibile dovremmo provare a misurare questi risultati interposti. Le misure di esecuzione dell’ intervento (documentazione degli acquisti di apparecchiatura e della modifica di compiti lavorativi) sono particolarmente importanti.

Nel caso in cui un programma non abbia funzionato, si può distinguere un programma inefficace da un'esecuzione non corretta. Se un intervento non è stato effettuato come previsto, si potrebbe provare a migliorare questa parte dell'intervento, invece di scartare l'intervento complessivo.

Un esempio

Un'azienda progetta di effettuare un programma ergonomico “partecipativo” e cioè:

• costituire un comitato lavoratori-dirigenti

• valutare i bisogni dei lavoratori

• comprare nuove attrezzature

• modificare i compiti lavorativi

• formare i lavoratori.

L’effetto finale del programma consiste nella misura di sintomi auto-segnalati e di infortuni prima e dopo l'intervento.

Continua l’esempio

Il coordinatore del programma progetta alcune misure supplementari:

• annotazioni degli acquisti dell'apparecchiatura • rapporti auto-compilati dei compiti lavorativi• buone pratiche • fattori di stress.

Questi sono i risultati di misure interposte fra disegno dell'intervento ed il risultato finale (cambiamenti dei sintomi e degli infortuni).

Aggiungere una misura di outcome correlata ma diversa dagli

obiettivi dello studio

Una seconda strategia per aumentare la forza di un disegno di intervento è di misurare un risultato che sia simile alla misura principale di risultato, ma che non sia tra gli obiettivi dell'intervento. La misura supplementare di risultato dovrebbe essere abbastanza simile alla misura principale di risultato in modo che sia suscettibile ai principali threats alla validità interna. Deve tuttavia essere abbastanza differente da non risentire dell’intervento. I seguenti esempi mostrano come funziona questo metodo.

CODOLO =

La parte di un cucchiaio o di una forchetta (che rassomiglia ad una coda) con cui si tengono in mano per adoperarli

Misura di outcome correlata ma diversa dagli obiettivi dello studio

L'effetto di nuova apparecchiatura sulle piattaforme petrolifere è stato valutato in base ai cambiamenti nel tasso di infortuni da codolo, un tipo di infortunio che dovrebbe essere ridotto usando la nuova apparecchiatura.

E’ stato preso in considerazione anche il tasso delle lesioni non-codolo, una misura di risultato correlato ma non considerato tra gli obiettivi. Anche se questo secondo tipo di infortunio non dovrebbe risentire dell'intervento, probabilmente sarebbe in maniera simile suscettibile a effetti di tipo “ history or reporting threats”.

Misura di outcome correlata ma diversa dagli obiettivi dello studio

Un intervento ergonomico fra i lavoratori addetti al controllo della merce in un supermercato, è stato valutato misurando i disturbi del sistema muscolo-scheletrico auto-segnalati prima e dopo l’intervento.

L'intervento sembrava riuscito per il fatto che i cambiamenti riguardavano i sintomi a livello cervicale/spalla e a livello lombare/arti inferiori (dove l’intervento ergonomico intendeva portare benefici) ma non i sintomi di braccia/avanbracci/polso (che non erano oggetto dell’intervento).

Ciò ha reso gli effetti history, maturation, instrumentation, placebo, Hawthorne and instrumentation spiegazioni improbabili.

Studi sperimentali

Due caratteristiche fondamentali :

• uso di un gruppo di controllo

• assegnazione randomizzata dei partecipanti

Anche se spesso non è fattibile, un disegno sperimentale è stato usato in parecchie situazioni professionali

Precedentemente, sono stati descritti tre tipi di disegni quasi-sperimentali con utilizzo di gruppi di controllo non randomizzati:

• pre-post con gruppo di controllo (Strategia 1) • multiple time series (Strategia 2b)• multiple baseline across groups (Strategia 3).

Questi stessi tipi di disegno possono diventare disegni sperimentali usando la randomizzazione per generare i gruppi.

Studi non sperimentali

Disegno 1OXO

O O

Disegno 2OOOXOOO

OOO OOO

Disegno 3OOOXOOO OOO

OOO OOOXOOO

Precedentemente, sono stati descritti tre tipi di disegni quasi-sperimentali con utilizzo di gruppi di controllo non randomizzati:

• pre-post con gruppo di controllo non-randomizzato • multiple time series• multiple baseline across groups

Questi stessi tipi di disegno possono diventare disegni sperimentali usando la randomizzazione per generare i gruppi.

Studi sperimentali

Disegno 1(R) OXO

(R) O O

Disegno 2(R) OOOXOOO

(R) OOO OOO

Disegno 3(R) OOOXOOO OOO

(R) OOO OOOXOOO

Il disegno 1 (pre-post controllato e randomizzato) è stato usato nei due esempi successivi. Sono stati assegnati per randomizzazione ai due gruppi (gruppo di intervento, gruppo di controllo):

► i posti di lavoro (primo esempio)

► i lavoratori (secondo esempio)

Primo esempio

• Target: gli operatori principali di aziende agricole • Intervento: un seminario educativo di un giorno• Popolazione: campione casuale di aziende incluse in una

lista dell'associazione di agricoltori. Il 60% di questa aziende acconsentì a partecipare allo studio

• Randomizzazione: Gli operatori principali (uno per azienda) sono stati assegnati al gruppo di intervento o al gruppo di controllo, seguendo una procedura random

• Per valutare l'intervento, questi gruppi sono stati confrontati in base alle misure prese prima e dopo l'intervento: infortuni e quasi-infortuni auto-riportati, (risultato finale) e percezioni della sicurezza, buone pratiche ed atteggiamenti (risultati intermedi).

Primo esempio

Gruppi

Misure pre-intervento (questionario)

Intervento Misure post-intervento (questionario)

Infortuni e quasi-infortuni

riportati

+

percezione di sicurezza buona pratica

attitudini

Controlli della sicurezza in azienda

+

Formazione di un giorno

Percezione di sicurezza buona pratica

attitudini (outcome intermedio)

Infortuni e quasi-infortuni

riportati (outcome finale)

A O X O

B O O

A = gruppo di intervento; B=gruppo di controllo

Secondo esempio

Gruppi

Misure pre-intervento

Componenti dell’interventoMisure pre-intervento

Forza muscoli addominali +Questionario + Infortuni +Assenze per malattia

back school training

fasce/cinture lombari

Forza muscoli addominali +Questionario + Infortuni +Assenze per malattia

A O X O

B O X X O

C O O

A =Intervento_ 1; B = Intervento_ 2; C= controlli

Minacce per la validità interna nei

Disegni con gruppo di controllo

I gruppi di controllo introducono alcune nuove minacce alla validità interna. Nonostante ciò, l’utilizzo di gruppi di controllo è fortemente raccomandato. Essi rafforzano lo studio molto di più di quanto non la indeboliscano.

Selection threats

• Quando i gruppi di intervento e di controllo non sono simili riguardo a tutte le variabili che possono influenzare i risultati, l'effetto dell'intervento potrebbe essere dovuto a differenze nelle caratteristiche dei partecipanti nei gruppi confrontati, piuttosto che all'intervento in se.

• Per questo motivo, nei disegni quasi-sperimentali e sperimentali (in cui è stata usata una procedura di randomizzazione per generare i gruppi), è necessario considerare se le persone nei due gruppi differiscono, per esempio, per età livello di esperienza livello di formazione, e altre caratteristiche.

• In caso affermativo, bisogna raccogliere informazioni su queste caratteristiche e tenere conto di queste differenze nell’analisi statistica.

Diffusion or contamination threat

Una minaccia di diffusion alla validità interna (anche conosciuta come una minaccia di contaminazione) si presenta quando l'intervento introdotto ad un gruppo "si diffonde" all'altro. Ciò può accadere facilmente quando l'intervento è educativo, poiché gli operai condividono naturalmente le informazioni tra loro. È persino possibile che una nuova apparecchiatura data al gruppo di venga ripartita con il gruppo di controllo. La diffusione è più probabile quando l'intervento è percepito come favorevole. È un evento non desiderato perché riduce le differenze osservate fra i gruppi nei loro i cambiamenti “before” to “after”. Si potrebbe concludere che un intervento era inefficace quando realmente non lo era. Il modo migliore per ridurre la minaccia di diffusione è mantenere i gruppi di controllo e di intervento separati quanto più possibile.

Rivalry or resentment threat

… quando la gente del gruppo di controllo reagisce per non aver ricevuto l'intervento. Per esempio, in un programma in cui sia stato introdotto un incentivo per incoraggiare buone pratiche di sicurezza, il gruppo di controllo potrebbe reagire non segnalando gli infortuni così che le relative prestazioni a riguardo della sicurezza finirebbero per apparire buone se confrontate al gruppo di intervento. O potrebbe “sovra- riportare" gli infortuni per dimostrare che il gruppo ha bisogno di un intervento. In entrambi i casi il gruppo di controllo ha cambiato il comportamento per rivalità. Sono inoltre possibili effetti di risentimento. Il gruppo di controllo, per esempio, potrebbe risentirsi per non aver avuto la possibilità di partecipare ad un programma di miglioramento. Questo inacidimento dei rapporti di lavoro può causare un aumento nei tassi di infortunio.

Rivalry or resentment threat

Gli effetti appena descritti possono a volte essere evitati comunicando bene con i gruppi o promettendo che se l'intervento risulta essere efficace, il gruppo di controllo riceverà in seguito lo stesso intervento. Se gli interventi sono concepiti ed introdotti con un processo di partecipazione, le reazioni inattese sono meno probabili. Tuttavia, è impossible prevedere tutte le possibili reazioni ad un programma. E’ un’area dove la ricerca qualitativa può essere molto utile. Le interviste con alcuna persone informate nel gruppo di controllo dovrebbero far comprendere se rancore o di rivalità siano minacce da prendere in considerazione. Come con la minaccia di diffusione, la rivalità o le minacce di rancore potrebbero essere evitate se i gruppi non comunicano tra loro.