INDAGINE CONOSCITIVA SULL’UTILIZZO DELL’OSCE NELLA VALUTAZIONE DELLE

COMPETENZE PROFESSIONALI IN TIROCINIO

Gruppo di lavoro che riunisce le sedi che stanno sp erimentando l’OSCE per fare una valutazione di validità –

Gli interessati scrivere a valerio.dimonte@unito.it

CONFERENZA PERMANENTE DELLE CLASSI DI LAUREA SANITA RIE Meeting d’autunnoPortonovo di Ancona

3-4 Ottobre 2008

A cura di Pietro Altini , Valerio Dimontecon la partecipazione di Anna Brugnolli (Trento), Alvisa Palese (Udine), Maria

Matarese (Roma – Campus Biomedico)

2

OBIETTIVOAnalizzare gli elementi di forza e criticità nel proces so di costruzione e gestione dell’OSCE

MATERIALI E METODIInterviste telefoniche ai coordinatori/professori d i area infermieristica di quattro sedi dei Corsi di Laurea in Infermieristica

Le sedi dei Corsi di Laura in Infermieristica che hanno partecipato all’indagine:Università Campus Biomedico RomaUniversità degli Studi UdineUniversità degli studi di Verona (Trento)Università degli Studi di Torino (Torino)

3

DEFINIZIONE

L’Objective Structured Clinical Examination(OSCE) è un approccio per la valutazione della competenza clinica in cui le componenti della competenza stessa sono valutate in modo pianificato e strutturato facendo attenzione all’obiettività dell’esame

(Harden RM 1988)

4

CHE COS’È L’OSCE?

•Non è uno strumento di valutazione e neanche un metodo, ma uno schema organizzativo che permette di valutare diverse abilità•Prove standardizzate ed oggettive•È costituito da una serie di stazioni attorno a cui lo studente ruota (da 1 a 15)•Utilizzo di criteri di valutazione predefiniti per ciascuna performance•Griglie di valutazione (check list) preparate in anticipo•Consente di valutare un ampio numero di studenti

5

DEFINIZIONE DELLE CORE COMPETENCE DA VALUTARE

DISEGNO E SVILUPPO DELLE PROVE (STAZIONI)

PIANIFICAZIONE E ORGANIZZAZIONE DELLE STAZIONI

FASI

• BLUEPRINT incrociate con:

-Contesto + Situazione assistenziale

• SELEZIONE DI SET DI COMPETENZE derivate da:-Obiettivi di tirocinio-Obiettivi di Corso integrato (dove il tirocinio è parte integrante

dei corsi integrati)-Ricerca delle competenze abitualmente utilizzate nella pratica

assistenziale-Tariffario IPASVI

6

DEFINIZIONE DELLE CORE COMPETENCE

Il team che definisce le Core Competence èformato

• Docenti di infermieristica• Coordinatore

• Tutor • Infermiere guida di tirocinio

7

DEFINIZIONE DELLE CORE COMPETENCE

IL TEAM

Le Core Competenze valutate durante l’esame sono di tipo:• Cognitivo• Psicomotorie• Relazionali (sono le prove oggetto di maggior dibattito) • Educative (sperimentazione)

8

DEFINIZIONE DELLE CORE COMPETENCE

LA TIPOLOGIA

Le prove OSCE utilizzate per testare gli studenti dei diversi anni di corso si differenziano per:

LA COMPLESSITÀ DELLA SITUAZIONE CLINICA E ORGANIZZATIVA

•Esempi:•1°-2°-3°anno: conoscenze e capacità di prendere deci sioni e applicarle - svolgere in modo corretto e con sicurezza una tecnica – relazionare in modo efficace• 1°anno: assenza del contesto assistenziale - pazien te singolo • 2°anno: aggiunta del contesto assistenziale - pazie nte singolo • 3°anno: aggiunta di aspetti organizzativi - gruppi di pazienti • 2°- 3°anno: scelta di specifici contesti (RSA,Terapi a intensiva)

9

DISEGNO E SVILUPPO DELLE STAZIONI

LE PROVE PER ANNO DI CORSO

•Tirocinio: 50-80%

10

DISEGNO E SVILUPPO DELLE STAZIONI

ILPESO DELLE PROVE

Peso delle prove OSCE sul voto finale di

tirocinio20%-50%

Le singole prove pesano

C= 50-60%P= 20-25%

R/E= 20-25%

• Certificativoper valutare le competenze professionali in tirocinio degli studenti del 1°- 2° e 3°(anche per la valutazione della prova pratica abilitante)

• Formativo (per gli studenti del 1°anno)

11

DISEGNO E SVILUPPO DELLE STAZIONI

L’UTILIZZO DELLE PROVE

• Per il superamento dell’esame è necessario raggiungere un punteggio complessivo maggiore o uguale a 18/30 dato dalla media delle valutazioni delle singole stazioni

• Per rendere le prove comparabili fra loro vengono utilizzate stesse situazioni o tipologie di prove con complessità sovrapponibile,

• Il punteggio della singola prova viene rapportato al massimo punteggio ottenibile

12

DISEGNO E SVILUPPO DELLE STAZIONI

IL LAP

Responsabile dell’intero processoCoordinatore

Esperti deputati alla costruzione e selezione delle proveCoordinatore, Tutor di sede, Tutor specialista per una

determinata attività e Infermieri

13

DISEGNO E SVILUPPO DELLE STAZIONI

IL TEAM

Le prove sono:Cognitive

Psicomotorie Relazionali/Educative

Miste (es.cognitiva-psicomotoria)

Esempi

C: Caso clinico per testare ragionamento clinico, interpretazione di esami (ECG), valutazione terapia farmacologica - diluizioni

P : Simulazione con manichino o simulatore di una procedura (BLS, posizionamento paziente chirurgico)

R: Simulazione con simulatore di tecnica di counselling, capacità di tocco e comunicazione 14

DISEGNO E SVILUPPO DELLE STAZIONI

LE TIPOLOGIE DELLE PROVE

Ogni prova prevede:

•Una check list con la sequenza dei diversi atti o passaggi da compiere ed i diversi punteggi attribuiti ad ogni azione

•Un copione

•Istruzioni scritte rivolte allo studente, ai simulatori ed ai valutatori in modo che tutti ricevano sempre lo stesso tipo di informazioni

15

DISEGNO E SVILUPPO DELLE STAZIONI

STRUTTURA DELLE PROVE

È previsto un test pilota per valutare la validità delle prove attraverso:

• La simulazione delle prove con gli studenti •La sperimentazione delle prove da parte degli stessi Tutor che costruiscono le prove•L’esame stesso diventa il campo di sperimentazione delle prove proposte allo studente

16

DISEGNO E SVILUPPO DELLE STAZIONI

IL TEST PILOTA

• L’esame si svolge nelle aule utilizzate per i laboratori• Le prove vengono scelte o sorteggiate fra quelle a disposizione• Lo studente non conosce le prove o ne conosce solo l’ambito e la

tipologia• Il Coordinatore/Tutor gestisce il flusso degli studenti indirizzando

gli studenti nelle varie stazioni• Cognitive 2-6 studenti contemporaneamente• Psicomotorie e relazionali 1 studente per volta

• Le stazioni previste sono da 3 a 8• 1-2 cognitive o cognitivo procedurali• 2-6 psicomotorie e relazionali

17

PIANIFICAZIONE E ORGANIZZAZIONE DELLE PROVE

SVOLGIMENTO DELL’ESAME

Durata delle singole prove• Cognitive: 10’-20’• Psicomotorie/Relazionali: 10’-15’Durata dell’esame: 30’-70’Tempo necessario per testare tutti gli studenti: 2 -15 giorni

Terminate le prove lo studente lascia la sede dell’esame senza venire a contatto con i colleghi

Gli studenti coinvolti nelle esame vanno da 30 a 750

18

PIANIFICAZIONE E ORGANIZZAZIONE DELLE PROVE

SVOLGIMENTO DELL’ESAME

• Per la simulazione delle abilità gestuali si utilizza un simulatore (se non cruenta) o un manichino

• Per la simulazione delle abilità relazionali si utilizza invece sempre un simulatore

• Il simulatore è scelto fra Tutor o Infermieri guida di tirocinio, meglio se con esperienza di teatro o proveniente da un esperienza lavorativa in ambito psichiatrico, oppure studenti appena laureati o studenti del primo anno

• Il numero di simulatori impegnati nell’esame varia da 5-6 a 15 che si alternano

• I simulatori si sperimentano nei laboratori tenuti durante l’anno, durante l’esame stesso i o in sessioni non valutate

19

PIANIFICAZIONE E ORGANIZZAZIONE DELLE PROVE

I SIMULATORI

• I valutatori sono Tutor, Tutor specialisti per una specifica attività, fisioterapisti per le stazioni sulla mobilizzazione

• Durante l’esame sono impegnati • per ogni stazione C – P - R:1-2 valutatori • complessivamente 8 - 60 valutatori che si alternano

• I valutatori prima o durante la sessione d’esame ricevono informazioni individualmente o a gruppi dal Coordinatore/Tutor che si occupa della gestione complessiva dell’esame

20

PIANIFICAZIONE E ORGANIZZAZIONE DELLE PROVE

I VALUTATORI

Non è previsto un debriefing alla fine dell’esame ma durante l’esame ci sono momenti di scambio fra il coordinatore/tutor responsabile dell’esame e i valutatori e/o i simulatori che permettono di individuare problemi di gestione dell’esame

21

PIANIFICAZIONE E ORGANIZZAZIONE DELLE PROVE

DEBRIEFING con valutatori e simulatori

• Riflessione sulle competenze da apprendere• Maggiore oggettività e standardizzazione della valutazione• Tempo di svolgimento delle prove sufficiente•Buona correlazione fra OSCE e valutazione di tirocinio per gli studenti

che presentano maggiore difficoltà sul campo•Se utilizzato in fase formativa permette di monitorare e modificare il

piano formativo• Miglioramento della gestione della relazione educativa con lo studente

in tirocinio•Omogenizzazione e coinvolgimento del gruppo di lavoro •Alto gradimento dei valutatori/simulatori che apprezzano il confronto

con i colleghi• Permette la valutazione dell’azione tutoriale

22

PUNTI DI FORZA

� Elenco non esaustivo delle competenze core

� Basso numero di prove� Rischio di banalizzazione delle prove

� Prove relazionali non sempre aderenti alla realtà

� Difficoltà nella valutazione delle prove relazionali

� Incerta affidabilità della valutazioni della stessa prova fatta da diversi tutor� Affidabilità per Esame di stato

� Non coerenza fra voto di tirocinio e valutazione OSCE

� Non sempre feed back agli studenti� Basso gradimento degli studenti che lo trovano faticoso e stressante, sono

preoccupati per la prova cognitiva e trovano poco credibile la prova relazionale

� Organizzazione complessa anche per le sedi con un numero limitato di studenti� Aule laboratorio occupate per lungo tempo

� Alto numero di risorse umane e materiali necessarie

� Necessità di simulatori professionisti� Costo elevato

23

CRITICITÀ