http://www.soiweb.com

La valutazione degli outcome: esperienza sul campo di una società scientifica in prima linea

Matteo Piovella

Costantino Bianchi

• La Società Oftalmologica Italiana è una Società Scientifica con 126 anni di storia e il 65% degli Oculisti italiani sono suoi Soci.

Congressi Nazionali

Congressi Internazionali

Oculisti Iscritti SOI

Il target prioritario degli eventi scientifici SOI è la qualità. La SOI, da anni già dotata di un articolato sistema di verifica interna, non ha dovuto modificare il suo comportamento con l’avvento del sistema ECM.

La SOI è infatti in grado di:

• gestire autonomamente un sistema di aggiornamento professionale e di accreditamento per tutti i suoi soci;

• fornire assistenza e know out alle altre Società scientifiche.

E’ stato attivato un articolato, razionale, ed efficiente sistema di selezione delle presentazioni, che si fonda su: • indicazione delle tematiche da trattare;

• selezione delle presentazioni (Commissione scientifica, Comitati di lettura);

• verifica in tempo reale da parte di incaricati dello svolgimento dell’evento (presenza e puntualità dei relatori, professionalità nella presentazione, qualità delle immagini, ecc.);• votazione dei contenuti e dei relatori da parte dei discenti.

ATTIVITA’ CERTIFICATA ECM A CONGRESSI ISTITUZIONALI

Anni 2003-2005

DUE CONGRESSI ALL’ANNO

• Congresso di Primavera: INTERNAZIONALE, 3-4 giorni, circa 100 eventi ( 50 sessioni e 50 corsi, in contemporanea in circa 10 aule). Oltre 2000 partecipanti più gli espositori.

• Congresso d’Autunno: NAZIONALE, 4 giorni, circa 150 eventi ( 65

sessioni, 85 corsi, in contemporanea in 14 aule). Oltre 3000 partecipanti più gli espositori.

FASE preparatoria attività ECM ai Congressi.

• Preparazione programma, documenti iniziali per le richieste di accredito.

• Accredito ministeriale, richiesto singolarmente per ogni Sessione o Corso.

• Preparazione Scheda di valutazione e Test di Apprendimento (Domande e risposta esatta).

• Realizzazione volumetto per scansione risposte dei partecipanti.

• Implementazione delle attività automatiche di scansione del materiale.

ATTIVITA’ DI CONTROLLO ECM ai CONGRESSI.

VARCHI.• Badge personale con barcode• Coupon personale nominativo per ogni

ingresso ai corsi e per prenotazioni sessioni, con barcode.

• Controllo accessi ad ogni passaggio del partecipante tramite lettura del barcode, con varchi su ogni porta delle sale.

• Oltre 50 terminali di controllo d’accesso attivi in contemporanea.

• Controlli per duplicati di badge e controlli di congruenza sulle presenze (ubiquità!).

ATTIVITA’ DI INFORMAZIONE ECM ai CONGRESSI.

• Postazione consegna-ritiro dei test, con personale qualificato in grado di dare le opportune spiegazioni.

• Estrema cura nel dare a tutto il personale congressuale la conoscenza di base necessaria per rispondere a quesiti riguardanti le problematiche ECM.

• Volumetto per risposte ai test ECM con contromarca timbrata e riconsegnata al partecipante.

DOPO IL CONGRESSO:CONTROLLO ORARI

• La ridondanza dei sistemi di lettura permette di lavorare su una media di 9 rilevazioni a persona giornaliere.

• Controlli automatici di congruenza sugli orari rilevati per ogni partecipante, pause comprese con somme dei tempi di permanenza reale in sala.

DOPO IL CONGRESSO:CONTROLLO ORARI

Primo Screening

• partecipanti NON aventi diritto ai crediti per mancanza di orario completo dell’evento;

• scansione completa dei test (sia Valutazione sia Apprendimento ) e della parte anagrafica necessaria.

DOPO IL CONGRESSO: CONTROLLO TEST

Secondo screening

• partecipanti NON eventi diritto ai crediti per mancanza di test compilati.

• Controllo risposte esatte al test di apprendimento.

DOPO IL CONGRESSO: CONTROLLO TEST

Terzo screening

• partecipanti NON aventi diritto ai crediti per risposte errate al test di apprendimento.

• Database finale aventi diritto ai crediti per ogni evento.

CERTIFICAZIONE: chiusura del ciclo.

• Preparazione della lista ministeriale dei partecipanti ad ogni evento accreditato.

• Invio liste al Ministero.

• Invio attestati al partecipante. Non sempre!

PROBLEMATICHE

• Grandi volumi di attività.• Sovrapposizione delle attività di una

manifestazione su quelle delle successive.• Iter continuo dei rilasci di accreditamenti.• Continua attenzione alle dead-line per gli invii

e le chiusure delle pratiche.• Necessità di struttura efficace ed efficiente.• Forti investimenti in sistemi informatici.• Ritardato invio dei crediti da parte del

Ministero.

OSSERVAZIONI

E

RIFLESSIONI

Essere l’unica Società Scientifica in campo oculare si è rivelato per la SOI un grande vantaggio. Non abbiamo infatti avuto un problema lamentato da altre Società, che hanno dovuto patire sistematici referaggi “contro” non per scarso valore dei loro eventi ma per partito preso da parte di referee appartenenti ad altre parrocchie.

Tuttavia, anche se non è un nostro problema, esso richiede una modifica del sistema attuale (Autorità garante indipendente dalla Commissione ECM).

La SOI ritiene del tutto irrazionale parametrare il numero di crediti concessi in funzione inversamente proporzionale al numero di partecipanti. Se ben organizzato un corso con 100 partecipanti è in grado di fornire lo stesso skill transfer di un corso per 15 persone.

L’esperienza maturata suggerisce di dare maggior peso, per la concessione di crediti, alla tipologia del corso (p.e. wet lab), piuttosto che a quanti vi partecipano..

La SOI ritiene quindi che i congressi nazionali delle Società Scientifiche debbano essere valutati con tipologia loro propria e non come un unico evento formativo. Le regole attuali comportano un numero risibile di crediti ECM e obbligano la Società a richiedere l’accreditamento per ogni singolo evento, con gravissimo onere organizzativo e finanziario.

Nel Congresso di Roma del 2004 non furono accreditati tutti gli eventi. Mentre i corsi e le sessioni senza crediti ECM andarono praticamente deserti, fu necessario far intervenire le forze dell’ordine perché i congressisti cercarono di forzare gli accessi alle aule accreditate.

SINTESI ATTIVITA’ ECM2003-2005

EVENTO PARTECIPANTI EVENTI ACCREDITATI e controllati

singolarmente

TEST ACQUISITI Valutazione e

Apprendimento (1)

ATTESTATI RILASCIATI

PER PARTECIPANTI aventi diritto (2)

MEDIA ATTESTATI per PARTECIPANTE

CREDITI COMPLESSIVI

MEDIA CREDITI per

PARTECIPANTE

Internazionale FIRENZE 2003 2375 32 su 34 8900 4482 1633 2,74 15208 9,31Nazionale ROMA 2003 3693 126 su 150 15876 7097 2404 2,95 12715 5,29Internazionale NAPOLI 2004 2127 76 su 103 6184 2544 1024 2,48 5370 5,24Nazionale ROMA 2004 3477 118 su 154 10941 5434 1889 2,88 10137 5,37Internazionale FIRENZE 2005 2527 83 su 103 8503 4710 1465 3,22 7878 5,38Nazionale MILANO 2005 3085 98 su 114 10664 4802 1627 2,95 6907 4,25

TOTALI 17284 61068 29069 10042 2,89 58215 5,80

Accredito ministeriale ancora da ricevere per qualche evento in ogni manifestazione.

(1) I numeri indicati si intendono a coppia ( Scheda di valutazione e Test di apprendimento ): quindi i test reali trattati sono il doppio.(2) Partecipanti con reali diritti per ricevere i crediti ( Test compilati e corretti, tempo di sala congruente, dati anagrafici presenti )

Per 7 congressi nazionali tenuti negli ultimi 4 anni la SOI ha versati nelle casse della commissione ECM più di 120.000 €, ricevendone in cambio un servizio discutibile, blocco dei crediti di 180 eventi per quasi 2 anni, sospensione di referee e “richiami” da parte della Commissione ECM stessa.

La SOI propone che l’accreditamento dei Congressi nazionali, organizzati da Società Scientifiche che abbiano la rappresentanza di tutta la specialità, debbano avere un classificazione loro propria, sia per quanto riguarda la concessione di crediti, sia per quanto riguarda l’esborso.

La strategia ministeriale, avallata da alcune componenti universitarie, di “uccidere” i congressi (sperando forse di avere dall’industria più sconti sui farmaci in cambio di una minor spesa per sponsorizzazioni?) è profondamente errata.

Prendendo spunto e alibi della istituzione della ECM, l’industria si è immediatamente attivata ad organizzare ancor più congressi in proprio.

La SOI ritiene irrazionale (o forse fin troppo “intelligente”, ai limiti del Codice Penale) che vengano concessi più crediti ad eventi formativi totalmente pagati dall’industria e organizzati da provider privati - che hanno per mission il lucro-, rispetto ad eventi organizzati dalle Società Scientifiche, che hanno per mission l’elevazione del livello scientifico e professionale dei loro iscritti.

A questo proposito, qualcuno dovrebbe spiegare a tutta la comunità scientifica italiana perché da una parte sia stata concessa la qualifica di provider a imprese private, che operano praticamente senza alcun controllo (e la concessione di organizzare eventi ECM a operatori privati è già molto criticabile di per sé);

mentre tale qualifica è stata invece negata alla stragrande maggioranza delle Società Scientifiche, che hanno una miriade di controlli esterni ed interni, non ultimo e non meno importante quello che i loro dirigenti devono rendere conto del loro operato a chi li ha eletti.

I Ministri e i Capi Dipartimento passano;

Le Commissioni decadono;

Le Società Scientifiche restano.

Matteo Piovella & Costantino Bianchi