Qualità nell'e-learning: best and worst practices in Italy

Valerio Eletti

Qualità nell’e-learning

Forum PA :: e-Learning e innovazione :: 18 maggio 2010

“E-learning e innovazione”18 Maggio 2010 nel Forum P.A.

Nuova Fiera di Roma

Qualità dell’e-learningValerio Eletti TRIeL - Asfor

Valerio Eletti



A. Il problema della qualità della formazione on line

B. Le rilevazioni sul campo nei corsi on line della PA

C. L’analisi dei risultati e le proposte operative

agenda

Valerio Eletti



La mancanza di qualità nella formazione provoca diversi danni :

perdita di tempo e di denaro mancata preparazione dei discenti alle sfide a cui dovevano essere preparati danni al committente (nel nostro caso la PA) danni ai clienti (nel nostro caso i cittadini)

Ciò vale in generale.

Che succede quando la formazione è erogata in e-learning?

Prima di rispondere condividiamo il senso che diamo a questo termine:

In questo contesto chiamiamo e-learning

il pacchetto di tecnologie+metodologie

che si aggiungono (non si sostituiscono)

alla cassetta degli attrezzi del formatore

per far aumentare efficacia ed efficienza alla formazione.

A. Il problema della qualità

Valerio Eletti



Che danni provoca la cattiva qualità nella formazione in e-learning?

Oltre a quelli comuni a tutti i tipi di formazione (perdita di tempo e di denaro, mancata preparazione dei discenti alle sfide a cui dovevano essere preparati, danni al committente e ai clienti), abbiamo anche:

diffidenza dell’utente: verso la formazione in generale verso le tecnologie digitali in generale

diffidenza del committente: verso la formazione in generale verso le tecnologie digitali in generale

Con un doppio danno per il cittadino

che vede minate l’efficienza e l’efficacia di una PA

percepita come incapace di rinnovarsi

e diffidente a tutti i livelli verso le nuove tecnologie

e quindi verso l’innovazione indotta dovunque - nel privato e all’estero -

dalle potenzialità dell’interconnessione in rete.


Valerio Eletti



La cattiva qualità nella formazione in e-learning

genera dunque un effetto valanga che cresce su se stesso

e che va per questo controllato e troncato sul nascere:

cosa attuata da anni nelle aziende di dimensioni nazionali e multinazionali,

grazie a meccanismi interni di autocontrollo e di ottimizzazione delle filiere

cosa da attuare in tempi brevi e in maniera efficace anche nella PA,

se non si vogliono far dilagare gli attuali sensi di disillusione e sfiducia

sia nella formazione sia nelle nuove tecnologie digitali connesse in rete

Ma che cos’è che non funziona dal punto di vista qualitativo

nella attuale offerta formativa in e-learning della PA?

E quali sono invece i punti di forza presenti già oggi che andrebbero potenziati?

Vediamo in sintesi i risultati di un’indagine sul campo

realizzata da TRIeL nel 2009 e da poco conclusa …


Valerio Eletti






agenda

Valerio Eletti



Per verificare nel concreto che cosa funziona e che cosa non funziona

dal punto di vista qualitativo nella attuale offerta formativa in e-learning della PA,

il tavolo TRIeL ha condotto nell’ultimo anno una indagine sul campo

(coordinata dalla Dott.ssa Vaiasicca dell’Isfol, con la collaborazione della Dott.ssa Pratesi),

prendendo a riferimento le analisi di scenario delineate in ricerche europee

come Helios (Horizontal E-learning Integrated Observation System)

o Learnovation (promosso all’interno del Lifelong Learning Programme nel 2008)

e l’analisi Delphi realizzata nel corso del 2008 da Scienter per TRIeL

(i documenti di riferimento si trovano nelle cartelline a disposizione del pubblico).

I rappresentanti dei Ministeri, delle Regioni, degli Enti e delle Associazioni di categoria

presenti al Tavolo TRIeL hanno indicato al gruppo di ricerca i casi di studio da esaminare,

per un totale di 14 esperienze, alcune delle quali coinvolgono decine di aziende o consorzi.

A ciascun caso di studio

i ricercatori Isfol-TRIeL hanno dedicato colloqui approfonditi

e analisi dettagliate di 73 variabili sensibili.

B. Le rilevazioni sul campo di TRIeL

Valerio Eletti



Senza entrare nei dettagli della ricerca,

possiamo dire che tali variabili riguardano aspetti specifici relativi a:

• Progettazione, • Competenze obiettivo, • Target, • Condizioni esterne di realizzazione, • Contesto di spendibilità delle competenze acquisite, • Metodi e strumenti, • Ruoli intervenienti, • Processi di valutazione, • Riferimenti alla comunità,

L’analisi di ciascuna variabile e la valutazione della sua incidenza sul processo

hanno condotto a una valutazione sintetica dei punti di forza, dei punti di debolezza

e degli interventi di miglioramento individuabili per ciascun progetto.


Valerio Eletti



In conclusione i ricercatori hanno elaborato alla fine di ogni analisi di caso,

una tabella valutativa relativa alla descrizione sintetica di

Funzionalità, Usabilità, Contenuti, Malfunzionamenti, Compatibilità, Prestazioni Accessibilità.

Il totale dei punteggi attributi - con i rispettivi pesi - a ciascuna delle 73 variabili sensibili

ha dato luogo a una sorta di classifica informale basata su una misura di tipo qualitativo

che permette di delineare le best practices e le worst practices tra i casi esaminati,

dal punto di vista della qualità, dell’efficacia e dell’efficienza dell’intervento formativo.

Vediamo la “classifica” delle esperienze esaminate dal gruppo di ricerca TRIeL Isfol.


Valerio Eletti




CASI PUNTI

DESCRIZIONE

C3 66 Ente pubblico che si occupa del miglioramento delle tecniche di acquisizione di competenze nel settore delle Piccole e Medie imprese che si occupano di import-export

C4 63 Master accreditato per la formazione manageriale di neoassunti del gruppo di 19 aziende che l’ha promosso

C12 63 Progetto regionale che assicura il lifelong learning, destinandolo all’intera popolazione italiana

C13 63 Progetto di lifelong learning, promosso da un ente pubblico, che si rivolge al settore della formazione

C11 60 Master per l’aggiornamento di competenze per la gestione consapevole delle procedure organizzative tramite le nuove tecnologie, promosso da un ente pubblico

C8 57 Progetto regionale cofinanziato dal Cnipa che ha proposto l’aggiornamento delle competenze di dirigenti e funzionari delle P.A.


C6 46 Propone corsi di aggiornamento per un corpo militare


C5 45 Ha coinvolto docenti collegati alla rete promotrice in un percorso strutturato con simulazioni in real time

C10 44 Progetto europeo, promosso dalle P.A. europee, per lo sviluppo di una rete condivisa di saperi ed esperienze

C14 40 Progetto di lifelong learning per il settore dell’educazione

C1 38 Master per docenti iscritti spontaneamente al progetto

C2 29 Progetto nato da un partenariato coordinato a livello europeo da soggetti privati e pubblici per la creazione di un innovativo profilo nel settore audiovisivo

Valerio Eletti



Una serie di note doverose per la lettura della tabella:

i dati sono stati trattati in forma anonima i primi sei casi (fondo verde) risultano qualitativamente all’altezza dei propri obiettivi gli ultimi tre casi (fondo rosso) risultano completamente inadeguati i casi centrali (fondo giallo e ocra) hanno gradi diversi di inadeguatezza

Pur mantenendo l’anonimato dei casi esaminati, ci sentiamo di segnalare

come migliore esperienza di utilizzo efficace ed efficiente dell’e-learning nella PA italiana

quella dell’Istituto Commercio Estero (ICE, indicato in tabella come C3),

che ha realizzato ed erogato un pacchetto di corsi blended

dedicati al miglioramento delle tecniche di acquisizione di competenze

nel settore delle Piccole e Medie imprese che si occupano di import-export.

E ora veniamo ai risultati che emergono da questa ricerca,

tenendo conto che sono le criticità gli elementi più preziosi da prendere in considerazione

se si vogliono individuare le linee guida per il raggiungimento della qualità richiesta.


Valerio Eletti






agenda

Valerio Eletti



L’analisi dei dati della ricerca TRIeL Isfol,

tenendo conto anche di quanto viene osservato al proposito nella saggistica internazionale,

fa emergere delle criticità ricorrenti in tutti i casi esaminati,

a causa di azioni di progettazione, erogazione e/o valutazione inadeguate.

Vediamo le principali.

C.1. L’analisi dei risultati

Valerio Eletti



1. Ogni intervento in e-learning viene ri-progettato ex-novo

senza utilizzare le esperienze

e i repository esistenti in altri settori (anche molto prossimi) della PA

(quanti duplicati si sono fatti, per esempio, dei corsi on line per la privacy

o per la sicurezza? Quanto denaro è stato così sprecato?)


Valerio Eletti



2. Vengono trascurati o sottovalutati fattori critici dei nodi strutturali della filiera:

a. Chiarezza di obiettivi, bisogni e fattibilità • Commitment forte e chiaro della direzione e dei responsabili diretti • Effettiva rispondenza agli effettivi bisogni formativi degli utenti • Attenzione agli intralci burocratici

b. Adeguatezza delle infrastrutture• Dotazione tecnologica • Tipolgia di connessione • Software di supporto e gestione (piattaforma)

c. Preparazione in ambito e-learning di docenti e tutor

d. Attenzione agli utenti finali

a. Verifica dell’alfabetizzazione informatica degli utenti

b. Verifica dell’adeguatezza dei tempi di fruizione

c. Coinvolgimento e motivazione degli utenti


Valerio Eletti



3. La committenza (direzioni del personale o responsabili formazione e sviluppo)

non è preparata a sufficienza:

si trova così a “subire” la superiore preparazione tecnologica e metodologica

di fornitori (di piattaforma, di contenuti, di sviluppo e di erogazione)

di cui non è in grado di valutare capacità, qualità e attendibilità;

per cui accetta spesso prodotti e servizi di scarsa qualità, e in particolare: § Piattaforme sw costose e inadeguate § Corsi in e-reading (dispense trasferite sic et simpliciter in digitale) … § … oppure unità didattiche rigide di prima generazione (CBT e WBT) … § … oppure di seconda generazione (brute riprese video di lezioni in aula) § Erogazioni senza coinvolgimento e motivazione degli utenti

Il tutto originato dalla sostanziale incapacità di elaborare e gestire i bandi

per l’assegnazione delle diversi fasi del lavoro (dall’analisi dei bisogni formativi,

alla piattaforma, all’instructional design, alla preparazione dei contenuti,

alla produzione delle unità didattiche, all’assistenza on line, ecc) ,


Valerio Eletti



4. Non viene fatta una valutazione sistematica dei risultati ottenuti:

a. lato utente (ex ante, in corso ed ex post): • verifica del gradimento, • della preparazione ottenuta, • della capacità di applicarla sul lavoro

b. lato fornitore (esperti di contenuto, sviluppatori, erogatori): • valutazione di efficacia ed efficienza del prodotto/servizio fornito, • verifica del raggiungimento degli obiettivi formativi• eventuale ri-progettazione di parti del corso

E per definizione

senza feedback non è possibile ottenere miglioramento del processo,

ottimizzazione delle risorse impiegate,

adattamento della struttura committente alle esigenze

imposte dall’ambiente e dalla sua evoluzione continua.


Valerio Eletti



Come diretta conseguenza dell’analisi delle criticità emerse dallo studio TRIeL Isfol,

si delineano delle nette linee guida tecniche e metodologiche

che in buona parte si sovrappongono o addirittura coincidono

con quelle che emergono dagli altri gruppi di lavoro di TRIeL (come il Delphi),

da ricerche parallele (come Fortic), e dalla letteratura internazionale.

Qui non entriamo però nelle soluzioni tecniche e metodologiche, utili agli specialisti,

ma diamo i punti di riferimento “politici” per una serie di azioni concrete

che possano evitare al cittadino i danni (di cui si parlava all’inizio)

causati da una cattiva qualità dell’e-learning nella PA.

Sono cinque “raccomandazioni”.

Vediamole una per una…

C.2. Le proposte operative

La cattiva qualità dell’e-learning nella PA

provoca un doppio danno per il cittadino

che vede minate l’efficienza e l’efficacia di una PA

percepita come incapace di rinnovarsi

e diffidente a tutti i livelli verso le nuove tecnologie

e quindi verso l’innovazione indotta dovunque,

nel privato e all’estero,

dalle potenzialità dell’interconnessione in rete.

Valerio Eletti



Formare i committenti (oltre ai gestori e ai formatori e-learning) nella PA

(azione avviata dal Cnipa con Stanca e poi non più praticata)

Supportare lo scambio e il confronto di esperienze tra le PA

(ripristino di un osservatorio nazionale sull’e-learning con uno sguardo all’Europa; evidenziazione e diffusione delle buone pratiche e delle eccellenze)

Formare repository specialistici ragionati

(creare repository di unità didattiche di settore i cui elementi siano certificati; per esempio scegliere tra quelli prodotti i migliori corsi su privacy e sicurezza)

Creare un albo di fornitori di qualità certificata

(fornitori da individuare analizzando le best practices private e pubbliche)

Creare un ente di ricerca e certificazione che coordini le funzioni sopra descritte

(e/o creare centri regionali coordinati con accesso a repository e studi comuni)

C.2. Le proposte operative

Valerio Eletti



GRAZIE PER L’ATTENZIONE

per approfondimenti o informazioni

[email protected]

Qualità nell'e-learning: best and worst practices in Italy

Education

Transcript of Qualità nell'e-learning: best and worst practices in Italy