La valutazione degli apprendimenti nella FaD CNOS-FAP Torino, 16 Gennaio 2003 Luigi Sarti, ITD-CNR...

La valutazione degli apprendimenti nella FaD

CNOS-FAPTorino, 16 Gennaio 2003

Luigi Sarti, [email protected]

Quelli che aspettano…

Che cosa ti aspetti da questo intervento? Obiettivi Contenuti … in relazione alle tue esperienze

pregresse

Struttura dell’incontro di oggi La relazione tra valutazione e teorie

dell’apprendimento La valutazione

Definizioni Finalità Modelli (Andromeda, Iperion...)

Studi di casi NADOL MEDEA2K Corso TD – SSIS 2002

La relazione tra valutazione e teorie dell’apprendimento

Se pensi alla conoscenza come:

allora tendi a concepire l'insegnamento come:

un insieme di contenuti ontologicamente dati

un prodotto da trasmettere su un canale

uno stato cognitivo un insieme di strategie istruzionali volte a cambiare gli schemi di un individuo

significati costruiti nell'interazione con l'ambiente

predisporre un ambiente ricco di stimoli, strumenti e risorse

significati negoziati in un contesto sociale

partecipazione alle attività di una comunità











La valutazione è la misura della

prestazione che il discente è in grado di effettuare al termine

dell’intervento











La valutazione misura l’efficacia degli schemi cognitivi

indotti nel discente (rispetto al contesto

applicativo)











La valutazione esplora l’efficacia dei

processi di interazione tra apprendente e

ambiente











La valutazione indaga i processi di

costruzione sociale di nuova conoscenza

Definizione 1

“Il processo di valutazione consiste essenzialmente nel determinare in che misura gli obiettivi educativi vengono conseguiti. Comunque, poiché tali obiettivi comportano essenzialmente cambiamenti negli esseri umani, nel senso che gli obiettivi che ci si prefigge richiedono di causare determinati cambiamenti nei modelli di comportamento degli studenti, ne consegue che la valutazione è il processo con cui si determina la misura effettiva di tali cambiamenti” [Tyler, 1949].

Definizione 2

“Il termine valutazione viene usato per indicare la raccolta, l’analisi e l’interpretazione di informazioni sui vari aspetti di un programma formativo, allo scopo di giudicarne l’efficacia, l’efficienza e la qualità dei risultati” [Thorpe, in Ellington et al., 1993]

Definizione 3

“La valutazione consente di esprimere un giudizio sulla qualità di un intervento didattico, e di verificarne la coerenza con gli obiettivi e le condizioni al contorno” [Persico, 1995]

Scopi della valutazioneFormativa: l’intervento viene valutato sulla base delle caratteristiche e dell’evoluzione dei processi che lo compongono, per individuare problemi o punti deboli e migliorarne l’efficacia. La valutazione formativa può anche considerare solo alcuni aspetti o componenti dell’intervento ed ignorarne altri; deve essere condotta durante l’intervento, e non a posteriori, per poter fornire informazioni di retroazione che modifichino in itinere il processo stesso [Flagg, 1990; Tessmer, 1993].

Scopi della valutazioneSommativa: l’intervento viene valutato nella sua totalità, considerandone tutte le caratteristiche significative e pervenendo ad una misura delle qualità globale utile per elaborare confronti, selezioni, graduatorie di merito, certificazioni. Vengono considerati gli indicatori del conseguimento degli obiettivi didattici e formativi che hanno dettato la progettazione dell’intervento. Dato il suo carattere olistico, la valutazione sommativa può essere compiuta solo ad intervento concluso [Draper et al., 1995].

Scopi della valutazione

Diagnostica (o, come in taluni autori, prognostica): la valutazione che, con scopi principalmente orientativi, viene attuata prima dell’intervento formativo per verificare che i partecipanti siano dotati delle conoscenze prerequisite considerate necessarie alla fruizione dell’intervento stesso, e per identificare eventuali percorsi di recupero.

Il modello Andromeda

Il modello di valutazione per interventi FaD sviluppato dal Gruppo interprogettuale Andromeda–NetEnterprise si articola su tre fasi di valutazione: ex ante, in itinere ed ex post. Per ognuna di queste fasi il modello indica un insieme di criteri utili a determinare la qualità dell’intervento FaD.

Ex ante Definire i criteri per la determinazione della

potenziale efficacia di progetti per la realizzazione di interventi FaD.

Fornire agli enti erogatori del finanziamento strumenti affidabili di confronto e decisione, da adottare quando si debba ammettere o no al finanziamento un determinato progetto di formazione.

Le caratteristiche del percorso formativo, i materiali didattici, gli strumenti di valutazione e di monitoraggio, i servizi di sostegno e di guida, e le caratteristiche e la storia del Centro erogatore.

In itinere Monitoraggio dell’efficacia e dell’efficienza

dell’intervento formativo. Attenzione sui processi (attività didattiche,

apprendimento, fruizione dei servizi di sostegno) mentre questi sono in atto, allo scopo di verificarne l’adeguatezza rispetto alle attese.

I progressi effettuati dagli allievi, la soddisfazione dei partecipanti, l’uso delle risorse didattiche, organizzative e tecnologiche.

Ex post La valutazione ex post ha l’obiettivo di

determinare l’efficacia e l’efficienza delle azioni FaD analizzando lo svolgimento e i risultati del processo; essa consente un confronto tra le risorse impiegate ed i risultati ottenuti, e i suoi oggetti sono gli stessi della valutazione ex ante, in quanto viene attuata comparando i dati rilevati nella valutazione ex ante con analoghe misure effettuate a posteriori.

Che cosa valutare il processo (cioè l'efficienza) per rilevare il

rapporto costi/benefici, valutando la struttura, le risorse, l’organizzazione, ecc.;

gli obiettivi (cioè l'efficacia), allo scopo di indicare se l’azione formativa sviluppata ha raggiunto o no gli obiettivi cognitivi prefissati;

il soddisfacimento (cioè la rilevanza), rappresentativo della pertinenza tra la struttura e gli scopi, tra efficacia ed efficienza.

Qualità dei servizi

È spesso sentita la necessità di integrare la valutazione dei materiali e dell’apprendimento con indagini relative alla qualità dei servizi organizzativi di sostegno allo studente e delle condizioni logistiche [Progetto IPERION, 1998].

Qualità dei materiali Criteri legati alla tipologia

dispense a stampa, audiovisivi, documenti ipermediali, pacchetti software, ...

Criteri legati ai contenuti Correttezza, adeguatezza agli obiettivi

didattici Criteri legati alle modalità di erogazione

supporti cartacei, magnetici e ottici, canali telematici, Internet

Materiali importati vs. costruiti

I criteri di qualità del materiale in Iperion Area dei criteri metodologici

identificazione dei destinatari, del contesto d’uso, delle strategie didattiche, dei modelli di comunicazione e di interazione

Area dei criteri contenutistici linguaggio adottato; aggiornamento,

strutturazione, integrazione e contestualizzazione dei contenuti; coerenza con gli obiettivi didattici

Area dei criteri tecnologici presentazione, usabilità, riproducibilità ed

ergonomia

La qualità dell’apprendimento Apprendimento collaborativo:

“l'acquisizione da parte degli individui di conoscenze, abilità o atteggiamenti che sono il risultato di un'interazione di gruppo” [Kaye 1992]

Per poter valutare l’apprendimento collaborativo, bisogna comprenderne bene i meccanismi, il contesto, le condizioni... Occorre un modello della formazione in rete.

La valutazione delle attività svolte in NADOL

Che cos’è NADOL L’approccio teorico Il metodo Indicatori Strumenti Esempi

Che cos’è NADOL Network for Assisted Design and

Open Learning ADAPT II CFP Piemonte Casa di Carità Onlus

(promotore) Regione Piemonte TEOS (attuatore) ITD-CNR (valutazione)

NADOL: obiettivi Definizione di un sistema di

supporto e gestione di interventi formazione continua di formatori

Strumenti per la valutazione ex ante (FSE)

Orientamento rispetto all’offerta Modello per l’adozione delle nuove

tecnologie nella didattica dei CFP

NADOL: il modello a cascata

8 tutor di “secondo livello” 19 tutor di “primo livello” Circa 200 formatori organizzati in 9

gruppi locali I direttori dei CFP I direttori e i responsabili regionali

delle Agenzie

NADOL: la struttura dei corsi

Aprile Giugno Dicembre -Maggio Giugno-Dicembre Luglio

Intervento formativo per i tutor di II livello: I modelli della FaD

Intervento informativo per i direttori e i referenti degli enti di formazione

Prima fase in FaD per circa 200 formatori (9 classi): Produzione multimediale per la didattica

Seconda fase in FaD per i 19 tutor di I livello: Tutoring di percorsi FaD

Seconda fase in FaD per circa 200 formatori: Produzione multimediale per la didattica

Prima fase in FaD per i 19 tutor di I livello: Tutoring di percorsi FaD

Definizione collaborativa di una metodologia per la FaD

Coinvolgimento e partecipazione

Uso degli strumenti informatici e telematici per la FaD

Funzioni e attività del tutor di percorsi FaD, gestione della motivazione, modalità di valutazione

Strategie didattiche e di tutoring, strumenti di valutazione e monitoraggio

Progettare e realizzare, con l’ausilio delle nuove tecnologie, un primo modulo multimediale

Supporto al secondo corso FaD per i formatori

Progettare e realizzare materiali multimediali e ipertestuali a supporto della didattica d’aula

NADOL: struttura tipica di un corso

12/6 15/6 16/6-19/6 23/6 24/6-29/6 30/6-2/7 3/7 10/7

Area di discussione trasversale

Patto formativo motivazione

Ruoli del Tutor

Valutazione

La tavola del tempo del corso Tutoring di percorsi FaD: gli incontri in presenza: il periodo di ogni attività a distanza

Gli obiettivi di un incontro in presenza

Introduzione agli strumenti

telematici ed informatici usati

nel corso

Presentazione del corso e

condivisione dei suoi obiettivi

generali

Verifica dei prerequisiti,

identificazione di aspettative e disponibilità

Familiarizzazione tra i partecipanti, costituzione del

gruppo

Condivisione e sottoscrizione del

contratto formativo

Obiettivi incontro iniziale

in presenza

NADOL: la valutazione

La teoria Il metodo Gli indicatori Gli strumenti L’analisi dei dati Esempi

La teoria

SartiLa valutazione nella Formazione on Line

BiolghiniLa formazione in rete...

BoldriniIl progetto NADOL…

CengarleNet Learning e…

SimoneFormazione e Groupware…

Gruppo interprogettuale valutazione Andromeda–NetEnterpriseRisultati dell’attività di ricerca

Progetto IPERIONModello per la certificazione didattica e amministrativa della formazione a distanza

………

Il metodo Progettazione partecipata Coinvolgimento utenti Ex ante – in itinere – ex post Scopi:

Verificare l’efficacia e l’efficienza dell’impianto progettuale del corso

Verificare il conseguimento degli obiettivi didattici

Identificare eventuali criticità e nodi problematici

Gli indicatori Comprensione della struttura del corso e della

sua integrazione nel contesto di NADOL Livello di consenso sulle modalità con cui il

corso verrà erogato Livello di confidenza sui contenuti Qualità dei materiali, dei servizi didattici e di

supporto (relativamente sia a tutor ed esperti che all'infrastruttura telematica)

Condizioni logistiche Qualità della partecipazione, della

motivazione e delle attività collaborative Qualità del processo e qualità dei prodotti

Gli strumenti

Questionari Diari di bordo Misure oggettive dei flussi di

comunicazione Discussioni in presenza

Presentazione in forma grafica

Pagine web, documenti Word

L’analisi dei dati

Selezione dei dati d’interesseLa

piattaforma CONFAD

Corsi, partecipanti, risultati dei questionari, diari di bordo, bacheche…

SQL database

Sintesi, raggruppamento

e confronto

tabelle EXCEL

Alcuni esempi

8. Indichi il suo grado di interesse rispetto alle aree di contenuto previste

25%

35%

426%

526%

6 (moltissimo)33%

non risponde5%

La gestione del contratto formativo nella FaD

.

Corso Tutor – Questionario d’ingresso

Alcuni esempi

27% 4

13%

533%

647%

7. Indica il tuo grado di soddisfazione rispetto alle aree di contenuto affrontate.

minmedmax

minmedmax

25,136

La gestione del contratto formativo nella FaD

Corso Tutor – Questionario Finale

Alcuni esempiCorso Docenti (1) – Partecipazione alle bacheche

Bacheca GRUPPO 1

28

20

37

14

15

18

11

19

13

1

15

8

9

8

1

9

0% 20% 40% 60% 80% 100%

CDC Torino

CFPP Alessandria

CIOFS Cumiana

CNOS Torino

CSEA G. Pastore

ENAIP Cuneo

ENAIP Novara

IAL Torino

Cla

sse

Numero messaggi

AllieviTutor

Totale 226 messaggi

Alcuni esempiTutor – Questionario di Fine Corso

GESTIONE DEL RUOLO DI TUTOR ON LINE

2,60

3,00

2,10

4,27

3,58

3,08

-1,00

-2,00

-1,00

10

10

10

11

12

12

-3,50

2

2

2

1

-5 -4 -3 -2 -1 0 1 2 3 4 5

Il rapporto con gli allievi

Tempo per attività di tutoring

Gestione momenti o fattori di criticità

Rapporto con la tecnologia adottata

Supporto metodologico, didattico e tecnologico

VALUTAZIONE COMPLESSIVA

Fa

ttori

di v

alu

tazi

one

Sui questionari [Palloff, Pratt] In che misura il corso soddisfa (ha

soddisfatto) le tue esigenze? Che cosa pensi delle modalità di

istruzione adottate? Ti sembra che l’istruttore sia stato

disponibile e pronto? Che cosa pensi della formazione in rete? Quali sono i punti di forza di questo

corso? Quali raccomandazioni daresti per

migliorare il corso? Che consigli daresti a futuri studenti?

Attività pratica: il dodecalogo del buon tutor

Prendendo in considerazione il contesto della formazione professionale di personale in servizio e lavorando da sola/o, prova a definire un ordine di importanza per la lista sopra riportata, elencando le voci in ordine di rilevanza decrescente. Registra su un foglio il risultato. In gruppi di 4-5 persone, cercate poi di raggiungere una soluzione condivisa dal gruppo.

10’ lavoro individuale + 10’ in gruppo + 5’ / gruppo per riportare il risultato in plenaria

Non "fate lezione"

Siate chiari sulle aspettative

Siate pazienti e flessibili

Siate pronti nel rispondere

Non sovraccaricate

Controllate e stimolate

Incoraggiate il lavoro di gruppo

Insegnate la "netiquette"

Scrivete commenti riassuntivi

Tenete ordinati gli ambienti di discussione

Stabilite norme e premiate il merito

Gestite la chiusura delle discussioni

La valutazione di un corso in rete: una proposta metodologica

Perché valutare Che cosa valutare Come valutare Aspetti strumentali ed operativi

Perché valutare

Valutazione formativa vs. selettiva e sommativa

Quality management dei processi di apprendimento in rete

La valutazione formativa dovrebbe essere condotta durante il processo

Input per valutazione sommativa e selettiva

Che cosa valutare [1/3] Apprendimento collaborativo:

l'acquisizione da parte degli individui di conoscenze, abilità o atteggiamenti risultati di un'interazione di gruppo (Kaye 1992) (Vygotsky 1978).

La qualità di un processo di formazione in rete dipende: dall’apprendimento dei singoli dall’interazione all’interno del gruppo

Che cosa valutare [2/3]

l'apprendimento individuale l'interazione, valutata

relativamente al contesto in cui avviene e sulla base di scopi predefiniti

i contenuti del corso, in parte dati e in parte "costruiti" dai partecipanti.

Che cosa valutare [3/3]

QualitàInterazione

QualitàApprendimento

(prodotti)

QualitàContenuti

Apprendimento dei singoli individui

Qualità del processo di comunicazione

Qualità del dominio di contenuti emerso nella conversazione

Come valutare [1/3] valutazione basata sui prodotti

il processo di apprendimento produce “oggetti” valutati con criteri interni (congruenza, estetica) o esterni (correttezza, adeguatezza a determinati codici)

valutazione delle abilità gli elementi di valutazione vengono

inferiti dall'osservazione delle abilità acquisite

Come valutare [2/3] La formazione in

rete “produce”: i risultati delle

attività l’insieme dei

messaggi

La valutazione riguarda: la qualità degli

apprendimenti la qualità dei

processi di interazione

qualità dei contenuti qualità della

comunicazione in sé.

Come valutare [3/3]

L’idea chiave della metodologia è classificare ciascun messaggio e ciascun prodotto assegnando valori ad attributi predefiniti (parametri di qualità).

Tutti i prodotti del corso, siano essi elaborati o messaggi, intervengono nella determinazione della qualità del corso.

Parametri di qualità Connotazione dei messaggi:

congruenza contestuale congruenza formale appropriatezza dei codici costruzione di nuova conoscenza contributo all’interazione correttezza dei contenuti tempestività

La valutazione dei processi d’apprendimento in MEDEA2K

Il corso MEDEA obiettivi, contenuti , struttura...

Tassonomia degli atti comunicativi Un software specifico per la

valutazione Esempi e confronti

Il corso MEDEA

Corso in rete per la formazione e l’aggiornamento nel settore dell’Educazione Ambientale

Oggetto del corso Proposta

metodologica elaborata dall'ITD, per la progettazione e conduzione di esperienze di Educazione Ambientale

(MEDEA: Metodologia Didattica per l’Educazione Ambientale)

La metodologia scelta di una problematica ambientale scelta di un ambiente particolare in cui

svolgere le attività definizione degli scopi dell'intervento di

Educazione Ambientale definizione di un modello pianificazione delle attività da svolgere con

i ragazzi correlazione delle attività con il curriculum

Elaborare in modo cooperativo un progetto di EA basato sull'approccio metodologico proposto

Saper usare risorse di rete per reperire e condividere informazioni ed elaborare progetti comuni di EA

Comunicare usando un ambiente di comunicazione mediato dal computer

Obiettivi del corso

Utenza gruppi di insegnanti

che si incontrano nei laboratori territoriali di EA oppure nella propria scuola

gruppi di operatori dei centri di educazione ambientale

Modulo 1

Modulo 2

Modulo 3

Modulo 4

progettoprogetto

3 settimane 4 settimane 5 settimane 5 settimane 2 settimane

Modulo 5Modulo 6

Struttura del corso

M1: familiarizzazione Scopo del modulo: contribuire alla

creazione della comunità virtuale di apprendimento

acquistare confidenza con lo strumento telematico e con la comunicazione scritta.

M2: definizione requisiti

Scopo del modulo:

Scelta problema ambientale

Scelta di un ambiente particolare

Definizione degli scopi

Pioggia Morfologiabacino Val Bisagno

Modifiche apportate dall’uomo

Evento piovoso critico

Portata massima

(Q max)

alluvione

M3: modelliz-zazione

M4: Definizione dell’ambiente d’apprendimento

Scopo del modulo:

Scelta di un prodotto/servizio

Definizione delle attività

Correlazione con il curriculum

M5 - Pianificazione tempi e risorse

Scopo del modulo:

Organizzazione nel dettaglio dell’esperienza

M6 - Valutazione e Validazione

Scopo del modulo: validazione del

processo messo in atto (la qualità dell’esperienza di educazione ambientale);

valutazione dell’apprendimento individuale (che cosa hanno imparato i ragazzi)

INVIO STIMOLO

MESSAGIO DI RISPOSTA

FEEDBACK E INVITO ALLA DISCUSSIONE

RICHIESTA CHIARIMENTI

MEDIAZIONE DEL TUTOR

DISCUSSIONETRA I GRUPPI

Modello di svolgimento di un modulo

ATTIVITÀ DEI GRUPPI

L’Ambiente d’apprendimento

I colleghi del gruppo locale

Il sistema di computer conferenza (First Class)

La comunicazione

Messaggio

Stimolo InterazioneSociale

Proposta Attività

Commento suAttività

Risposta Discussione Coordinamento

Richiestacommenti su

contenuti

Sollecito Attività

Domandapuntuale

Rispostaspiegazione

Propostaorganizzativa

Comunicazionedi servizio

Riflessione

Spiegazione diun punto trattato

Punto sullasituazione

Richiesteinformazionitecniche.

Svolgimentoattività

Commento

Domandagenerale

Propostadiscussione

Consigli

Spiegazionedi un argomento

Istruzioni

Richiesta dichiarimenti

Incoraggiamento

Rispostapuntuale

Conversazione

Socializzazione

Informazione

La tassonomia dei messaggiLa tassonomia dei messaggi

Il software

Un esempio di applicazione ...

Attività e soggetti coinvolti

Applicazione della metodologia

Confronto con metodologie di valutazione convenzionali (Questionario)

Attività e soggetti coinvolti corso di formazione a distanza per

docenti di Educazione Ambientale EuMEDEA

4 fasi in 3 mesi: M0 Familiarizzazione M1 Identificazione del Problema M2 Definizione degli Scopi M3 Pianificazione

Qualità GlobaleCorso EuMEDEA

Qualità Interazione

Qualità dei ProdottiQualità dei Contenuti


Confronti

Confronti Questionario:

il 55% dei partecipanti sostiene che il grado d'intervento dei tutor è stato troppo intenso

Grado di Partecipazione della comunità EuMEDEA

Tutor36%

Partecipanti44%

Osservatori20%

L’analisi dei messaggi offre:

Confronti Questionario:

sono risultate problematiche l’installazione del

client la lettura dei

documenti allegati la lentezza nei

collegamenti 010203040506070

Richiesta chiarimenti t

ecnici

Proposta organizzativa

Progress report

Comunicazioni ausiliarie

Conferenza Laboratorio - Tipologia "coordinamento"

L’analisi dei messaggi rileva un elevato numero di messaggi di richiesta d’aiuto tecnico:

La valutazione di un modulo online nel corso SSIS 2002 Modulo online “Comunità virtuali per

l'apprendimento/Tecnologie didattiche e teorie dell'apprendimento”

Obiettivi Saper evidenziare le relazioni critiche tra

teorie o modelli dell’apprendimento e metodi didattici

Saper valutare criticamente l’applicabilità in uno specifico contesto scolastico di interventi ed approcci basati sulle comunità virtuali per l’apprendimento

1a fase: I modelli a confronto Studio della letteratura e preparazione

di brevi sintesi individuali Stesura di una sintesi o di una tabella

finale su: Teorie dell’apprendimento

(comportamentismo, cognitivismo, costruttivismo)

Modelli di comunità di apprendimento (Communities of learners, Knowledge-building communities, Comunità di pratica)

2a fase: Elaborazione di una proposta per una CdA

Elaborazione e stesura di una o più proposte sulla base di alcune esperienze

Lavoro collaborativo (almeno nelle nostre intenzioni)

Modalità Incontro iniziale e finale in presenza Attività collaborative svolte in rete si

un respiro di 3 settimane circa Obiettivi e scadenze negoziati

nell’incontro iniziale Diari di bordo individuali Questionario finale di valutazione

del modulo

Valutazione degli apprendimenti la qualità dei contributi alla prima fase

nelle recensioni: presenza dei punti essenziali, chiarezza espositiva, esplicitazione delle relazioni tra le letture e gli obiettivi dell’attività, riferimento a contributi degli altri partecipanti;

contributo alla stesura della tabella finale la qualità dei contributi alla seconda fase

presenza di commenti e riflessioni sulle letture effettuate, esplicitazione delle relazioni con gli obiettivi dell’attività, riferimento a contributi degli altri partecipanti

contributo alla definizione delle proposte finali i contributi di meta-riflessione

nel board “commenti sul corso” nei report di attività

i contributi di socializzazione nel board “caffè” la continuità della partecipazione attiva

Proviamo a valutare l’incontro di oggi Le tue attese sono state soddisfatte? Hai potuto cogliere spunti e indicazioni utili per il

tuo lavoro? Quanto ti sembrano rilevanti dal punto di vista della figura professionale che stai costruendo?

Quanto ti sembrano coerenti con l’impostazione generale del corso “Metodologie didattiche e tecnologie per l’erogazione di percorsi di formazione mista: in presenza e a distanza”?

Quanto ritieni che gli elementi metodologici proposti siano applicabili nella pratica quotidiana?

La valutazione degli apprendimenti nella FaD CNOS-FAP Torino, 16 Gennaio 2003 Luigi Sarti, ITD-CNR...

Documents

Transcript of La valutazione degli apprendimenti nella FaD CNOS-FAP Torino, 16 Gennaio 2003 Luigi Sarti, ITD-CNR...