Valutare le attività on line nella didattica universitaria Problemi e prospettive Pier Cesare Rivoltella in C. Scurati (a cura di), E-learning/Università. Esperienza, analisi, proposte, Vita e Pensiero, Milano 2004, pp.39-76. Il presente contributo nasce dall’attività di ricerca personale di chi scrive riguardo ai metodi e alle tecniche che presiedono ai processi di insegnamento ed apprendimento universitari quando essi vengono supportati da strumenti on line o interamente trasferiti in uno spazio di lavoro telematico1 e, più in generale, alle tematiche connesse con l’intersezione delle componenti sociali, comunicative e didattiche nell’ambito delle Reti2. Questa ricerca si è sostanziata, negli ultimi tre anni, del lavoro svolto presso il CEPaD3, sia nella progettazione e nel coordinamento della didattica on line ai diversi livelli (dalla creazione di corsi web enhanced4 allo sviluppo di interi corsi di laurea5) che nella collaborazione con l’Organo di Valutazione interno della didattica universitaria6 e nella direzione scientifica di progetti di valutazione che il Centro ha svolto extra moenia proprio in virtù del know how che gli viene riconosciuto al riguardo a livello nazionale7. La partecipazione alla Users Blackboard Conference (che si è tenuta a Baltimore nel febbraio del 2003) e il gruppo di lavoro ELMiC hanno funzionato da catalizzatori rispetto a questo back-ground di ricerca, a più livelli:

- anzitutto, consentendo di ricuperare alla riflessione molti spunti che in ordine sparso erano già stati messi a fuoco e attendevano solo di ottenere un’organizzazione sistematica;

1 Un risultato parziale di questa ricerca si trova nel volume: P. Ardizzone, P.C. Rivoltella, Didattiche per l’e-learning. Metodi e strumenti per l’innovazione didattica in università, Carocci, Roma 2003. Ad esso faremo spesso riferimento. 2 Cfr. P.C. Rivoltella, Costruttivismo e pragmatica della comunicazione on line. Socialità e didattica in Internet, Erickson, Trento 2003. 3 Il CEPaD (Centro di ateneo per l’Educazione Permanente e a Distanza) è il Centro voluto alla fine del 1999 dall’Università di Cattolica di Milano per coordinare le attività relative all’innovazione didattica e in particolare alla formazione a distanza e all’e-learning. 4 Un corso web enhanced, come suggerisce la dizione inglese, è un corso tradizionale, svolto quindi in aula dal docente per lo più attraverso lezioni frontali, che però si avvale di un “potenziamento” (enhancement) costituito da uno spazio on line in cui poter gestire diversi servizi, da quelli informativi (bacheca avvisi, informazioni sul corso e sul programma d’esame, possibilità di download di materiali) a quelli comunicativi (chat e forum) e collaborativi (come gli strumenti per la condivisione dei documenti o le aree di collaborazione per i gruppi telematici). 5 Nel caso dell’Università Cattolica, cui qui facciamo riferimento, tali corsi di laurea sono concepiti secondo il modello della blended instruction, cioè in base a un’architettura didattica che prevede l’integrazione di momenti presenziali (attività d’aula con il docente o con i tutor), videoconferencing (lezioni real time che prevedono, quindi, la possibilità per lo studente di interagire con il docente per chiarimenti e domande di approfondimento), lavoro on line (attraverso l’implementazione dei diversi strumenti cui abbiamo fatto cenno a proposito dei corsi web enhanced). 6 In particolare si è lavorato in due direzioni: 1) l’aggiornamento/integrazione dei questionari utilizzati per rilevare il gradimento dei corsi in modo che potessero comprendere anche le innovazioni che nella didattica sono state introdotte proprio grazie all’Information and Communication Technology (ICT); 2) la progettazione/sperimentazione di un’ipotesi per la compilazione on line di tali questionari (la parte sperimentale del progetto ha riguardato i corsi di laurea erogati anche a distanza). 7 Tra questi progetti meritano sicuramente di essere segnalati: il monitoraggio della formazione on line che INDIRE (Istituto Nazionale per la Documentazione dell’Insegnamento e della Ricerca Educativa) ha svolto in favore dei neo-assunti (2001-2002) e delle scuole che hanno preso parte alla sperimentazione della Riforma scolastica (2002-2003); lo sviluppo e la sperimentazione di un sistema di certificazione delle competenze acquisite dagli insegnanti nella formazione on line, in collaborazione con l’IRRE-Lombardia.

- in secondo luogo, indicando un tema aggregante in virtù del quale operare questo intervento organizzativo;

- infine, facilitando l’individuazione delle tre grandi coordinate attraverso le quali procedere alla sua articolazione.

Questi stessi elementi hanno suggerito lo viluppo interno del percorso che abbiamo intenzione di descrivere. Il tema aggregante, come viene suggerito dal titolo, è costituito dalle attività on line che sempre più spazio si ritagliano all’interno della didattica universitaria. Uno degli effetti che l’ICT ha prodotto sull’Università in quanto sistema deputato alla trasmissione culturale, infatti, è stato la transizione dal modello segnato dalla relazione stessa aula-lezione a un nuovo modello che flessibilmente gioca sui diversi assetti didattici che si possono generare attraverso la differente dosatura dell’aula e della lezione con i nuovi ingredienti che la didattica riceve in dote dalle tecnologie di rete. Si tratta di una transizione che è ben resa dall’immagine di una Brick University (Università-mattone, solo muri ed edifici) che cede il posto alla Brick-and-click University (dove il click, evidentemente, evoca la tastiera e quindi il computer)8. In questo nuovo contesto un ruolo centrale viene giocato dalle pratiche di monitoraggio e valutazione: senza di esse, infatti, l’on line difficilmente si potrà emancipare da una percezione che lo pensi solo in termini accessori rispetto al sistema formativo e non, come dovrebbe essere, quale elemento ad esso integrato e, anzi, capace di garantirgli valore aggiunto. Le coordinate attraverso le quali il monitoraggio e la valutazione delle attività didattiche on line (nell’università, ma non solo in essa) si possono articolare corrispondono alle tre dimensioni cui si può ricondurre qualsiasi processo di valutazione:

- la valutazione di qualità (evaluation), finalizzata al monitoraggio del funzionamento del sistema formativo on line in ordine alla sua costante ottimizzazione;

- la valutazione degli apprendimenti (assessment), il cui obiettivo è di appurare se e in quale misura i diversi strumenti on line facilitino il lavoro del docente e dello studente;

- il monitoraggio dei bisogni e delle tendenze (survey), che consente di registrare la customer satisfaction, ma anche di gestire il benchmarking e, più in generale, di condurre indagini conoscitive di diverso tipo all’interno dell’Ateneo.

L’analisi dei problemi e la registrazione delle esperienze più significative delle università americane a questi differenti livelli dovranno consentire di costruire in conclusione una agenda dei temi ineludibili e una mappa di intervento praticabile. 1. Considerazioni di quadro Come sopra anticipavamo, la dimensione on line è diventata negli ultimi anni una componente fondamentale del sistema universitario fino a configurare per esso un nuovo assetto di cui l’ICT costituisce, per così dire, la spina dorsale. Tale assetto si può immaginare formato da tre dimensioni che agiscono sulla direttrice interno-esterno rispetto al sistema universitario stesso9:

- la dimensione di servizio. Costituisce la “faccia esterna” del sistema universitario, quella più customer oriented, caratterizzata dal rapporto con lo studente nell’ottica di una crescente clientizzazione di quest’ultimo. L’ICT ne supporta struttura e assetti a diversi livelli: di informazione (è la funzione dei portali universitari in cui lo studente trova indicazioni relative ai piani di studio, ai programmi dei corsi, agli orari di ricevimento dei docenti, ecc.), di pratiche (iscrizione on line agli esami, richiesta di certificati), di accesso ai servizi (si pensi ai badge personali dello studente e alle loro molte funzioni: libretto elettronico, tessera per il prestito bibliotecario e l’accesso alla mensa, portafoglio elettronico, ecc.);

8 Ardizzone, Rivoltella, Didattiche per l’e-learning, cit., p.42. 9 Ivi., pp. 28 ss.

- la dimensione organizzativa. È la “faccia interna”, che non riguarda tanto la comunicazione di servizio nella direzione dello studente, quanto piuttosto la condivisione di informazioni tra le diverse componenti della realtà universitaria, da quella accademica a quella amministrativa. L’ICT, in questo caso, provvede gli strumenti utili a ripensare radicalmente i processi di scambio e costruzione del sapere dentro l’università: lo sviluppo delle reti intranet consente questo ripensamento favorendo la condivisione e la gestione delle conoscenze (knowledge management);

- la dimensione didattica. Si tratta dell’interfaccia (interno/esterno) del sistema: nella misura in cui, infatti, essa garantisce nuove opportunità di efficacia per l’insegnamento e l’apprendimento, si configura come un servizio fornito allo studente (e quindi si sposta verso la “faccia esterna” del sistema); d’altra parte, poiché attraverso l’impiego delle tecnologie didattiche inevitabilmente le pratiche didattiche dei docenti vengono messe in gioco e indotte al cambiamento, essa funziona anche da strumento di innovazione sull’organizzazione (quindi, “guarda” anche verso l’interno).

Videoconferencing servizi Web

Web portal badge informational point Intranet Università Figura 1 – Le tre dimensioni dell’incontro tra Università e ICT. Pur tenendo sullo sfondo le altre due dimensioni, isoliamo in questo contesto quella relativa alla didattica. Cosa “contiene”? A cosa si fa riferimento quando si parla di incontro dell’ICT con la didattica nell’università? Si può rispondere individuando diverse aree di attività del docente (e dello studente, anche se evidentemente senza un rigida corrispondenza), ordinate secondo una gradualità che va dalle attività di base, meno complesse, a quelle evolute, ad alto indice di complessità:

- vi è, anzitutto, un livello di attività che costituisce una sorta di pre-requisito automaticamente richiesto dal fatto stesso di dover lavorare in ambiente ICT e cioè il trattamento informatico dei testi. Nella pratica del docente esso prende corpo per lo più nella creazione di documenti, nel processamento di disegni e immagini e nella costruzione di presentazioni. Facilmente si dovrà prevedere, a questo livello, una dotazione di competenze che preveda l’uso di Word e Powerpoint (o di strumenti analoghi qualora non si faccia riferimento all’ambiente Windows), la conoscenza della grammatica e dei principali tag del

linguaggio HTML10, la capacità di importare immagini attraverso uno scanner o mediante altre periferiche (foto o videocamera digitale), l’uso di software dedicato per l’image processing e il rendering (ad es. Photoshop o Adobe Premier)11;

- a un livello ulteriore si collocano le competenze relative all’organizzazione e alla disponibilità dei contenuti. Rientrano tra queste competenze la costruzione di un syllabus delle lezioni (cioè di un planning completo delle lezioni in cui si indichi, per ciascuna, oggetto, obiettivi, contenuto sintetico, eventuali letture da eseguire) e di uno storyboard del corso (vale a dire una vera e propria “sceneggiatura” che ne preveda la tempistica e ne pianifichi le azioni didattiche): si tratta di strumenti importantissimi poiché da essi dipende la possibilità, per lo studente, di orizzontarsi all’interno del corso e di comprendere in quale fase del suo sviluppo ci si trovi e quali direzioni vi siano da intraprendere. Quanto, poi, alla disponibilità dei contenuti, l’attenzione è ad alcune variabili che nella forma cartacea (le tradizionali dispense) non sono rilevanti ma che, a livello di pubblicazione sul Web si dimostrano importantissime, come l’autoconsistenza e la sinteticità12;

- ancora più specifiche e sofisticate sono le competenze relative alla gestione della comunicazione. Esse presiedono all’uso degli strumenti sincroni (come la chat) e asincroni (il forum) in funzione della discussione dei temi e dei problemi che sono oggetto della didattica di una determinata disciplina. Quest’uso richiede, anzitutto, nel docente un cambio di mentalità rispetto alla gestione della didattica frontale: far passare la didattica attraverso la comunicazione significa saper gestire dei brainstorming, saper lanciare e moderare un dibattito, programmare con cura il coordinamento delle diverse attività da svolgere in rete (lo storyboard di cui parlavamo poco sopra). A queste competenze squisitamente didattiche se ne aggiungono altre di tipo tecnologico che sono relative alle metodologie e alle tecniche di impiego didattico sia della chat che dei forum;

- al livello più alto, infine, si collocano le competenze del docente in ordine all’incentivazione delle attività collaborative degli studenti. Si tratta di competenze ancora una volta didattiche prima che tecnologiche e che riguardano le tecniche del lavoro di gruppo, la metodologia del cooperative learning, le procedure che presiedono alla coprogettazione e alla co-costruzione di oggetti in rete telematica.

Alcuni rilievi si impongono a margine di queste quattro attività. Anzitutto vi è una chiara differenza tra la prima e le altre tre. Il trattamento informatico dei testi, infatti, prescinde dal fatto che essi siano posti on line: una presentazione di Powerpoint può essere allestita anche solo a supporto di una lezione d’aula, un documento viene abitualmente prodotto in formato elettronico anche se la sua destinazione è il cartaceo. Le altre tre attività, invece, richiedono la presenza di un ambiente Web per poter essere sviluppate. Tale ambiente, nella didattica universitaria, è abitualmente costituito da un Learning Management System (LMS), cioè da una

10 Se non si hanno particolari esigenze di editing, per la compilazione di un documento in HTML può essere sufficiente lo stesso Word che consente di salvare un documento in diversi formati tra cui, appunto, l’HTML. Un valido supporto in questa direzione è rappresentato dalla conoscenza di applicativi come Frontpage (contenuto in MS Office) che consentono di lavorare su un documento potendone visualizzare sia la versione testuale che quella HTML. 11 Evidentemente le competenze relative all’importazione e all’editing delle immagini sono più o meno utili in relazione con il tipo di impiego dell’immagine richiesto dall’insegnamento in questione (elevato, si suppone, per l’arte, i media e la formazione, probabilmente nullo per le discipline giuridiche ed economiche). 12 Questi due elementi rinviano ad altrettanti importanti concetti propri dei Learning Object, e cioè l’autosufficienza e la granularità. Un Learning Object, nel lessico corrente dell’e-learning, è un’unità informativa (documento testuale, immagine o video) che costituisce il segmento-base a partire dal quale costruire architetture corsali complesse. Tra le caratteristiche che gli si riconoscono, due tra le più importanti sono proprio l’autosufficienza (cioè la possibilità di essere concluso in sé dal punto di vista dell’informazione che contiene) e la granularità (vale a dire il livello di elementarità strutturale di cui gode). Per una chiara presentazione del concetto di Learning Object e dei problemi ad esso connessi, cfr, C. Petrucco, …

piattaforma in grado di gestire in maniera integrata tanto syllabus e storyboard che la comunicazione e la gestione del lavoro collaborativo dei gruppi13. In secondo luogo, è possibile rilevare come più si procede verso le attività di tipo collaborativi e più il focus della didattica si sposti dal docente allo studente lungo un asse ai cui estremi si possono collocare le due parole-chiave “istruzione” e “costruzione”: nel primo caso l’iniziativa è del docente e la didattica viene pensata soprattutto come transfer di contenuti; nel secondo caso, invece, è lo studente a diventare protagonista, la didattica si rimodella come attività di costruzione sociale e negoziata dei significati e il docente va progressivamente in dissolvenza (fading) provvedendo esclusivamente a garantire funzioni di supporto cognitivo ed emotivo (scaffolding). Infine, come già osservavamo in apertura di paragrafo, simmetricamente rispetto alle attività del docente vanno pensate anche le attività dello studente, secondo la stessa gradualità già verificata per il docente. Anche nello studente si dovranno presupporre competenze informatiche di base; a un livello più alto, egli dovrà saper utilizzare gli strumenti di orientamento e navigazione del corso (syllabus, storyboard) e le utilità di comunicazione (chat e forum); infine, dovrà acquisire competenze relative al lavoro di gruppo e alla collaborazione in ambiente telematico.

COSTRUZIONE

Attività collaborative

Gestione della comunicazione (chat, forum) Organizzazione e disponibilità dei contenuti (syllabus, storyboard)

Trattamento informatico dei testi

(produzione di documenti e presentazioni, HTML, immagini)

ISTRUZIONE Figura 2 – Le attività didattiche in ambiente tecnologico

13 L’adozione di una piattaforma già disponibile sul mercato piuttosto che lo sviluppo di una piattaforma proprietaria è un tema di dibattito di grande attualità. Le ragioni contrarie all’adozione di una piattaforma commerciale vengono di solito indicate nella sua presunta rigidità e nella difficoltà di personalizzazione rispetto al contesto entro cui viene implementata. Motivazioni opposte evidenziano le problematicità legate allo sviluppo di una piattaforma proprietaria: la sua compatibilità con gli standard, i costi connessi al suo aggiornamento, le esigenze di profilatura delle utenze per la sicurezza dei dati e il tracciamento delle attività. L’Università Cattolica dal 2000 si è orientata ad adottare una piattaforma commerciale. Dopo una fase di studio durata circa sei mesi la scelta è caduta su Blackboard (in Internet, URL: http://www.blackboard.com). Sviluppata nel 1997 presso la Cornell University, negli Stati Uniti, Blackboard – presente in circa 3.000 università in 45 paesi - è oggi il più diffuso LMS a livello universitario. Le analisi che più avanti riserveremo ad ambienti e strumenti per la valutazione on line, pur essendo esportabili anche ad altri LMS, sono riferite in prima istanza proprio ai survey and assessment tools di Blackboard.

Quando un’università accetta di metabolizzare l’ICT nell’ambito della didattica – e quindi si trova a dover gestire la ricaduta delle tecnologie, ai diversi livelli, nelle pratiche di insegnamento e apprendimento – subito si evidenziano alcuni problemi che richiedono una pronta risposta:

- anzitutto, la necessità di fare i conti con livelli di alfabetizzazione informatica e di cultura ICT estremamente differenziati, sia sul versante dei docenti che su quello degli studenti. Il dato, sociologico, con cui ci si confronta è di una assoluta disomogeneità che presenta, per quanto riguarda i docenti, tutta la gamma di profili che vanno dal super-esperto di tecnologie didattiche all’illettronico14, per quanto riguarda gli studenti, dal vero e proprio hacker al neofita della Rete. Come verificare la presenza delle diverse competenze in modo da progettare un training formativo efficace?

- Un secondo problema consiste nella necessità di riflettere sul rapporto che le tecnologie intrattengono con la didattica in modo da controllare tanto il modificarsi (o il non modificarsi) delle pratiche insegnative dei docenti, quanto delle abitudini e degli stili di apprendimento degli studenti. La logica, in questo caso, è quella del ROI (Return Of Investment), cioè della verifica da parte del sistema università della possibilità di capitalizzare, attraverso l’introduzione dell’ICT, vantaggi di competitività rispetto ad altri atenei e di qualità in ordine al servizio offerto agli studenti. Come monitorare il processo in modo da evidenziarne in tempo reale criticità e plusvalenze capitalizzandole ai fini dell’ottimizzazione?

- Infine, occorre chiedersi quali vantaggi comporti l’introduzione delle tecnologie didattiche ai docenti nella loro attività di insegnamento e se essa consenta di registrare un miglioramento medio della performance. Questo obiettivo passa, evidentemente, attraverso una nuova concettualizzazione delle attività di testing. Come verificare l’efficacia degli apprendimenti? E quali vantaggi riconoscere a tale attività di verifica?

Tutte e tre le questioni portano al centro dell’attenzione l’importanza strategica della valutazione, un’importanza tanto più urgente da affermare quanto più si sente la mancanza di una cultura adeguata rispetto ad essa nel settore generale dell’e-learning. Per promuovere questa cultura è necessario tenere ferme almeno tre idee-guida15. Anzitutto la valutazione va concettualizzata in termini molto ampi come una «specifica attività di ricerca che attraverso la raccolta, l’analisi e l’interpretazione di dati ricavati dagli aspetti più vari di un programma formativo, giudica l’efficacia, l’efficienza e la qualità di un intervento didattico e ne verifica la coerenza con gli obiettivi didattici e le condizioni ambientali in cui la formazione ha luogo»16. Si tratta di una definizione molto comprensiva che raccoglie tutte le domande che abbiamo precedentemente posto e ha il merito di sottolineare come l’attività di valutazione, almeno in campo formativo, non costituisca un’occupazione di routine ma una forma di attività di ricerca. La valutazione, inoltre, deve essere sistemica, cioè tale da non isolare l’attività valutativa dal processo formativo, come se ne rappresentasse un’appendice, o da enfatizzarne alcuni momenti rispetto ad altri, ma da lavorare «sull’intero sistema nella sua complessità comprendendone le variazioni strutturali e funzionali in una logica dinamica ed evolutiva»17. Infine, è importante assumere in ordine alla valutazione (soprattutto degli apprendimenti) un punto di vista attento al processo più che al prodotto così da spostare l’attenzione dalla misurazione delle prestazioni dell’allievo alla verifica di come l’insegnamento riesca a mantenersi coerente rispetto agli obiettivi che si era proposto18. Si tratta della prospettiva che tradizionalmente si indica quando 14 L’espressione è di P.Breton ( ) e allude a chi è privo di cultura digitale (proprio come l’illetterato lo è di cultura libraria). 15 Cfr. Ardizzone, Rivoltella, Didattiche per l’e-learning, cit., p.92. 16 S. Ruggieri, S. Boca, F. Ballor, La valutazione nella formazione a distanza: un barlume all’orizzonte, «TD – Tecnologie didattiche», 1. 2002, p. 32 [29-36]. 17 Cfr. Ardizzone, Rivoltella, Didattiche per l’e-learning, cit., p.92 18 V. Benigno, G. Trentin, La valutazione nella formazione a distanza, in G. Trentin (a cura di), Telematica e formazione a distanza. Il caso Polaris, FrancoAnegli, Milano 1999.

si parla di valutazione formativa e che naturalmente sfocia in attività come l’autovalutazione e l’autoorientamento19. 2. Valutare gli apprendimenti Lo spazio e l’importanza della valutazione degli apprendimenti (assessment) dipendono strettamente dagli usi didattici che sono propri di una certa tradizione di insegnamento. A questo riguardo, nell’approccio dell’università alla valutazione (pur nella consapevolezza che questo tipo di generalizzazione rischia di sottoporre a semplificazione il reale stato delle cose) pare possibile tracciare una linea netta di divisione tra le pratiche valutative proprie del sistema formativo americano e di quello europeo riproducendo la dialettica tra analitici e continentali già utilizzata dalla filosofia per definire una linea di demarcazione tra gli stili di pensiero delle scuole che nel secondo Novecento hanno animato il dibattito teoretico sulle due sponde dell’Atlantico20. 2.1. “Analitici e continentali” Pare di poter dire che la tradizione europea (e in particolare quella italiana) difetta di cultura in ordine alla valutazione, un tratto che si può ricondurre a una più generale mancanza di competenze in materia di didattica. La dimensione insegnativa, infatti, nella nostra tradizione accademica (anche se ora le cose stanno lentamente cambiando) viene ricondotta sostanzialmente alla capacità del docente di “stare in cattedra”. Dato che la lezione frontale è da sempre considerata la forma canonica della didattica, la tentazione (tendenza) è stata ed è quella di risolvere la propria performance a livello retorico: per “fare bene lezione” occorrono competenza nella propria disciplina e cultura generale; la pratica fa il resto. Questo comporta che la didattica non venga pensata come parte integrante del sapere professionale del docente (il che comporterebbe che ogni docente, indipendentemente dalla propria appartenenza disciplinare, faccia ricerca sui metodi e le tecniche per rendere efficace il suo insegnamento) e venga per lo più risolta in termini non scientifici: delle due componenti che entrano a costituire l’agire didattico, la riflessione teorica e l’insieme degli habitus acquisiti “sul campo”, l’accento cade sui secondi configurando una situazione in cui, in sostanza, a fare lezione si impara facendo lezione. Di questo orientamento pragmatico risente, chiaramente, anche la pratica valutativa. Nel caso dell’esame orale ne sono dimostrazione evidente la scarsa sistematicità secondo cui esso viene condotto (spesso si svolge solo una minima parte del programma d’esame), il mancato impiego di rating scales che consentano di rigorizzare la valutazione attraverso l’introduzione di descrittori della performance (completezza dei contenuti, livello di personalizzazione, correttezza lessicale, ecc.), la conseguente incapacità di utilizzare tutta la gamma delle votazioni disponibili (l’esame orale pone di fronte, in media, a un polarizzarsi delle frequenze dei voti tra la fascia alta – oltre il 26/30 – e l’invito a risostenere l’esame; nettamente meno frequente il ricorso a votazioni comprese tra il 18/30 e il 25/30). Quest’ultimo aspetto viene ovviato dall’adozione di prove oggettive scritte (i cui risultati, infatti, presentano una spalmatura dei voti sull’intera scala), che però richiedono in chi le eroga un livello di consapevolezza metodologica ancora maggiore. Di tale consapevolezza fanno parte: la scelta della tipologia di test da impiegare (multiple choice, a riempimento, matching, ecc.) in relazione con le competenze di cui si intende misurare l’acquisizione; la costruzione delle prove, che comporta un’attenzione agli aspetti strutturali e

19 B.M. Varisco, Tecnologie didattiche, apprendimento e valutazione, in D. Persico (a cura di), Atti del Convegno TED, Genova, febbraio 2001, pp. 220-231. 20 F. D’Agostini, Analitici e continentali. Guida alla filosofia degli ultimi trent’anni, Raffaello Cortina, Milano 1999.

lessicali della formulazione21; la dosatura del numero di domande complessivo in rapporto ai tempi previsti per la risposta; la determinazione dei criteri valutativi da adottare (adozione di standard, ponderazione del risultato in rapporto alla media delle risposte, ecc.). Si tratta di questioni ad elevato profilo tecnico che richiedono un approfondimento teorico e metodologico quasi sempre mancante e sostituito con la saggezza pratica che proviene dall’esperienza. La tradizione americana (che si può estendere a quei paesi come il Canada o l’Australia il cui modello di università è riconducibile a quello americano) presenta un quadro completamente differente. In esso la valutazione costituisce parte integrante del processo formativo, a pari titolo della lezione, della discussione in aula, della lettura personale di paper da parte dello studente. Proprio per questo, essa non è prevista solo al termine della trattazione di singole unità di programma o alla fine del corso, ma viene distribuita lungo l’intero percorso didattico anche in forma di proposte per l’autovalutazione (enfatizzando, in questo modo, la componente formativa rispetto a quella fiscale di un controllo della performance). Questa vocazione formativa della valutazione, propria del sistema americano, si può tradurre nell’indicazione di alcuni plus22 che questo tipo di valutazione può garantire al docente che la adotta e che si possono altresì pensare come altrettante ragioni in favore del valutare:

- grading. Evidentemente la misurazione dei risultati di apprendimento costituisce, anche nel caso della valutazione formativa, un aspetto importante; da essa dipendono sia l’attribuzione di punteggi che quantifichino in termini assoluti il raggiungimento degli obiettivi di apprendimento previsti (score), che la possibilità di introdurre criteri di scalarità per differenziare i rendimenti e individuare gli studenti cui garantire un sostegno cognitivo supplementare (ranking);

- feed-back mechanism. La valutazione costituisce un importante dispositivo di monitoraggio del processo di insegnamento/apprendimento: per il docente, che grazie ad essa può meglio orientare il proprio intervento, riprogettarlo in itinere, verificare che la sua didattica sia efficace; per lo studente, che a sua volta può rendersi conto in tempo reale dello stato del suo apprendimento, delle sue difficoltà, del tipo di lavoro che gli occorre svolgere;

- concept reinforcement. La valutazione costringe lo studente a riflettere su ciò che ha appreso favorendo la chiarificazione e la fissazione dei concetti;

- motivation. Scandire il percorso di apprendimento attraverso un’agenda di test consente di dettare allo studente i ritmi di apprendimento distribuendoli in maniera omogenea lungo tutto il corso senza incorrere in improduttivi periodi di overload in corrispondenza dell’esame;

- cultivation. Infine, collocarsi nella prospettiva della valutazione formativa significa anche abituare lo studente a uno stile di lavoro.

2.2. Perché valutare nella formazione on line? Alcuni degli elementi cui abbiamo appena fatto riferimento, che per la formazione tradizionale costituiscono dei fattori di valore aggiunto, nel caso dell’e-learning o comunque di processi formativi che in qualche modo transitano sulla Rete divengono una necessità. Si pensi, in particolare, al feed-back, alla motivazione e alla coltivazione. Ciascuno di questi aspetti risponde a delle precise criticità del lavoro didattico on line proponendosi, di conseguenza, come motivazione in favore della assunzione di quel modello intensivo di valutazione formativa che abbiamo visto rappresentare la “via americana” al valutare.

21 Una buona valutazione deve essere valid e reliable, cioè in linea con quanto insegnato e tale da evitare che i non frequentanti siano penalizzati nella possibilità risposta dal fatto di non aver potuto assistere alle lezioni. 22 Seguiamo qui le indicazioni di Susan M. Zvacek, responsabile dell’Instructional Development and Support della University of Kansas (On line assessment, paper presentato alla Blackboard Users Conference, Baltimore, febbraio 2003).

Il feed-back, anzitutto, è importante poiché nella formazione on line viene meno (totalmente o in parte) la presenza e questo comporta che in larga parte il soggetto che apprende debba gestire il proprio processo di apprendimento in autonomia rispetto a una classe o a un docente che gli consentano di tenere monitorato il proprio livello di comprensione dei contenuti che sono oggetto del corso. Certo, gli sarà possibile interagire con figure di tutor deputate proprio a tenerlo “agganciato” al corso e potrà raggiungere in posta elettronica il docente per domande e chiarimenti, ma indubbiamente la possibilità di usufruire on line di un articolato piano di prove valutative gli consentirà di tenere sotto controllo la situazione sfruttando meglio anche la possibilità di contattare il tutor e il docente. Anche la motivazione è funzione da ricondurre in larga parte al problema del venir meno della presenza fisica nel lavoro on line e, in particolare, alla percezione del discente di essere isolato rispetto ai suoi colleghi. Questa percezione, sia che evolva nella direzione di un senso di abbandono da parte del docente, sia che enfatizzi la mancanza del gruppo di riferimento (nonostante, magari, l’esistenza di un gruppo virtuale cui lo studente partecipa per discutere dei temi del corso e gestire attività collaborative), può incoraggiare il fenomeno del fading away, cioè del lento prendere le distanze dello studente dalle attività didattiche fino al loro fattivo abbandono. La valutazione, in questa prospettiva, favorisce l’ancoraggio al corso dei soggetti motivandoli e controbilanciando la spinta centrifuga prodotto dal lavoro in solitaria.; Infine, va notato come anche la coltivazione si possa ricondurre, a sua volta, a un importante aspetto del lavoro on line e cioè al fatto che esso si svolga in larga parte in maniera asincrona. Uno dei vantaggi della formazione on line, infatti, consiste nell’emancipare il processo di apprendimento non solo dalla frequenza di un luogo fisico (l’aula), ma anche dai tempi dell’insegnamento; questo la rende compatibile con attività lavorative o altri impegni che non consentirebbero, invece, la frequenza di attività formative tradizionali. Questo aspetto, che di per sé costituisce un vantaggio per lo studente, può però tradursi in una criticità nella misura in cui la disarticolazione totale delle attività di apprendimento da un minimo di organizzazione e il configurarsi di una situazione di esclusivo autoapprendimento potrebbero tradursi in ritmi e stili di lavoro assolutamente personalizzati e poco consoni alla produzione di un apprendimento efficace. La valutazione consente di ridurre l’impatto di questo fenomeno. Fattori Caratteristiche del lavoro on line Criticità Feed-back Autonomia degli apprendimenti Motivazione

Sganciamento spaziale, annullamento della presenza fisica Percezione di isolamento dello studente

Coltivazione Sganciamento temporale, lavoro asincrono Personalizzazione del lavoro Tabella 1 – Criticità dell’e-learning e ruolo della valutazione Nonostante si possa concordare sull’importanza dei fattori che abbiamo appena indicato, attorno all’opportunità di valutare on line si è acceso ben presto un animato dibattito (assessment debate) al centro del quale si sono subito individuati nella sicurezza e nella qualità i due temi-chiave23. A favore della valutazione on line vengono addotti almeno tre vantaggi: l’economia metodologica (nei principali LMS in commercio la pubblicazione on line di questionari e assignments richiede un dispendio minimo di energie da parte del docente; oltre a questo il LMS procede in automatico alla correzione degli elaborati, archivia i risultati, restituisce un feed-back allo studente); la flessibilità d’uso (facendo ricorso alle stesse modalità si possono generare prove ufficiali, mettere a disposizione test per l’autovalutazione, gestire cartelle individuali o condivise in cui allestire dei portfolios24); la riusabilità (i diversi items vengono archiviati dal LMS in una repository dalla quale è possibile, poi, ricuperarli secondo procedure randomizzate per generare i test; in questo modo,

23 Cfr. M. Crock, Griffith University, Queensland (Australia), paper presentato alla Blackboard Users Conference, Baltimore, febbraio 2003). 24 Torneremo tra poco su test e portfolios in quanto forme che la valutazione degli apprendimenti può assumere.

considerando che le combinazioni degli items sono moltissime e che la repository può essere aggiornata, si ottiene di alimentare indefinitamente il loro impiego). Tre sono anche le obiezioni principali che vengono opposte alla valutazione on line. Un primo problema è costituito dall’autenticazione dei dati personali e dalla identificazione del candidato. Infatti, se il test si svolge on line, nome e password dell’utente non sono sufficienti a garantire che sia proprio lo studente che in quel momento sta svolgendo il test (potrebbe, infatti, aver suggerito le sue coordinate di accesso a un amico che sta svolgendo il test al suo posto). Inoltre, anche se è lo studente che deve sostenere l’esame ad essere connesso, la mancanza della presenza fisica non consente a chi esamina di verificare che non vi siano altre persone ad aiutarlo o che egli non ricorra al supporto di libri, test già svolti, prontuari e altri simili strumenti. Una seconda questione è relativa alle competenze tecnologiche che sono richieste ai fini della compilazione on line delle prove e alle connesse complicazioni logistiche. L’accesso ai sistemi di on line assessment, infatti, presuppone che gli studenti abbiano potuto usufruire di un training al riguardo; inoltre, anche supponendo questo training e, di conseguenza, la perfetta conoscenza delle procedure, non si può escludere un margine di errore connesso proprio con le competenze tecnologiche e che quindi potrebbe incidere sul risultato della prova indipendentemente dalla volontà e dai meriti dello studente. A questo si deve aggiungere che, qualora si scelga di far svolgere le prove in presenza (tenendo conto dei rilievi appena ricordati sulla autenticazione del processo), occorrerà localizzare la sessione d’esame in un’aula computer con tutta una serie di problemi aggiuntivi di tipo logistico e organizzativo (se gli iscritti sono molti, essendo il numero di postazioni limitato, occorrerà prevedere delle sessioni parallele o successive con il problema di evitare il passaggio di informazioni se si intende impiegare lo stesso test e comunque con la necessità di provvedere un adeguato sistema di assistenza per garantire la regolarità dello svolgimento). Infine, occorre non dimenticare la questione della sicurezza dei dati. Anche in presenza della massima stabilità, essendo il LMS un software installato su un server, è sempre possibile che subisca gli inconvenienti che sono propri in generale dei prodotti informatici: si possono verificare problemi di funzionamento (il server potrebbe bloccarsi nel momento in cui il test si sta svolgendo compromettendo la trasmissione dei dati dalle postazioni degli studenti all’archivio elettronico in cui vengono immagazzinati), di connessione (la rete potrebbe essere particolarmente lenta o, addirittura, non concedere l’accesso all’area di test), di perdita dei dati (per qualche ragione l’archivio in cui i dati sono conservati potrebbe subire danni non consentendo più l’accesso alle prove e ai loro risultati), di protezione dell’accesso (come in tutti i sistemi informatici, anche in questo caso i dati sono esposti al rischio della violazione, della contraffazione, del danneggiamento intenzionale). Elementi a favore della valutazione on line Obiezioni contro la valutazione on line Economia metodologica Identificazione del candidato, autenticazione dei dati Flessibilità d’uso Incidenza delle competenze tecnologiche Riusabilità di items e test Sicurezza dei dati Tabella 2 – I contenuti dell’assessment debate 2.3. Modalità e strumenti della valutazione on line La ponderazione delle questioni sintetizzate in tabella 2 costituisce sicuramente uno dei punti di attenzione del docente nel momento in cui decide di prendere in considerazione l’ipotesi di ricorrere

alla valutazione on line25. Gli altri due punti di attenzione dovranno consistere nella determinazione dei suoi obiettivi di valutazione e nella conseguente pianificazione delle attività valutative in relazione con gli effetti che grazie ad esse si intende produrre (quali attività per rinforzare i contenuti? Quali per fornire feed-back? Quali per motivare? ecc.). Queste attività si possono opportunamente catalogare in tre gruppi che si ritagliano sullo sfondo di due principali approcci alla valutazione: la valutazione tradizionale, più vicina come sensibilità a paradigmi didattici di impostazione istruzionista, e la valutazione alternativa, che invece si riconosce pienamente nei recenti orientamenti costruttivisti. Il primo gruppo di attività, pienamente inserite nell’approccio tradizionale, è costituito da test ed esami. Al secondo gruppo appartengono paper e project works. Queste attività (che consistono nello svolgimento di un tema a partire da una bibliografia assegnata e nella realizzazione di un progetto che chiedendo di operazionalizzare le conoscenze acquisite consente al docente di verificarne l’effettiva acquisizione), pur già presenti nell’approccio tradizionale alla valutazione (soprattutto in area americana) continuano a essere significative anche in una prospettiva costruttivisti. Decisamente proprie di quest’ultimo approccio, invece, sono attività come i portfolios (cioè cartelle entro cui lo studente raccoglie le produzioni effettuate durante il corso), i collaborative group works (che trasferiscono la progettazione dal livello individuale a quello di gruppo), le embedded activities (attività, cioè, che come la simulazione, richiedono il coinvolgimento attivo del soggetto). Portfolios

Test Paper Collaborative group works

Esami Project works Embedded activities

Valutazione tradizionale Valutazione alternativa Figura 3 – Attività di valutazione tradizionali e alternative Tutte queste attività, che si possono svolgere anche nella formazione tradizionale, non supportata dalle tecnologie didattiche, trovano nell’ambiente tecnologico dei LMS un nuovo e più produttivo spazio di applicazione grazie alle possibilità di interazione che questo tipo di ambiente consente e all’immediatezza del feed-back che attraverso di esso è possibile restituire allo studente. Per una proficua catalogazione degli strumenti di valutazione in ambiente e-learning è utile distinguere tra quizzing tools, discussion tools e chatting sessions. I quizzing tools sono sistemi che, attraverso la compilazione di una semplice maschera, consentono di generare qualsiasi tipo di test, sia a risposta chiusa che aperta, soddisfacendo di fatto tutte le esigenze dell’approccio tradizionale alla valutazione che ricorre ai test per misurare gli apprendimenti. Questi sistemi facilitano in particolare il rinforzo dei contenuti grazie alla possibilità

25 Più in generale questo punto di attenzione dovrebbe essere il primo in agenda anche per l’Università che decide di incamminarsi in maniera decisa sulla via dell’e-learning. Questo punto in particolare costituisce, da questo punto di vista, una delle spinte più forti a riscrivere i regolamenti didattici di ateneo.

di impiegarli a supporto dell’autovalutazione dello studente con il valore aggiunto di poter garantire allo studente un feed-back in ordine alle proprie risposte. Un valido supporto alla valutazione tradizionale viene anche dalle chatting sessions che, oltre che per l’esame, si possono utilizzare anche per il ricevimento virtuale dello studente e per la verifica retrospettiva dei risultati dei test. In sostanza, la sessione di chat – soprattutto se sostenuta dalla comunicazione audio – surroga il momento del colloquio consentendo di verificare non tanto il possesso dei contenuti (più produttivo il test a questo proposito) quanto la capacità dello studente di organizzarli in modo personale all’interno di una conversazione a tema. A differenza dei quiz, la chat presenta dei vincoli (richiede una logistica real time e, quindi, che venga definita all’interno del corso un’agenda delle sessioni) e necessita di molta pratica, sia nel docente che nello studente. In particolare, al di là della velocità di battitura del testo sulla tastiera che in questi casi risulta determinante (di qui l’utilità dell’audio), è fondamentale creare dei protocolli di partecipazione che disciplinino i turni di parola e le fasi della sessione. Per quanto riguarda i discussion tools, essi si avvalgono in particolare del forum e della posta elettronica come strumenti al servizio della valutazione e consentono di dare applicazione a tutte quelle attività di valutazione che abbiamo visto iscriversi dentro i nuovi approcci alla valutazione caratterizzati dal paradigma costruttivista. Più precisamente, la posta elettronica consente al docente di rivolgere domande private allo studente, di riceverne risposte individualizzate, di chiarire aspettative riguardo alle risposte date. Si tratta di una modalità di lavoro funzionale alla gestione dei project works o all’accompagnamento della produzione di un paper che, sempre in posta elettronica, può essere facilmente inviato (in attachment) e archiviato, vuoi in una repository accessibile a tutti gli studenti, vuoi nel folder personale dello studente che diviene lo spazio naturale di organizzazione del suo portfolio. La gestione di paper e project works è possibile anche all’interno di un forum che, rispetto alla posta elettronica, ha il vantaggio di essere accessibile a tutti gli studenti rendendo così visibile ogni fase della stesura. Grazie a questa visibilità il docente può invitare ogni studente ad assumere funzioni da tutor (fornendo suggerimenti utili ai colleghi per la redazione dei loro lavori) o da amico critico (individuandone limiti concettuali ed errori metodologici): in questo modo, la discussione diviene uno spazio di osservazione molto importante ai fini della verifica non solo degli apprendimenti, ma anche di metacompetenze (analisi critica di un testo, giudizio metodologico, ecc.) difficilmente registrabili altrimenti. Al di là della gestione di queste attività, lo spazio di forum consente di supportare al meglio il collaborative group work. Alcuni LMS (come Blackboard), prevedono infatti tra le loro funzioni l’attivazione di group pages all’interno delle quali è possibile iscrivere solo gli studenti che fanno parte di un determinato gruppo di lavoro. Queste pagine mettono a disposizione dei componenti del gruppo: un’area di doc sharing, che consente di condividere materiali utili alla progettazione; una chat del gruppo, che può essere utilizzata per il brainstorming o per prendere decisioni; un’area di forum del gruppo all’interno della quale vengono, invece, gestite le attività che richiedono una maggiore ponderazione come quelle che accompagnano la genesi critica del progetto. Questo tipo di ambiente è ideale per la valutazione di processo: il docente, infatti, vi può osservare complessivamente i diversi livelli di operazionalizzazione delle competenze acquisite nello studio e delle expertises maturate lungo il corso in maniera tanto più significativa quanto più la group area riproduce situazioni della vita professionale reale, basate su problemi e sulla capacità di lavorare in team. Come si capisce, dunque, in ambiente e-learning sono disponibili modalità di lavoro e strumenti tali da consentire attività valutative che spaziano lungo l’intera gamma delle attività previste tanto all’interno della valutazione tradizionale che in quella alternativa. L’efficacia della loro adozione dipende dal controllo di alcune variabili critiche, in modo particolare: l’attenzione a fornire allo studente opportunità abbondanti (per evitare quello che gli americani chiamano la “one chance pressure”, lo stress da occasione unica) e variate (così da ridurre la possibilità che un certo tipo di

prova riduca l’eventuale impatto su uno studente che, per suo stile cognitivo, non la ritiene congeniale). 3. Valutare la qualità, i bisogni, le tendenze Per definire la valutazione non tanto degli apprendimenti degli studenti, quanto piuttosto del modo in cui il corso è progettato, realizzato e gestito, la lingua inglese utilizza un termine specifico, evaluation. Nel nostro paese si può ovviare alla mancanza di un termine specifico in diversi modi: o si parla di meta-valutazione, chiarendo che l’atto del valutare in questione non è “interno” all’attività formativa (come quando si valuta la performance dello studente), ma “esterno”, riguardando le diverse componenti di cui il corso è composto (architettura formativa complessiva, confezionamento dei materiali, gestione dell’interazione, ecc.); in alternativa si può parlare di valutazione di processo, facendo riferimento al fatto che ciò che si valuta non sono singoli comportamenti ma l’intera unità corsuale nelle sue componenti sia statiche che dinamiche (peraltro, facendo questa scelta, si crea confusione con la valutazione degli apprendimenti che, nella prospettiva del costruttivismo, tende anch’essa ad essere pensata nei termini di una valutazione di processo); infine, si può fare ricorso a valutazione di qualità, alludendo a una logica di monitoraggio che nella formazione on line occorre assumere per esercitare un controllo sulla bontà dell’intero della formazione (impianto, allestimento, gestione) rispondendo a diverse logiche (soddisfazione dell’utente, ritorno di investimento, ottimizzazione dell’offerta). Qualsiasi dizione si scelga di adottare, quella del monitoraggio di qualità è una logica che nella gestione di corsi on line, in università, non può non essere assunta. Questo significa disporre di un’équipe di valutazione che disponga di competenze tanto sul versante tecnologico e didattico (uno degli obiettivi del monitoraggio è la riprogettazione finalizzata al miglioramento dell’offerta), quanto su quello della ricerca (in particolare si tratterà di saper gestire strumenti quantitativi come il questionario, e qualitativi, dall’osservazione partecipante, al focus group, all’intervista in profondità). Per capire come la logica del monitoraggio possa integrarsi dentro un’università impegnata nella erogazione di corsi on line crediamo sia utile procedere a una case history26. Si tratta della Durham University, università inglese fondata nel 1832 con circa 12.000 studenti (di cui 9.400 graduate e 2.400 pos-graduate) e 670 docenti. Impegnata nell’erogazione di corsi on line, la Durham University ha creato per gestirli un portale interno dell’e-learning – DUO (Durham University On line27) – : da questo portale è possibile l’accesso al LMS adottato dall’università che, come nel caso dell’Università Cattolica, è Blackboard. Il LTTeam (Learning and Teaching Team) è il Centro che in ateneo gestisce sia l’implementazione dei corsi, che il training di docenti e studenti, che il monitoraggio delle attività on line28. 3.1. Fattori di successo dell’ICT nell’apprendimento Collis e Moonen29 individuano quattro principali fattori di successo dell’ICT nello sviluppo degli apprendimenti:

- usability

26 Cfr. anche l’esperienza di UC su CEPADUME: 27 In Internet, URL: http://www.duo.dur.ac.uk. Si può accedere all’area riservata inserendo la parola “duoguest” sia come user id che come password. 28 In Internet, URL: http://www.dur.ac.uk/its/ltteam. Le informazioni che in questo paragrafo vengono rielaborate sono ricavate dal paper presentato dalla direttrice del LTTeam, Barbara Watson, alla Users Blackboard Conference di Baltimore. 29 B. Collis, J. Moonen, Flexible Learning in a Digital World, Kogan Page, London 2001.

- environment, - engagement, - effectiveness.

La usabilità ha a che fare con la tecnologia e si traduce, nell’organizzazione che adotta l’ICT a sostegno degli apprendimenti, in alcuni fattori molto importanti: la disponibilità (che significa chiedersi se tutti gli studenti hanno a disposizione un PC e predisporre accordi con i produttori per consentirne l’acquisto a un prezzo accessibile), l’accesso (vale a dire la possibilità di accedere ai servizi di rete sia in domestico che dall’università – in questo caso si potranno predisporre delle convenzioni con i provider di servizi Internet per ottenere condizioni vantaggiose per la connessione e si dovrà prevedere un numero sufficiente di postazioni Internet accessibili agli studenti dall’università), il supporto (importantissima la presenza di un servizio di supporto a studenti e docenti per la soluzione di problemi tecnici relativi sia all’installazione che all’uso del software). Parlare di environment significa fare riferimento a tutti quei fattori che, all’interno dell’università, decidono del successo dell’organizzazione nell’integrazione dell’ICT e cioè:

- vision, la capacità di avere una prospettiva globale su tutto il processo avendo ben chiari obiettivi di sviluppo e coordinate generali di azione;

- questa idea chiara del piano generale di sviluppo dell’ICT si traduce poi nella capacità di operare scelte strategiche (strategy) che consentano di renderlo operativo;

- infine, a sostegno sia della vision che della strategia attraverso la quale pilotarne l’operazionalizzazione, occorre che vengano definite adeguate linee di azione per il finanziamento (funding).

L’engagement costituisce un altro fattore molto importante. Esso dipende dal grado di coinvolgimento personale degli studenti e, soprattutto, dei docenti, dal rapporto che l’ICT intrattiene con le loro convinzioni in materia di apprendimento, dai livelli di confidenza che ne caratterizzano l’impiego. L’effectiveness, infine, va posta in relazione con la capacità dell’ICT di risolvere problemi didattici, di garantire nuove forme di apprendimento, di fornire un adeguato supporto ai curricoli esistenti. Ciascuno di questi quattro fattori consente di individuare altrettante aree per sviluppare il monitoraggio della qualità: come si può facilmente capire, posto che la vision è una condizione essenziale e che la usability deve essere garantita, le due aree che riguardano il coinvolgimento di studenti e docenti e gli usi didattici sono quelle più interessanti e significative. 3.2. Il monitoraggio dell’efficacia didattica dell’ICT alla Durham University La Durham University, oltre ad allestire altre survey (ad es. un questionario sulle competenze tecnologiche in entrata di studenti e docenti), ha condotto nell’ultimo anno accademico, 2002-2003, un monitoraggio che ha coinvolto studenti e docenti per un campione di 2656 rispondenti. L’obiettivo del questionario era quello di verificare se l’adozione di Blackboard – cioè di una piattaforma per la on line education dotata di tutti gli strumenti utili alla gestione delle informazioni e alla comunicazione sincrona e asincrona – avesse giovato all’insegnamento e all’apprendimento e come. Indichiamo di seguito alcuni degli elementi più significativi in ordine alle pratiche del docente così come sono emersi dall’indagine. Il 69% dei docenti sostiene che Blackboard non ha cambiato la loro didattica, ma l’ha resa sicuramente migliore. Il docente, cioè, nella maggioranza dei casi, non è spinto dall’adozione di un LMS a rivedere le sue didattiche avviando un percorso di riflessione critica su quel che abitualmente fa, ma percepisce comunque che gli strumenti tecnologici gli consentono di fare meglio quanto già faceva. Come suggeriscono Collis e Messing, «i docenti preferiscono iniziare a scegliere tra gli aspetti di un sistema piuttosto che riflettere sul loro modo attuale di insegnare, e poi

gradualmente muovere verso nuovi approcci didattici e nuove soluzioni»30. In sostanza, l’indicazione che emerge è che, piuttosto che promuovere nei docenti lo sviluppo di processi metacognitivi volti a far assumere loro consapevolezza di cosa funziona e non funziona nel loro modo di fare didattica, pare più produttivo favorire il loro incontro con le possibilità offerte dall’ICT per generare, attraverso la sperimentazione anche molto iniziale di queste possibilità, la motivazione a conoscere nuovi approcci e nuove metodologie di lavoro didattico. Quanto a eventuali differenze di genere o di appartenenza disciplinare, i risultati del monitoraggio non evidenziano differenze di risposta e di comportamento tra docenti uomini e donne, mentre invece è chiaro il dato che indica come il Science Staff abbia familiarizzato più facilmente con la tecnologia rispetto allo Staff of Arts: questa differente disposizione all’uso della tecnologia, tuttavia, non si traduce poi in differenze di rilievo nella valutazione di efficacia del LMS che trova concordi gli uni e gli altri. Anche in questo caso ci si trova di fronte a un dato interessante: l’ICT non evidenzia, nella didattica universitaria, stili di approccio “femminili” o “maschili”, come non autorizza considerazioni generalizzanti sulla relazione tra competenza disciplinare e competenza tecnologico-didattica. Interessante notare, infine, la distribuzione percentuale delle preferenze per le diverse aree e i diveri strumenti di Blackboard:

- il 70% dei docenti indica, come più utilizzata, la information area, cioè l’area che consente di gestire gli avvisi agli studenti, di comunicare indicazioni relative al programma del corso e agli adempimenti in vista dell’esame e di rendere disponibili dei documenti; a quest’area viene ricondotta anche la posta elettronica nella misura in cui essa consente al docente un ulteriore potenziamento del servizio di avvisi (essendo tutti gli studenti del corso iscritti in Blackboard, il docente, attraverso la posta elettronica, può raggiungerli tutti con avvisi generali, contattarne solo alcuni per questioni particolari, rivolgersi al singolo studente per problemi specifici);

- il 43% indica l’utilità della staff information area, cioè dell’area in cui vengono gestite le informazioni utili a conoscere e a contattare l’équipe didattica che si occupa dello svolgimento del corso (docente, esercitatori, esperti, ecc.);

- il 35% ritiene utile poter segnalare agli studenti dei link a risorse in Rete per l’approfondimento;

- il 15/18% segnala l’utilità dei forum; - il 9/12% l’utilità della chat e degli assessment tools.

Come si può vedere i dati sono interessanti. Essi evidenziano, anzitutto, la prevalenza di un’idea dell’ICT come qualcosa di utile a rendere disponibili e a reperire informazioni piuttosto che a produrre comunicazione. Si tratta di un dato confermato anche dal monitoraggio della didattica effettuato in Università Cattolica e che probabilmente si può spiegare anche con la maggior diffusione tra i docenti di paradigmi istruzionisti in cui il focus dell’insegnamento è appunto il transfer di conoscenza piuttosto che di approcci costruttivisti convinti che, invece, la conoscenza sia qualcosa da co-costruire insieme con gli studenti. Inoltre, come si può vedere dal dato riguardante l’impiego degli assessment tools, i docenti non dimostrano di ritenere la valutazione un momento importante della didattica on line confermando quella divaricazione tra le pratiche di valutazione nelle università americane ed europee che sopra ricordavamo. Tutto pare in sostanza confermare il prevalere della tradizione sull’innovazione: il fatto di lavorare in ambiente telematico avendo a disposizione un LMS come Blackboard non produce nella didattica dei docenti delle radicali trasformazioni ma si integra in essa offrendo alle abitudini consolidate del docente una nuova possibilità di applicazione. Se questo non sembra essere un risultato straordinario in termini di innovazione, va tuttavia registrato che anche solo questa rideclinazione di pratiche consolidate secondo i nuovi formati tecnologici ha il merito di promuovere un primo spostamento dal già noto avviando il graduale aggiornamento dell’insegnamento e degli apprendimenti. 30 B. Collis, J. Messing, Usage, attitudes and work hood implication for a web-based learning environment, «Association of Learning Technology Journal», 1, 2001, p.9.

La conferma di questo dato – e del fatto che l’introduzione dell’ICT nella didattica non sia stata ininfluente – viene dalle risposte a un gruppo di domande del questionario volte a registrarne l’accoglienza da parte dei docenti. Da queste risposte si ricava che comunque Blackboard ha ottenuto un radicamento in università (i docenti non riuscirebbero più a concepire la loro didattica senza il LMS), che i docenti hanno incrementato proprio in ragione di questo radicamento la loro collaboratività, che il livello di credito che docenti e studenti riconoscono al sistema DUO è alto. 3.3. Bisogni e tendenze Proprio quest’ultimo rilievo relativo al credito che studenti e docenti della Durham University riconoscono al programma messo a punto dall’Università per incrementare la cultura ICT in ateneo consente di cogliere la possibile estensione dei compiti della valutazione dal monitoraggio di qualità del processo formativo avviato verso una più ampia considerazione dei bisogni e delle tendenze che a questo riguardo maturano e si fanno presenti. È questo il compito delle survey il cui obiettivo non è più tanto quello di verificare in che misura gli usi della tecnologia siano appropriati alle possibilità che essa riserva per la didattica, quanto piuttosto di ottenere informazioni varie sulla presenza degli utenti (docenti e studenti) nelle diverse aree del LMS. Così si possono impiegare survey per: studiare l’attività partecipativa degli studenti nelle community, per verificare le tipologie di lavoro che si sviluppano all’interno dei gruppi virtuali, per capire come viene perseguita dagli studenti al ricerca delle informazioni utili ai loro apprendimenti; ancora, si possono utilizzare survey per verificare il gradimento in ordine ai tirocini oppure per ottenere informazioni sulla soddisfazione e la performance degli studenti per area disciplinare o mettendo a confronto i dati relativi a corsi seguiti on line e face ti face. Lo scopo di questo tipo di indagini è duplice: da una parte esse forniscono un ulteriore contributo di conoscenza a coloro che in ateneo si occupano di tecnologie e didattica circa gli usi reali dei sistemi da parte dei docenti e degli studenti; inoltre, aiutano a fare scelte in prospettiva a livello di adozione del software, di training e di budget. Una buona analisi sugli aspetti di metodo relativi alla somministrazione di questo tipo di survey viene fornita da Karen H. Bonnell, direttore degli Instructional Technology Services della University of Southern Indiana e professore di comunicazione presso la stessa università31. Le domande cui la Bonnell cerca di trovare risposta sono quattro:

- cosa sapere? - come disegnare i questionari? - a quali indicazioni operative attenersi? - quali i limiti della ricerca?

Per quanto riguarda il “cosa sapere”, sia in ordine ai docenti che agli studenti, l’attenzione dovrà cadere: sul profilo degli utilizzatori (chi sta usando i corsi on line?) e dei non utilizzatori (chi e perché non sta usando i corsi on line?); sulle modalità di utilizzo degli strumenti (che tipo di frequenza di accesso si registra? E che grado di facilità d’uso?); sulla soddisfazione e sui bisogni nei confronti della tecnologia (cosa viene impiegato e cosa non serve? Cosa servirebbe e invece non è disponibile? Quali bisogni vi sono in ordine al training che prepara all’impiego degli strumenti?); sulla percezione globale del significato della tecnologia in funzione dell’insegnamento e degli apprendimenti.

31 K.H. Bonnell, …, paper presentato alla Blackboard Users Conference, Baltimore, febbraio 2003. In Internet sono disponibili i risultati di una ricerca condotta nell’estate del 2000 presso la University of Southern Indiana riguardo alle pratiche d’uso degli strumenti per la didattica on line da parte di docenti e studenti. Il report della ricerca si può consultare in Internet, URL: http://online.usi.edu. Per ottenere l’accesso occorre inserire “bbuserconf” come user identification e come password. Nello stesso sito sono disponibili i questionari utilizzati per la ricerca e gli strumenti per importarli e personalizzarli sul proprio server. Esperienze interessanti a livello di survey sull’uso delle tecnologie didattiche sono state condotte anche dalla Northwestern State University della Louisiana e dal College of Education della Pittsburgh State University.

Per ottenere un risultato efficace i questionari vanno disegnati seguendo alcune linee operative. La Bonnell, a titolo esemplificativo, indica le seguenti: - ricorrere a un numero contenuto di domande (questionari lunghi, soprattutto se somministrati più volte nel corso dell’anno accademico, possono abbassare il livello di attenzione e di motivazione nella compilazione falsando i dati che attraverso di essi è possibile raccogliere); - coinvolgere gli stakeholders nella costruzione degli items; - curare la redazione in modo da assicurare la facilità di compilazione; - garantire sempre l’anonimato; - restituire i risultati in un tempo ristretto per mantenerne la significatività. Queste attenzioni si possono ricomprendere all’interno di un più ampio quadro di indicazioni operative che sono funzionali a un corretto impiego delle survey, come ad esempio: - la pubblicità dei risultati a livello di report da rendere disponibile a studenti e docenti; - l’azione di supporto alla pubblicazione con la finalità di invitare i destinatari a ritenere questi risultati significativi; - la creazione di uno spazio di community all’interno del quale gli utenti possano discutere di questioni relative all’impiego della tecnologia; - la socializzazione dello studente (e del docente) all’idea che questo tipo di indagine non è accessoria ma costituisce parte integrante della ricerca di miglioramento degli standard della didattica e dell’apprendimento. Chiaramente l’uso delle survey fa registrare dei limiti. Anzitutto esclude gli studenti e i professori che non sono utenti del LMS entro il quale i corsi on line sono sviluppati: si tratta di un inconveniente ovviabile nella misura in cui si persegua l’obiettivo di garantire la presenza di tutti i docenti e gli studenti nel LMS, ma realisticamente occorre avere consapevolezza che si tratta di un obiettivo di difficile realizzazione (infatti, anche qualora fosse garantita l’iscrizione di tutti gli utenti, questo non sarebbe sufficiente a garantirne perciò stesso la presenza attiva). Un secondo limite è costituito dal fatto che le risposte che si ottengono a questo tipo di survey sono generali e non suddivise per singolo corso. Quello che se ne ricava, dunque, è la rappresentazione degli orientamenti medi all’interno dell’Università senza la possibilità di verificare dove risiedano le zone di eccellenza e dove, invece, quelle che necessitano di una forte azione di supporto e promozione. Infine – e questo fattore completa in un ceto senso il precedente – da una parte i rispondenti si autoselezionano, di fatto, in automatico non consentendo la costruzione di campioni rappresentativi, dall’altra i dati ottenuti non sono di fatto esportabili per analisi più raffinate. Si tratta di limiti che è bene avere presenti in modo da ridurne l’impatto anche attraverso una dosata calibratura degli obiettivi dell’indagine che si intende condurre. 4. Un’agenda per la valutazione dell’ICT nella didattica universitaria A conclusione delle analisi condotte in queste pagine è utile procedere a una ricomposizione entro un quadro di sintesi del nostro campo di indagine (tabella 3) e a qualche indicazione operativa ai fini della costruzione di una agenda dei temi rilevanti per impostare correttamente il rapporto tra ICT e valutazione nella didattica universitaria. Valutazione Attività Strumenti Obiettivi

Test Quizzing tools Possesso dei contenuti Esami Chatting sessions Organizzazione dei

contenuti Paper, project works Discussion tools Operazionalizzazione dei

contenuti

Degli apprendimenti

Portfolios, collaborative groupworks, Discussion tools, group Metacompetenze,

ecc. pages competenze professionali, capacità di soluzione di problemi in contesto.

Usabilità Disponibilità, accesso, supporto

Environment Vision, strategy, funding Engagement Coinvolgimento,

convinzioni, condfidenza

Della qualità

Effectiveness

Questionario, osservazione, focus groups, interviste

Nuove forme didattiche, supporto ai curricoli, apprendimenti

Dei bisogni e delle tendenze

Survey Questionario, focus groups Bisogni e tendenze

Tabella 3 – Modi e forme della valutazione del rapporto tra ICT e didattica in università Isoliamo a questo riguardo almeno quattro questioni che riteniamo molto importanti, vale a dire: le modalità di svolgimento degli esami, la riconfigurazione del lavoro del docente, il ruolo strategico del training, l’importanza di una funzione di coordinamento. Lo svolgimento dell’esame - esame in presenza, esame a distanza; soluzioni nazionali e internazionali (UOC, UNED, DM Stanca-Moratti); un correttivo nella valutazione di processo (la conoscenza del tutor, la riconfigurazione del test come uno degli aspetti del valutare); sicuramente potenziare la parte di autovalutazione. Dal docente singolo all’équipe - la valutazione è così sofisticata e accurata da non poter essere seguita dal singolo, soprattutto sui grandi numeri. L’importanza del training - La funzione di coordinamento - Una commissione per la valutazione (CES e CTS)