Problemi e tecniche del testing online

(parte I)

Gianfranco Porcelli

Pavia, 4 febbraio 2010

Archimede e il Testing(ciò che si guadagna in forza si perde

in movimento)

Oggettività e realismo

• Ciò che si guadagna in oggettività si perde in realismo

• Le capacità di interagire nelle reali situazioni di comunicazione si possono osservare solo nelle reali situazioni di comunicazione

Ansia da test

La bella notizia

Clever…

Verare e falsare

Bleah!

Non solo Linus / 1

Non solo Linus / 2

La verifica del profitto come comunicazione

• Tre termini cruciali:– Verifica– Profitto– Comunicazione

La verifica del profitto come comunicazione

• Verifica e valutazione

• La ‘misurazione’

Verifica Valutazione

Verifica

Valutazione

Performance

Persona

Insegnante Consiglio di classe

La verifica… (1: di che cosa?)

• Oggetto della verifica è la performance, ciò che lo studente “esterna”, come indice e campione della competence:

a) indice, perché può condurre a intuire processi mentali e abilità complesse;

b) campione, perché ogni prova di controllo non può che selezionare alcune abilità, competenze, aree lessicali...

Input, Intake, Output

INPUT INTAKE OUTPUT

Grammatica e lessico

• Se si parte da un’ottica comunicativa si scopre allora che per capire un testo la grammatica serve a poco …

• … il lessico molto di più!– Il Lexical Approach (1993)

• Chi viaggia all’estero si porta una grammatica o un dizionario?

• E allora, perché tendiamo a ragionare come se imparare una lingua fosse impararne la grammatica?

Grammatica dell’aspettativa e testing pragmatico

• Le prove pragmatiche mettono in gioco le competenze testuali– - in particolare la capacità di capire un testo

facendo anticipazioni corrette

• Oller (1979) cita anzitutto il dettato per l’orale e il cloze test per lo scritto, ma anche la traduzione e altre forme di parafrasi sono incluse tra le prove pragmatiche

La verifica… (2: quali parametri?)

• La accuracy, in termini di correttezza a livello fonetico, grammaticale e lessicale

• La fluency, intesa come capacità di comunicare non necessariamente in modo totalmente accurato

• La comprensione interculturale, grande obiettivo di fondo da non dimenticare– però nei test tende a sparire– il backwash o washback

Coerenza delle verifiche

con il metodo adottato: un testing di matrice strutturalista non è compatibile con approcci comunicativi e/o umanistico-affettivi;

con gli obiettivi della verifica.

• Senza tale coerenza il test è privo di VALIDITA’VALIDITA’.

Validità dei test

• Definizione: capacità di un test di verificare ciò che intende verificare e nient’altro.– Test “di intelligenza” o “di lingua” ?

Parametri della validità:– Pertinenza;– Accettabilità;– Comparabilità;– Economia.

...del profitto...

CALIBAN:

You taught me language, and my profit on’t

Is, I know how to curse; the red plague rid you,

For learning me your language!W. Shakespeare, The Tempest, I, ii,

363

[Italiano lingua seconda per i colf, 1611]

…come comunicazione.

a) coerente con un approccio comunicativo;

b) come comunicazione operativa di obiettivi.

Misurare: si può?

• Unità di misura

• Lo zero

• Gauss e “distanze relative”– la statura– il reddito

• Misurare, in senso stretto, non si può.

Il voto come comunicazione

• I numeri (e le medie)• Gli aggettivi• Le lettere

– ma oggi...

• ...e ancor più, sperabilmente. domani:• il PORTFOLIO (e dintorni: passaporto,

ecc.) come documentazione di ciò che si sa fare

• “I have no Italian” – essere padroni di una lingua (sapere non è possedere)

Statica o dinamica?

• quattro giorni fa: 40°• tre giorni fa: 39°• l’altro ieri: 37°• Ieri: 36°

• oggi… ?

La distribuzione normale delle frequenze

• Ovvero, anche il caso ha le sue regole

Poligono frequenze 1 dado

0

0,2

0,4

0,6

0,8

1

1,2

0 1 2 3 4 5 6

1 dado

Poligono frequenze 2 dadi

0

1

2

3

4

5

6

7

2 3 4 5 6 7 8 9 10 11 12

2 dadi

Poligono frequenze 3 dadi

0

5

10

15

20

25

30

3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

3 dadi

Poligono frequenze 3 dadi

0

5

10

15

20

25

30

3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

3 dadi

Poligono frequenze 4 dadi

0

20

40

60

80

100

120

140

160

4 dadi

Poligono frequenze 5 dadi

0

100

200

300

400

500

600

700

800

900

5 dadi

Poligono frequenze 6 dadi

0500

100015002000250030003500400045005000

6 dadi

Corollario 1

• Di sicuro il voto in decimi non è un’unità di misura: la distanza tra il voto 2 e il voto 3 è pressoché inesistente (in molti casi, sono entrambi sinonimi di “insufficienza gravissima non dovuta solo a difficoltà di apprendimento”); la distanza tra 5 e 6 è enorme, come attesta l’abbondanza di valori intermedi come 5+, 5½, 5/6, 6=, 6- eccetera.

Corollario 2

• L’analisi di questi voti, così come sono comunemente usati, ci indica che ne bastano cinque (dal quattro all’otto) per coprire la gamma di giudizi da “prestazione pessima” a “prestazione ottima”, mentre agli altri viene aggiunta una connotazione aggiuntiva non limitata al profitto: da una parte una punizione o una sanzione morale per negligenza, scarso interesse o altro; dall’altra un elogio o un premio.

• In questo i voti si differenziano nettamente dai punteggi dei test, che fanno riferimento esclusivamente all’esecuzione della prova e al risultato conseguito in termini di risposte esatte.

Corollario 3

• Sempre più diffuso ma altamente deprecabile è l’uso delle percentuali con un numero esiguo di soggetti: avviene di leggere, ad esempio, che gli studenti che hanno raggiunto un dato livello sono aumentati dal 57,14% al 64,28% e poi si scopre che il miglioramento riguarda uno studente in un gruppo di 14 soggetti.

• L’apparente scientificità è un mascheramento del vero.

Norma e Criterio• “Norma”: riferimenti interni.

– Il richiamo alla “norma” è un raffronto con i livelli medi di profitto riscontrabili in una classe (è un raffronto possibile, in qualche misura, per lo

scolaro).

• “Criterio”: riferimenti esterni – Il richiamo al “criterio” è un raffronto con

parametri esterni — ad esempio, quelli offerti dal Quadro Comune Europeo di Riferimento (è un raffronto di norma impossibile per lo

scolaro).

La “sufficienza”

• Sufficienza “assoluta” o “criteriale” (p. es. con riferimento alle esigenze di un’azienda);– “dieci euro sono sufficienti?”– criterio: il bene o servizio da acquistare

• Sufficienza “relativa” o “normale”, ossia scolastica– “mio figlio è sufficiente?”– criterio: le attese dell’insegnante.

Conoscenza delle lingue...

• Ottima... • Sufficiente... • Scolastica...

Scale di valutazione

• La “scala di valutazione generale” secondo B.J. CARROLL, Testing Communicative Performance, Oxford, Pergamon, 1980.

• Il two-tier system e le certificazioni.

9. Utente esperto.

• Comunica con autorevolezza, accuratezza e stile. Completamente a proprio agio nell'inglese idiomatico e specialistico.

8. Utente ottimo.

• La presentazione dell'argomento è chiara e logica con buono stile e una chiara percezione degli indicatori di atteggiamento. Si avvicina spesso alla competenza bilingue.

7. Utente buono.

• Sa affrontare la maggior parte delle situazioni in un ambiente anglofono. Lapsus occasionali e limitazioni nel linguaggio non impediscono la comunicazione.

6. Utente competente.

• Malgrado sappia far fronte alla maggior parte delle situazioni che probabilmente dovrà affrontare, è un po' carente nella scorrevolezza (fluency) e nell'accuratezza e occasionalmente incorrerà in fraintendimenti o errori significativi.

5. Utente modesto.

• Sebbene in genere riesca a comunicare, spesso usa un linguaggio non accurato o improprio.

4. Utente marginale.

• Manca di stile, scorrevolezza e accuratezza; non è facile comunicare con lui, l'accento straniero e la scarsa padronanza del codice provocano fraintendimenti. In genere se la cava senza gravi intoppi.

3. Utente estremamente limitato.

• Non possiede una conoscenza operativa della lingua dell'uso quotidiano, ma è migliore di un principiante assoluto. Né le abilità produttive né quelle ricettive permettono una comunicazione continuativa.

2. Utente intermittente.

• Esecuzione ben al di sotto del livello di conoscenza operativa della lingua dell'uso quotidiano. La comunicazione si instaura solo sporadicamente.

1/0. Non utente.

• Può non riconoscere con sicurezza quale lingua si stia usando.

Descrittori Produzione Scritta A

• A1 - So scrivere una breve e semplice cartolina, per es. per mandare i saluti dalle vacanze. So riempire moduli con dati personali ad es. il mio nome, la nazionalità e l'indirizzo sulla scheda di registrazione di un albergo.

• A2 - So scrivere semplici appunti e brevi messaggi su argomenti riguardanti bisogni immediati. Riesco a scrivere una lettera personale molto semplice, per es. per ringraziare qualcuno.

Descrittori Produzione Scritta B

• B1 - So scrivere semplici testi coerenti su argomenti noti o di mio interesse. So scrivere lettere personali esponendo esperienze e impressioni.

• B2 - Sono in grado di scrivere testi chiari e articolati su un'ampia gamma di argomenti che mi interessano. Sono capace di scrivere saggi e relazioni, fornendo informazioni e ragioni a favore o contro una determinata opinione. So scrivere lettere mettendo in evidenza il significato che attribuisco personalmente agli avvenimenti e alle esperienze.

Descrittori Produzione Scritta C

• Sono in grado di esprimermi sviluppando analiticamente il mio punto di vista in testi chiari e ben strutturati. Scrivo lettere, saggi e relazioni esponendo argomenti complessi, evidenziando i punti che ritengo salienti. Sono in grado di scegliere lo stile adatto ai lettori ai quali intendo rivolgermi.

• Sono in grado di scrivere testi chiari, scorrevoli e stilisticamente adeguati. Scrivo lettere, relazioni e articoli complessi e supporto il contenuto con una struttura logica efficace che aiuti il destinatario a identificare i punti salienti da rammentare. Sono capace di scriver riassunti e recensioni di opere letterarie e saggi professionali.

Errore e Sbaglio

• I termini NON sono sinonimi nemmeno nella lingua italiana corrente: si può fare qualcosa per errore o per sbaglio, tuttavia si può solo indurre in errore ma non *indurre in sbaglio.

• Le co-occorrenze e la prosodia semantica– compiere vs commettere / in caso di vs nel

caso di

• In Glottodidattica...

L’errore

• a) Si riferisce alla competence e quindi è sistematico;

• b) Ha bisogno di interventi esterni e espliciti per essere corretto;

• c) L’insieme degli errori rivela il livello di interlanguage raggiunto e, potenzialmente, il grado di fossilizzazione.

Lo sbaglio

• a) Si riferisce alla performance e quindi è occasionale;

• b) Per definizione, può essere corretto da chi l’ha commesso, purché se ne accorga;

• c) La frequenza degli sbagli può essere indice di uno stato ansioso in chi parla o scrive.

Corollario fondamentale

• Qualora un dato elemento venisse esaminato una sola volta in un test:

• se la risposta è errata, non sapremo mai se si tratta di un errore o di uno sbaglio;

• ma anche una risposta corretta potrebbe nascondere problemi di competence, con una performance “giusta per sbaglio”;– [errore palese e errore nascosto]

È accaduto in una Scuola Media

• Alcuni studenti hanno meritato un giudizio nettamente positivo sulla base delle risposte date a un questionario ma hanno rivelato gravi lacune nella comprensione del testo quando è stato chiesta la retroversione del brano su cui era basato il questionario.

– (segue)

C’è poca scelta …

• Se si segue l’ordine del brano

• la sequenza facilita il ritrovamento delle risposte giuste, “a intuito”

• Se non si segue l’ordine del brano

• si procede in modo innaturale e si inseriscono difficoltà artificiose

La legge del non-reciproco(variante della “legge di Murphy”)

• Se un test o una prova strutturata palesano errori, ci sono problemi di apprendimento.

• Se invece non palesano errori, i problemi potrebbero esserci ugualmente.

Genesi degli errori / 1

• a) transfer interlinguistico

errori di “interferenza”:

*the goods boys

*le chaleur, le méthode

*die Fräulein

Genesi degli errori / 2

b) transfer di apprendimentoerrori di ipergeneralizzazione:

*who did arrive?

*speak you English?

• Chi risponde dà una risposta

• Chi propone fa una proposta

• …ma chi dispone non dà una *disposta

• …e soprattutto chi suppone non… osta

Genesi degli errori / 3

c) strategie didattiche, strategie di apprendimento della L2, strategie di comunicazione

uso eccessivo o scorretto di:– forme rare– un solo genere– forme elementari

• Esito generale: FOSSILIZZAZIONE

Esempi (inglese LS)

• What (happen) ________ there after I had left?

• My friend Tom can ski vey well; he’s a small champion

• A friend of mine / Un amico dei miei

• What was Pepys doing when they woke him up?

• You’ve written a romance