Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

65
Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010

Transcript of Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Page 1: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Problemi e tecniche del testing online

(parte I)

Gianfranco Porcelli

Pavia, 4 febbraio 2010

Page 2: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Archimede e il Testing(ciò che si guadagna in forza si perde

in movimento)

Page 3: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Oggettività e realismo

• Ciò che si guadagna in oggettività si perde in realismo

• Le capacità di interagire nelle reali situazioni di comunicazione si possono osservare solo nelle reali situazioni di comunicazione

Page 4: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.
Page 5: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Ansia da test

Page 6: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

La bella notizia

Page 7: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Clever…

Page 8: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Verare e falsare

Page 9: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Bleah!

Page 10: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Non solo Linus / 1

Page 11: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Non solo Linus / 2

Page 12: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

La verifica del profitto come comunicazione

• Tre termini cruciali:– Verifica– Profitto– Comunicazione

Page 13: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

La verifica del profitto come comunicazione

• Verifica e valutazione

• La ‘misurazione’

Page 14: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Verifica Valutazione

Verifica

Valutazione

Performance

Persona

Insegnante Consiglio di classe

Page 15: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

La verifica… (1: di che cosa?)

• Oggetto della verifica è la performance, ciò che lo studente “esterna”, come indice e campione della competence:

a) indice, perché può condurre a intuire processi mentali e abilità complesse;

b) campione, perché ogni prova di controllo non può che selezionare alcune abilità, competenze, aree lessicali...

Page 16: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Input, Intake, Output

INPUT INTAKE OUTPUT

Page 17: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Grammatica e lessico

• Se si parte da un’ottica comunicativa si scopre allora che per capire un testo la grammatica serve a poco …

• … il lessico molto di più!– Il Lexical Approach (1993)

• Chi viaggia all’estero si porta una grammatica o un dizionario?

• E allora, perché tendiamo a ragionare come se imparare una lingua fosse impararne la grammatica?

Page 18: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Grammatica dell’aspettativa e testing pragmatico

• Le prove pragmatiche mettono in gioco le competenze testuali– - in particolare la capacità di capire un testo

facendo anticipazioni corrette

• Oller (1979) cita anzitutto il dettato per l’orale e il cloze test per lo scritto, ma anche la traduzione e altre forme di parafrasi sono incluse tra le prove pragmatiche

Page 19: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

La verifica… (2: quali parametri?)

• La accuracy, in termini di correttezza a livello fonetico, grammaticale e lessicale

• La fluency, intesa come capacità di comunicare non necessariamente in modo totalmente accurato

• La comprensione interculturale, grande obiettivo di fondo da non dimenticare– però nei test tende a sparire– il backwash o washback

Page 20: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Coerenza delle verifiche

con il metodo adottato: un testing di matrice strutturalista non è compatibile con approcci comunicativi e/o umanistico-affettivi;

con gli obiettivi della verifica.

• Senza tale coerenza il test è privo di VALIDITA’VALIDITA’.

Page 21: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Validità dei test

• Definizione: capacità di un test di verificare ciò che intende verificare e nient’altro.– Test “di intelligenza” o “di lingua” ?

Parametri della validità:– Pertinenza;– Accettabilità;– Comparabilità;– Economia.

Page 22: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

...del profitto...

CALIBAN:

You taught me language, and my profit on’t

Is, I know how to curse; the red plague rid you,

For learning me your language!W. Shakespeare, The Tempest, I, ii,

363

[Italiano lingua seconda per i colf, 1611]

Page 23: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

…come comunicazione.

a) coerente con un approccio comunicativo;

b) come comunicazione operativa di obiettivi.

Page 24: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Misurare: si può?

• Unità di misura

• Lo zero

• Gauss e “distanze relative”– la statura– il reddito

• Misurare, in senso stretto, non si può.

Page 25: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Il voto come comunicazione

• I numeri (e le medie)• Gli aggettivi• Le lettere

– ma oggi...

• ...e ancor più, sperabilmente. domani:• il PORTFOLIO (e dintorni: passaporto,

ecc.) come documentazione di ciò che si sa fare

• “I have no Italian” – essere padroni di una lingua (sapere non è possedere)

Page 26: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Statica o dinamica?

• quattro giorni fa: 40°• tre giorni fa: 39°• l’altro ieri: 37°• Ieri: 36°

• oggi… ?

Page 27: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

La distribuzione normale delle frequenze

• Ovvero, anche il caso ha le sue regole

Page 28: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Poligono frequenze 1 dado

0

0,2

0,4

0,6

0,8

1

1,2

0 1 2 3 4 5 6

1 dado

Page 29: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Poligono frequenze 2 dadi

0

1

2

3

4

5

6

7

2 3 4 5 6 7 8 9 10 11 12

2 dadi

Page 30: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Poligono frequenze 3 dadi

0

5

10

15

20

25

30

3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

3 dadi

Page 31: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Poligono frequenze 3 dadi

0

5

10

15

20

25

30

3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

3 dadi

Page 32: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Poligono frequenze 4 dadi

0

20

40

60

80

100

120

140

160

4 dadi

Page 33: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Poligono frequenze 5 dadi

0

100

200

300

400

500

600

700

800

900

5 dadi

Page 34: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Poligono frequenze 6 dadi

0500

100015002000250030003500400045005000

6 dadi

Page 35: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.
Page 36: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Corollario 1

• Di sicuro il voto in decimi non è un’unità di misura: la distanza tra il voto 2 e il voto 3 è pressoché inesistente (in molti casi, sono entrambi sinonimi di “insufficienza gravissima non dovuta solo a difficoltà di apprendimento”); la distanza tra 5 e 6 è enorme, come attesta l’abbondanza di valori intermedi come 5+, 5½, 5/6, 6=, 6- eccetera.

Page 37: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Corollario 2

• L’analisi di questi voti, così come sono comunemente usati, ci indica che ne bastano cinque (dal quattro all’otto) per coprire la gamma di giudizi da “prestazione pessima” a “prestazione ottima”, mentre agli altri viene aggiunta una connotazione aggiuntiva non limitata al profitto: da una parte una punizione o una sanzione morale per negligenza, scarso interesse o altro; dall’altra un elogio o un premio.

• In questo i voti si differenziano nettamente dai punteggi dei test, che fanno riferimento esclusivamente all’esecuzione della prova e al risultato conseguito in termini di risposte esatte.

Page 38: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Corollario 3

• Sempre più diffuso ma altamente deprecabile è l’uso delle percentuali con un numero esiguo di soggetti: avviene di leggere, ad esempio, che gli studenti che hanno raggiunto un dato livello sono aumentati dal 57,14% al 64,28% e poi si scopre che il miglioramento riguarda uno studente in un gruppo di 14 soggetti.

• L’apparente scientificità è un mascheramento del vero.

Page 39: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Norma e Criterio• “Norma”: riferimenti interni.

– Il richiamo alla “norma” è un raffronto con i livelli medi di profitto riscontrabili in una classe (è un raffronto possibile, in qualche misura, per lo

scolaro).

• “Criterio”: riferimenti esterni – Il richiamo al “criterio” è un raffronto con

parametri esterni — ad esempio, quelli offerti dal Quadro Comune Europeo di Riferimento (è un raffronto di norma impossibile per lo

scolaro).

Page 40: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

La “sufficienza”

• Sufficienza “assoluta” o “criteriale” (p. es. con riferimento alle esigenze di un’azienda);– “dieci euro sono sufficienti?”– criterio: il bene o servizio da acquistare

• Sufficienza “relativa” o “normale”, ossia scolastica– “mio figlio è sufficiente?”– criterio: le attese dell’insegnante.

Page 41: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Conoscenza delle lingue...

• Ottima... • Sufficiente... • Scolastica...

Page 42: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Scale di valutazione

• La “scala di valutazione generale” secondo B.J. CARROLL, Testing Communicative Performance, Oxford, Pergamon, 1980.

• Il two-tier system e le certificazioni.

Page 43: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

9. Utente esperto.

• Comunica con autorevolezza, accuratezza e stile. Completamente a proprio agio nell'inglese idiomatico e specialistico.

Page 44: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

8. Utente ottimo.

• La presentazione dell'argomento è chiara e logica con buono stile e una chiara percezione degli indicatori di atteggiamento. Si avvicina spesso alla competenza bilingue.

Page 45: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

7. Utente buono.

• Sa affrontare la maggior parte delle situazioni in un ambiente anglofono. Lapsus occasionali e limitazioni nel linguaggio non impediscono la comunicazione.

Page 46: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

6. Utente competente.

• Malgrado sappia far fronte alla maggior parte delle situazioni che probabilmente dovrà affrontare, è un po' carente nella scorrevolezza (fluency) e nell'accuratezza e occasionalmente incorrerà in fraintendimenti o errori significativi.

Page 47: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

5. Utente modesto.

• Sebbene in genere riesca a comunicare, spesso usa un linguaggio non accurato o improprio.

Page 48: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

4. Utente marginale.

• Manca di stile, scorrevolezza e accuratezza; non è facile comunicare con lui, l'accento straniero e la scarsa padronanza del codice provocano fraintendimenti. In genere se la cava senza gravi intoppi.

Page 49: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

3. Utente estremamente limitato.

• Non possiede una conoscenza operativa della lingua dell'uso quotidiano, ma è migliore di un principiante assoluto. Né le abilità produttive né quelle ricettive permettono una comunicazione continuativa.

Page 50: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

2. Utente intermittente.

• Esecuzione ben al di sotto del livello di conoscenza operativa della lingua dell'uso quotidiano. La comunicazione si instaura solo sporadicamente.

Page 51: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

1/0. Non utente.

• Può non riconoscere con sicurezza quale lingua si stia usando.

Page 52: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Descrittori Produzione Scritta A

• A1 - So scrivere una breve e semplice cartolina, per es. per mandare i saluti dalle vacanze. So riempire moduli con dati personali ad es. il mio nome, la nazionalità e l'indirizzo sulla scheda di registrazione di un albergo.

• A2 - So scrivere semplici appunti e brevi messaggi su argomenti riguardanti bisogni immediati. Riesco a scrivere una lettera personale molto semplice, per es. per ringraziare qualcuno.

Page 53: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Descrittori Produzione Scritta B

• B1 - So scrivere semplici testi coerenti su argomenti noti o di mio interesse. So scrivere lettere personali esponendo esperienze e impressioni.

• B2 - Sono in grado di scrivere testi chiari e articolati su un'ampia gamma di argomenti che mi interessano. Sono capace di scrivere saggi e relazioni, fornendo informazioni e ragioni a favore o contro una determinata opinione. So scrivere lettere mettendo in evidenza il significato che attribuisco personalmente agli avvenimenti e alle esperienze.

Page 54: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Descrittori Produzione Scritta C

• Sono in grado di esprimermi sviluppando analiticamente il mio punto di vista in testi chiari e ben strutturati. Scrivo lettere, saggi e relazioni esponendo argomenti complessi, evidenziando i punti che ritengo salienti. Sono in grado di scegliere lo stile adatto ai lettori ai quali intendo rivolgermi.

• Sono in grado di scrivere testi chiari, scorrevoli e stilisticamente adeguati. Scrivo lettere, relazioni e articoli complessi e supporto il contenuto con una struttura logica efficace che aiuti il destinatario a identificare i punti salienti da rammentare. Sono capace di scriver riassunti e recensioni di opere letterarie e saggi professionali.

Page 55: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Errore e Sbaglio

• I termini NON sono sinonimi nemmeno nella lingua italiana corrente: si può fare qualcosa per errore o per sbaglio, tuttavia si può solo indurre in errore ma non *indurre in sbaglio.

• Le co-occorrenze e la prosodia semantica– compiere vs commettere / in caso di vs nel

caso di

• In Glottodidattica...

Page 56: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

L’errore

• a) Si riferisce alla competence e quindi è sistematico;

• b) Ha bisogno di interventi esterni e espliciti per essere corretto;

• c) L’insieme degli errori rivela il livello di interlanguage raggiunto e, potenzialmente, il grado di fossilizzazione.

Page 57: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Lo sbaglio

• a) Si riferisce alla performance e quindi è occasionale;

• b) Per definizione, può essere corretto da chi l’ha commesso, purché se ne accorga;

• c) La frequenza degli sbagli può essere indice di uno stato ansioso in chi parla o scrive.

Page 58: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Corollario fondamentale

• Qualora un dato elemento venisse esaminato una sola volta in un test:

• se la risposta è errata, non sapremo mai se si tratta di un errore o di uno sbaglio;

• ma anche una risposta corretta potrebbe nascondere problemi di competence, con una performance “giusta per sbaglio”;– [errore palese e errore nascosto]

Page 59: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

È accaduto in una Scuola Media

• Alcuni studenti hanno meritato un giudizio nettamente positivo sulla base delle risposte date a un questionario ma hanno rivelato gravi lacune nella comprensione del testo quando è stato chiesta la retroversione del brano su cui era basato il questionario.

– (segue)

Page 60: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

C’è poca scelta …

• Se si segue l’ordine del brano

• la sequenza facilita il ritrovamento delle risposte giuste, “a intuito”

• Se non si segue l’ordine del brano

• si procede in modo innaturale e si inseriscono difficoltà artificiose

Page 61: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

La legge del non-reciproco(variante della “legge di Murphy”)

• Se un test o una prova strutturata palesano errori, ci sono problemi di apprendimento.

• Se invece non palesano errori, i problemi potrebbero esserci ugualmente.

Page 62: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Genesi degli errori / 1

• a) transfer interlinguistico

errori di “interferenza”:

*the goods boys

*le chaleur, le méthode

*die Fräulein

Page 63: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Genesi degli errori / 2

b) transfer di apprendimentoerrori di ipergeneralizzazione:

*who did arrive?

*speak you English?

• Chi risponde dà una risposta

• Chi propone fa una proposta

• …ma chi dispone non dà una *disposta

• …e soprattutto chi suppone non… osta

Page 64: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Genesi degli errori / 3

c) strategie didattiche, strategie di apprendimento della L2, strategie di comunicazione

uso eccessivo o scorretto di:– forme rare– un solo genere– forme elementari

• Esito generale: FOSSILIZZAZIONE

Page 65: Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010.

Esempi (inglese LS)

• What (happen) ________ there after I had left?

• My friend Tom can ski vey well; he’s a small champion

• A friend of mine / Un amico dei miei

• What was Pepys doing when they woke him up?

• You’ve written a romance