Una mappatura del fenomeno dell'imbroglio scolastico rilevato dai test INVALSI

Il "Cheating" nelle scuole italiane: chi imbroglia?di Lorenzo Newman

02/09/2014

1

2

3

4

Traccia

Che cosa è il cheating e perché è importante?Il cheating avviene quando i ragazzi imbrogliano nei test scolastici, spesso con l’aiuto dei professoriI valori dei giovani si formano durante la scuola e possono essere determinati anche dal cheating

2

Esistono dati in materia?Si! L’INVALSI calcola un indice di cheating per ciascuna delle sue valutazioniGrazie a questo dato possiamo rilevare le tendenze di cheating in Italia negli ultimi anni

Chi copia?I più piccoli o i più grandi? I più o i meno bravi?In quali regioni? I più o i meno benestanti?

RiflessioniPerché? Sono gli insegnanti a permetterlo?Quali sono le conseguenze sui giovani e sul paese?

Gli studenti copiano in autonomia o con la complicità degli insegnanti. Alternativamente, gli insegnanti stessi determinano scorrettamente i risultati delle valutazioni.

Che cosa è il cheating? (1/2)

I: Diamo una definizione al termine “cheating”:

3

Per “cheating” intendiamo:

comportamenti opportunistici che

causano distorsioni nei risultati delle

valutazioni scolastiche

II: Chi compie comportamenti di cheating?

Studenti

Insegnanti

Si tratta di una definizione generale che si riferisce soprattutto al fenomeno dei ragazzi che copiano dai compagni o dagli insegnanti durante i test.

Che cosa è il cheating? (2/2)

4

III: Come può avvenire il cheating?

Copiano tra di loro

Collusione collettiva tra un insegnante e una classe intera

Correggono le valutazioni modificando i risultati per favorire studenti singoli o una classe intera

Gli studenti Gli insegnanti

Copiano individualmente dai telefonini, appunti, ecc.

Collusione tra insegnanti e studenti singoli

Spesso è difficile distinguere tra questi

fenomeni. ..

Questa presentazione si

occupa del cheating in tutte le sue forme

Perché il cheating è importante?

5

E’ verosimile che acquisire un’abitudine al cheating in età formativa possa avere un impatto sui valori dei ragazzi.

Non esistono indagini accademiche sul rapporto tra cheating e valori. Tuttavia, appare lecito chiedere:

Se copio da piccolo sarò disonesto da

grande?

Il cheating è sintomo di valori

sociali già esistenti?

Il cheating influenza i valori sociali?

In che modo

?

?

Esistono dati in materia? (1/4)

6*per sondaggi svolti tra gli insegnanti si consiglia M.Dei, Etica, scuola e insegnanti al tempo della crisi, in AA.VV., La professionalità dell'insegnante, Aracne ed. 2014, pp.28-38.

Per studiare al meglio il fenomeno del cheating sono necessari dati in materia.

Dati esistenti

Sondaggi

Multimedia

Verifiche dei test

Sondaggi nei licei americani Sondaggi tra i ragazzi svolti nei

licei italiani da Marcello Dei in “Ragazzi si copia”*

Scuolazoo documenta qualitativamente il cheating, raccogliendo video e immagini prodotti dagli studenti.

In qualche caso li incentiva…

L’INVALSI, che svolge ogni anno test standardizzati che coinvolgono quasi tutte le scuole italiane, monitora anche il livello di cheating

Fonte dell'immagine: "armi per copiare" in vendita su www.scuolazoo.com

Esistono dati in materia? (2/4)

7

Per studiare al meglio il fenomeno del cheating sono necessari dati in materia.

Dati che non esistono

Dati Europei/internazionali che consentano un confronto tra più paesi Dati quantitativi in cui sia chiaro quale tipo di cheating stia avvenendo:

Esistono infatti statistiche che rilevano comportamenti opportunistici in generale Tuttavia, trattandosi di estrapolazioni, questi non distinguono se si tratta di

professori che colludono con gli studenti o di studenti che collaborano tra di loro copiando.

Non è possibile valutare quantitativamente i vari tipi di cheating specifici

Non è possibile (per ora) confrontare più paesi in termini di cheating

L'INVALSI è stato istituito nel 1999 sotto il patrocinio del MIUR al fine di svolgere valutazioni dell'intero sistema scolastico italiano

Ogni anno l’INVALSI predispone e somministra in tutte le scuole italiane test standardizzati sulle conoscenze di matematica e italiano

Sono coinvolte le scuole primarie e secondarie Le domande, redatte in coerenza con le linee guida OCSE,

sono a risposta chiusa, così da permettere un'analisi quantitativa dei risultati e un confronto con quelli di altre economie avanzate

I test sono somministrati dagli insegnanti delle scuole e corretti dal personale INVALSI

Esistono dati in materia? (3/4)

8

I. Svolgimento delle valutazioni INVALSI

I dati INVALSI permettono di svolgere un’analisi statistica più approfondita del fenomeno

Molti sindacati del settore hanno espresso contrarietà alle valutazioni INVALSI, incoraggiandone il boicottaggio e il sabotaggio

INVALSI - Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione

L'INVALSI stessa teme che, per questo motivo, il cheating sia molto diffuso nei test somministrati

Esistono dati in materia? (4/4)

9*Si consiglia http://www.invalsi.it/invalsi/ri/sis/documenti/022013/tonello_robustezza.pdf per una spiegazione completa.

L'INVALSI teme l'effetto distorsivo degli imbrogli nei test. Perciò, tenta di misurare l'incidenza del cheating

L’INVALSI approssima quindi statisticamente un indicatore di cheating per ciascuna classe valutata. Ciò avviene in 3 passi*

Questo indice rileva solo comportamenti opportunistici senza rivelare quanto questi siano di iniziativa dei professori al fine di sabotare i test e quanto degli studenti stessi

II. Come si deriva una misura di cheating

I dati INVALSI permettono di svolgere un’analisi statistica più approfondita del fenomeno

0 – massimo "sospetto" di cheating

1 – no cheating

N.B. I punteggi medi ai test diffusi dall'INVALSI e riportati in questa presentazione sono già corretti per il cheating eliminandone l'effetto distorsivo sui risultati.

i. Calcolo per ogni classe dei seguenti indicatori: media; deviazione standard, numero di risposte mancanti, livello di omogeneità delle risposte;

ii. Dalla sintesi degli indicatori si ricava un “profilo di comportamento anomalo”;

iii. Per ogni classe si identifica il grado di vicinanza al profilo di comportamento anomalo (tramite tecnica Fuzzy-logic routine)

Calcolo di un coefficiente tra 0-1 che esprime il grado di vicinanza al profilo di comportamento anomalo la propensione al cheating di ciascuna classe.

10

Mappe elaborate da Quattrogatti – Global Shapers: i colori rappresentano la percentile d'appartenenza della media provinciale del punteggio di "cheating" rilevato dall’INVALSI sulle valutazioni SNV di matematica e italiano svolte per le classi di 2a elementare, 5a elementare, 1a media e 2o liceo.

La distribuzione geografica del cheating un fenomeno concentrato in poche province

Il cheating è altamente concentrato in Campania, Calabria e Sicilia. Questa distribuzione è rimasta stabile nel tempo. Negli anni, in termini assoluti il cheating è diminuito.

2011 2012 2013

Più cheating

Meno cheating

Cheating in percentili - Legenda

20°

100°80°

60°

40°

La distribuzione geografica del cheating rimane stabile a prescindere dalla materia

11

In termini assoluti, la media di cheating è

più alta in matematica

Anche disaggregando il dato per materia, notiamo che il cheating avviene in misura superiore nelle stesse province del meridione

ItalianoMatematica

Più cheating

Meno cheating

Cheating in percentili - Legenda

20°

100°80°

60°

40°

La distribuzione geografica del cheatingvaria poco anche rispetto al ciclo scolastico

12

In assoluto, il fenomeno è più

diffuso tra le classi del liceo e delle

medie

Le province dove si copia di più sono le stesse sia misurando i test delle classi primarie che quelli delle secondarie

Medie e Liceo

Primarie

Più cheating

Meno cheating

Cheating in percentili - Legenda

20°

100°80°

60°

40°

La continuità geografica e temporale del fenomeno

suggerisce che le tendenze di cheating

non sono casuali

Cosa indica questo dato?

La distribuzione geografica del cheating cosa indica?

13*in queste 17 province il livello di cheating è nel quintile più basso, a prescindere dell'anno della rilevazione, della materia e dell'anno accademico

Le province dove avviene più cheating, sono quasi sempre le stesse: quelle indicate a fianco

Campania

CasertaBeneventoNapoliAvellinoSalerno

Puglia Foggia

Calabria

CosenzaCrotoneCatanzaroVibo ValentiaReggio Calabria

Sicilia

MessinaAgrigentoCaltanissettaEnnaCataniaSiracusa

Province con il maggior livello di

cheating*

2013: nelle 20 province peggiori il cheating è stato mediamente 4,5 volte superiore a quanto visto nelle migliori 20 province: un

divario enorme!

Chi copia? Il cheating è un fenomeno sociale?

14** I punteggi medi ai test diffusi dall'INVALSI e riportati in questa presentazione sono già corretti per il cheating eliminandone l'effetto distorsivo sui risultati.

Tendenzialmente si copia di più nelle province dove gli studenti hanno in media un indice di benessere socio-economico più basso. (coefficiente di correlazione = -0,68)

0.840.860.880.90.920.940.960.981

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

0.4

Score ESCS* e indice di cheating** (Media Test INVALSI 2011-2013)

Indice di cheating INVALSI

Score

ES

CS

IN

VA

LS

I

*Lo score ESCS (Economic, Social and Cultural Status index) è un indicatore composito sviluppato dall’OCSE che usa dati ottenuti dalle risposte a un questionario somministrato ai ragazzi al momento del test. L’indicatore misura, inter alia, lo status socio-economico dei genitori, il benessere economico ecc. Un punteggio più alto indica un benessere maggiore.

I. Cheating e indice di benessere socio-economico

Come si può spiegare il fenomeno?:

Contesto economic

o

I ragazzi meno

benestanti sono più

motivati a fare

cheating

Contesto

familiare ?–

cheating+ cheating

Nelle scuole meno

performanti, gli insegnanti

passano per paura di essere

valutati sulla base dei

risultati INVALSI

Chi copia? I più o i meno bravi?

15

0.840.860.880.90.920.940.960.9816.2

6.4

6.6

6.8

7

7.2

7.4

7.6

7.8

Voto in pagella medio e indice di cheat-ing* (Media Test INVALSI 2011-2013)

Indice di Cheating INVALSI

Voto

in

pag

ella

confrontando con i voti medi ottenuti in pagella, sembra che

le province dove si copia di più siano quelle meno performanti accademicamente

(coefficiente di correlazione = -0,69)

II. Cheating e voto in pagella

– cheating

+ cheating

Andare meno bene a scuola

incentiva il

cheating

Copiare

abitua a non

studiare

Come si può spiegare il fenomeno?:

I ragazzi ricevono

un'istruzione peggiore

nelle scuole dove gli

insegnanti "passano"?

Perché avviene il cheating nei test INVALSI?

16

Molti insegnanti, timorosi di essere loro

stessi valutati, aiutano i ragazzi

Necessità di ottenere voti buoni

Goliardia

Una forma di

boicottaggio di un esame ritenuto ingiusto

Pressione sociale

per aiutare il prossimo

Alcuni insegnan

ti passano

su pressione

dei genitori

Test INVALSI*

*conclusioni tratte dai rapporti INVALSI nei quali si ipotizzano le ragioni del cheating. Le ipotesi sopra rappresentate sono state trattate anche dalla stampa popolare.

Debole consenso

nel definire condannabi

le l'imbroglio 

Insegnanti

studenti

copiare“passare

”

Quali di queste ipotesi possono essere valide per il cheating che avviene in altri contesti?

17

studenti

Molti insegnanti, timorosi di essere loro

stessi valutati, aiutano i ragazzi

Necessità di

ottenere voti

buoniGoliardi

aUna forma di boicottaggio di un esame

ritenuto ingiusto

Pressione

sociale per

aiutare il

prossimo

Alcuni insegnan

ti passano

su pression

e dei genitori

Insegnanti

copiare“passare

”

Test INVALSI

Altri studi sull’argomento in Italia indicano che sono comuni a tutti i test i meccanismi di solidarietà tra studenti

Sembrano essere invece circoscritti all’INVALSI i casi in cui gli insegnanti facilitano l’esame per gli studenti come atto di protesta*

E’ molto comune invece che gli insegnanti aiutino i ragazzi durante l’esame di maturità*

*Osservazioni fatte sulla base della letteratura accademica italiana in materia, di carattere prevalentemente teorica e sociologica. I pochi sondaggi svolti sulla disonestà scolastica non offrono tutt’oggi conclusioni empiricamente affidabili.

Quali sono le conseguenze del cheating? (1/4)

18

I – Il cheating rende difficile la valutazione del nostro sistema educativo, contribuendo a rendere difficile lo sviluppo di politiche in

materia di istruzione

L’INVALSI stessa ha ribadito più volte che il differenziale di cheating tra Nord / Sud rende difficile un’analisi dei dati del test

nella media OCSE:

siamo sotto la media UE:

Matematica

Sotto la media OCSE:

Tra i peggiori nella UE:

Scienze

Sopra la media OCSE:

Sotto la media UE:

Lettura

32° su 65

18° su 28

32° su 65

22° su 28

27° su 65

18° su 28

Come valutare insegnanti e

studenti?

Come migliorare il nostro sistema scolastico senza dati affidabili sulla performance

dei ragazzi?

Difficoltà nell’intraprender

e politiche correttive

Immagine da scuolazoo.it

Quali sono le conseguenze del cheating? (2/4)

19

A livello scolastico, come evidenziato dai test PISA*, l’Italia ha tra le peggiori performance a livello europeo in termini di apprendimento in:

*Il Programma di valutazione internazionale degli studenti (noto come PISA – Programme for International Student Assessment) è uno studio triennale che valuta il livello acquisito dagli studenti quindicenni che stanno finendo il ciclo d’istruzione obbligatoria. L’indagine PISA 2012 si è concentrata sulla matematica, tenendo come aree minori di valutazione la lettura, le scienze e la capacità di risoluzione di problemi. Circa 510,000 studenti hanno completato la valutazione nel 2012. In tutto la valutazione ha coinvolto circa 28 milioni di studenti quindicenni nelle scuole dei 65 Paesi ed economie partecipanti.

Nella media OCSE:

Sotto la media UE:

Matematica

Sotto la media OCSE:

Tra i peggiori nella UE:

Scienze

Sopra la media OCSE:

Sotto la media UE:

Lettura

32° su 65

18° su 28

32° su 65

22° su 28

27° su 65

18° su 28

Il MIUR e l'OCSE hanno più volte evidenziato che il cheating e il boicottaggio dei test possono rendere difficile l'attuazione di politiche correttive tese a migliorare

questi risultati

Quali sono le conseguenze del cheating? (3/4)

20

II – Il cheating è un pericolo per il sistema scolastico italiano perché peggiora la qualità dell’apprendimento

Il cheating stesso è un ostacolo

all’apprendimento scolastico

Disincentiva l’apprendimento, incentivando invece la disonestà come metodo per conseguire risultati

Può creare mancanza di rispetto verso gli insegnanti stessi, qualora questi colludano nel cheating

Test scolastico svolto all’aperto al fine di evitare che i ragazzi copino, Scuola Media Sihuang, Provincia di Wuhan, Cina, 2011. Ulteriori dettagli su http://www.chinadaily.com.cn/photo/2011-11/11/content_14078838.htm

Quali sono le conseguenze del cheating? (4/4)

21

III – Il cheating che avviene durante l'esame di maturità può rendere meno meritocratiche le selezioni universitarie e i concorsi pubblici

Sebbene non esistano studi quantitativi* in materia, è ampiamente riconosciuto che gli esami di maturità sono caratterizzati da cheating diffuso

Ciò fa sì che non sia rappresentativo e affidabile il voto di maturità

laddove il voto di maturità è una variabile valutata nelle selezioni sono svantaggiati i ragazzi provenienti dalle province con meno cheating

*Per un'analisi qualitativo si consiglia di fare riferimento a "Ragazzi si copia" di Marcello Dei

Concorsi pubblici

Selezioni universitarie

Conclusioni

22

Il cheating rappresenta un problema etico-pedagogico perché avviene durante le fasi più formativa dell’educazione

In Italia il cheating, come identificato dall’INVALSI, è: Geograficamente concentrato

Correlato con una scarsa performance accademica

Correlato con uno scarso benessere socio-economico

Il cheating ostacola l’apprendimento dei ragazzi

Il cheating impedisce ai policymaker di capire come creare un sistema educativo che aiuti i ragazzi a apprendere

Il cheating può ostacolare la meritocrazia

Domanda aperta: posto che l'istruzione è fondamentale per migliorare la competitività, il cheating rappresenta un rischio per lo sviluppo del paese?

Se hai apprezzato la presentazione, inoltra il link ai tuoi amici e sostieni il nostro progetto!

Contatti:lorenzo.newman@gmail.com | @lorenzonewman |

facebook.com/quattrogatti.info

Si ringrazia Marcello Dei (Università di Urbino) per l'ispirazione, i commenti e per la revisione della presentazione

Bibliografia

24

Tutti i dati statistici rappresentati sono stati concessi gentilmente dall'INVALSI

Per sondaggi svolti tra gli insegnanti si rimanda a: M.Dei, Etica, scuola e insegnanti al tempo della crisi, in AA.VV., La professionalità dell'insegnante, Aracne ed. 2014, pp.28-38

Per sondaggi svolti tra gli studenti delle secondarie superiori e inferiori si rimanda a M. Dei, Ragazzi si Copia, Mulino ed. 2012

Altre informazione sulle rilevazioni PISA a www.oecd.org/pisa/

Per altri studi sul tema si rimanda, inter alia, alle recenti pubblicazioni della Fondazione Giovanni Agnelli - www.fga.it/

T. S. Harding, D. D. Carpenter, C. J. Finelli, H.J. Passow, Does Academic Dishonesty Relate to Unethical Behavior in Professional  Practice? An Exploratory Study, 2003

G. Ferrer-Esteban, Cheating to the test in the Italian standardized assessment system: rationale and incentives. Working Paper, (in press). Fondazione Giovanni Agnelli, 2012

M. Paccagnella P. Sestito, School Cheating and Social Capital, Banca D'Italia, 2014

J.D. Angrist, E. Battistin, D. Vuri “In a Small Moment: Cheating and Class Size in Italian Primary Schools,” mimeo, 2013

L. Newman, Fair Play, Social Trust and Development, mimeo, 2012, London School of Economics.

Un'approfondimento sulle metodologie di rilevamento del cheating è disponibile a http://www.invalsi.it/invalsi/ri/sis/documenti/022013/ferrer.pdf e http://www.invalsi.it/invalsi/ri/sis/documenti/022013/tonello_robustezza.pdf