La Qualità dei Dati del La Qualità dei Dati del Campione Campione Ufficio Scolastico Regionale -...

La Qualità dei Dati delLa Qualità dei Dati del CampioneCampione

Ufficio Scolastico Regionale - Abruzzo

Analisi del CheatingAnalisi del Cheating

Disegno Campionario

Ufficio Scolastico Regionale - Abruzzo 2

Primo Stadio * Estrazione * Campionamento Sistematica Casuale Semplice Scuole Classi

Disegno Campionario


Secondo Stadio * Prima Fase: * Seconda Fase: Calcolo Peso Calcolo Peso Livello Scuola Livello Classe

* Terza Fase: Calcolo Peso Livello Alunno

Disegno Campionario


Peso di Scuola

* Viene Ricavato in rapporto a:

* Numero Scuole Campionate nella Regione * Numero Totale Scuole della Regione * Numeri di Alunni nella Scuola

Disegno Campionario


Peso Livello Classe


* Numero Classi Campionate nella Scuola

* Numero Classi Presenti nella Scuola

Disegno Campionario


Peso Livello Alunno


* Numero Alunni Effettivamente Partecipanti nella Classe * Numero Alunni non Partecipanti alla Prova nella Classe

Disegno Campionario


Peso Complessivo * Viene Ricavato dal Prodotto:

* Numero Scuole Campionate * Numero Classi Campionate nella Scuola * Numero Alunni Effettivamente Partecipanti nelle Classi

Accuratezza dei Dati - Analisi del Cheating


► Controllo Accuratezza Dati ► Scelta Opportuni Indicatori:

Punteggi Medi Classe Variabilità Rispetto Punteggi

Tassi Non Risposta Omogeneità Risposte

► Calcolo Coefficienti Cheating per tutta la Popolazione (Fuzzy Logic)

► Analisi Congiunta Indicatori (Analisi Componenti Principali)

La Qualità dei Dati del Campione


Comportamenti Opportunistici Evidenti

Passaggio Fondamentale

Procedura Correzione Dati: Editing Statistico

Eliminazione Effetto Distorsivo Dati AnomaliCorrezione Dati Anomali

Effettuazione Analisi Dati Netti



Controllo Preventivo Accuratezza


Reale Valore Informativo Analisi Proposte

Individuazione Dati Anomali

Correzione Dati Anomali



Individuazione /Correzione Dati Anomali


Definizione Sistema Pesi di Correzione

Valore Originario: Un Punteggio

Coefficiente Correzione

Attenuazione Effetto Presenza Dati Anomali



Procedure di Correzione


Stima lncidenza Risultati Rispetto Esiti Complessivi Prova (Hard Clustering)

Individuazione Gruppi di Rispondenticon Caratteristiche Particolari



Procedure di Correzione

* Fuzzy Logic *

Punteggio Compreso tra 0 ed 1 Attribuzione Alunno Rispondente

Forte Attenuazione Incidenza Comportamenti Opportunistici



Fase I: Indicatori a Livello Scuola

2. Calcolo Scarto Quadratico Medio (σ j) (Indicatore di Variabilità del Punteggio Medio)

1. Calcolo Punteggio Medio (p j) (Media dei Punteggi di Ciascun Alunno

espressi in termini di Risposte Corrette fornite)



Fase I: Indicatori a Livello Scuola

4. Indice Medio Relativo Omogeneità Risposte (E j) (Indice Eterogeneità/Omogeneità Risposta su Ciascuna delle Domande)

3. Calcolo Tasso Mancata Compilazione per Classe (MJ) (Valutazione Tasso Medio Adesione Classe alla Prova)

La Qualità dei Dati del Campione: Fase I


p j σ j MC j E j

I M I M I M I M

Abruzzo28,58 19,38 5,48 3,79 0,01 0,02 0,50 0,50

Totale 28,37 19,34 5,60 3,82 0,01 0,02 0,51 0,50

Tavola 1. Valori Medi per Regione Indicatori p j , MC j , E j



Fase II: Sintesi Indicatori Livello di Scuola

I quattro indicatori individuati nella prima fase di analisi devono essere opportunamente applicati a ciascuna scuola per individuare la presenza di eventuali dati anomali. Come noto nella letteratura statistica, è quindi necessario operare un’opportuna sintesi, se possibile, dei quattro indicatori tale da ottenere un’informazione di facile utilizzo ed interpretazione, ma che, al contempo, consenta di rappresentare nella misura massima possibile la variabilità insita nel fenomeno stesso.L’analisi delle componenti principali (ACP) permette di conseguire i suddetti obiettivi operando una riduzione delle dimensioni oggetto d’interesse.

La Qualità dei Dati del Campione: Fase II


ITALIANO MATEMATICA

Media MediaAbruzzo 0,0734 0,089ITALI

A 0,0458 0,091

Tavola 4. Valori Medi Coefficienti di Cheating

Indici di Cheating nelle diverse Regioni: ITALIANO


Indici di Cheating nelle diverse Regioni: MATEMATICA


Ufficio Scolastico Regionale - Abruzzo21

Prova Nazionale Esame Conclusivo Primo CicloAnno Scolastico 2008 - 2009

Codici Identificativi Regione

CODICE REGIONE CODICE REGIONE CODICE REGIONE

1 Valle d’Aosta 7 Friuli Venezia Giulia 14 Molise

2 Piemonte 8 EmiliaRomagna 15 Campania

3 Liguria 9 Toscana 16 Puglia

4 Lombardia 10 Umbria 17 Basilicata

51 Bolzano (It) 11 Marche 18 Calabria

54 Trento 12 Lazio 19 Sicilia

6 Veneto 13 Abruzzo 20 Sardegna

CHEATING: Nota Tecnica “Invalsi”


Indicatore di Propensione al Cheating

Valore compreso tra 0 e 1 che determina il grado di similarità della Classe considerata al profilo tipico che caratterizza un comportamento ritenuto opportunistico, cioè un comportamento che potrebbe aver alterato il corretto svolgimento della prova.

Effetto del mancato controllo da parte dei Docenti sul rispetto del Protocollo di Somministrazione e/o l’insieme delle azioni, che questi ultimi possono mettere in atto, per facilitare il compito degli Alunni.

CHEATING: Nota Tecnica “Invalsi”


Indicatore di Propensione al CheatingCalcolato per Classe, viene riportato a livello di Scuola tenendo conto del numero delle classi al’interno di ciascuna Scuola e della propensione al Cheating per ciascuna disciplina (Italiano e Matematica). Il risultato finale consiste in un grado di Rischio Complessivo di Cheating compreso tra 0 e 5.

0 = Nessun Rischio 1 = Rischio Basso 2 = Rischio Medio - Basso 3 = Rischio Medio 4 = Rischio Medio - Alto 5 = Rischio Alto

La Qualità dei Dati del La Qualità dei Dati del Campione Campione Ufficio Scolastico Regionale -...

Documents

Transcript of La Qualità dei Dati del La Qualità dei Dati del Campione Campione Ufficio Scolastico Regionale -...