Progetto Pilota 3 per la valutazione del sistema dell’istruzione

febb

raio

200

4

1

Progetto Pilota 3per la valutazione del sistema dell’istruzione

Presentazione base: finalità generali e procedure di somministrazione

a cura di Claudio Marangon

con la collaborazione di Danila Canzian e Marina Favero

febb

raio

200

4

2

Indice

Finalità del Progetto Pilota Servizio Nazionale di Valutazione dell’Istruzione

(SNVI): Rete interistituzionale Missione

PP1>PP3: la partecipazione in Italia e nel Veneto PP3 caratteristiche Il Questionario di sistema Le prove oggettive La somministrazione delle prove Materiali e documentazione di riferimento

febb

raio

200

4

3

Finalità PP3

Progetti pilota: perché?

Per promuovere una cultura della valutazione come strumento di miglioramento per le scuole autonome

Per creare una rete di figure professionali addette alla valutazione, facendole emergere dalle scuole

Per sperimentare un modello di Servizio Nazionale di Valutazione, allineando il sistema italiano ad analoghe esperienze di altri Paesi

febb

raio

200

4

4

Servizio Nazionale di Valutazione dell’Istruzione (SNVI)/1

Rete interistituzionale

Nel nuovo scenario istituzionale il Servizio Nazionale di Valutazione dell’Istruzione prevede due polarità fondamentali: INValSI, perno delle operazioni di valutazione le autonomie scolastiche, assurte al

riconoscimento costituzionale Uffici scolastici regionali e IRRE

dovrebbero assumere ruolo di sussidiarietà e accompagnamento delle autonomie scolastiche

febb

raio

200

4

5

Servizio Nazionale di Valutazione dell’Istruzione (SNVI)/2

Missione del futuro SNVI

• Misurerà scuola per scuola le uscite del sistema istruzione secondo gli obiettivi nazionali indicati dal Ministro

• Individuerà annualmente i punti critici per azioni correttive e allocazioni di risorse

• Utilizzerà parametri coerenti con quelli usati dai servizi di valutazione comunitari ed internazionali

febb

raio

200

4

6

PP1>PP3: la partecipazione in Italia e nel Veneto

A livello nazionale: 2653 scuole iscritte volontariamente nel PP1 6755 scuole iscritte volontariamente nel PP2 oltre 9000 scuole iscritte volontariamente nel PP3

A livello regionale: 138 scuole venete iscritte volontariamente nel PP1 357 scuole venete iscritte volontariamente nel PP2 445 scuole venete iscritte volontariamente nel

PP3, di cui: 372 statali e 73 paritarie 279 già iscritte a PP2

41 scuole nel campione probabilistico nazionale 34 scuole a sperimentazione informatica

febb

raio

200

4

7

PP3 caratteristiche

Articolazione delle scuole in due gruppi: campione probabilistico nazionale (589 scuole

selezionate dall’INValSI) scuole aderenti volontariamente (oltre 9000

istituzioni scolastiche) Rilevazione nelle classi indicate dalla riforma Tre discipline indagate Strumenti:

Questionario di sistema Prove con quesiti a scelta multipla

Somministrazione per via cartacea Continuazione sperimentazione informatica

febb

raio

200

4

8

Il questionario di sistema/1

Dal PP1 e PP2 emerge la necessità di un confronto tra prestazioni degli allievi e offerta delle istituzioni scolastiche.

Il Questionario di sistema può rappresentare: strumento di raccolta di elementi di processo traccia complementare e compatibile con

qualsiasi modello di autovalutazione di istituto adottato dalle scuole.

Tiene conto sia di voci fondamentali comuni sia del possibile spazio di differenziazione fra le scuole stesse

febb

raio

200

4

9


Il Gruppo che ha elaborato il Questionario di Sistema per il PP3

ha tenuto conto delle indicazioni emerse dal PP2 ha utilizzato le osservazioni di un gruppo di Dirigenti

scolastici ha eliminato alcune domande ritenute superflue ha modificato altre domande ha razionalizzato la struttura generale ha aggiunto alcune domande sulle risorse finanziarie,

richieste dall’Amministrazione e dalla Corte dei Conti

febb

raio

200

4

10


Quest’anno il questionario è diviso in due parti da compilarsi in momenti diversi.

La prima parte raccoglie informazioni su: caratteristiche strutturali dell’istituto scolastico

(strutture fisiche e risorse disponibili) caratteristiche di contesto (bacino demografico,

popolazioni, contesto esterno)

La compilazione della prima parte (entro il 15 febbraio

2004 è a cura del Dirigente scolastico e del Direttore dei servizi generali e amministrativi.

febb

raio

200

4

11


La seconda parte raccoglie informazioni su: anagrafica organizzazione istruzione e formazione progetti di integrazione culturale attività di autovalutazione, valutazione interna,

certificazione attività di analisi sui risultati ottenuti dalle scuole miglioramento finalizzato ai processi di

insegnamento e apprendimento

febb

raio

200

4

12


La seconda parte è a cura di un Gruppo di discussione individuato all’interno della scuola, e va compilata entro il 31 marzo 2004

Le scuole debbono compilarla almeno in una copia (per l’ordine nel quale si trova la sede amministrativa)

si suggerisce, tuttavia, di compilarla in tante copie quanti sono gli ordini presenti (ad es. tre copie nel caso di un Comprensivo costituito da scuola dell’infanzia, elementare e scuola media; nel caso di scuola media andrà compilata un’unica copia, anche se la scuola è dislocata in più plessi)

febb

raio

200

4

13

Le prove oggettive

L’esigenza di rapidità e velocità per l’immissione e l’elaborazione dei dati ha precluso la possibilità di risposte aperte

Le prove sono costituite tutte, uniformemente, da quesiti a scelta multipla (4 o 5 risposte, una sola corretta; 3 solo per la classe 2a sc. primaria)

I quesiti si riferiscono sostanzialmente agli obiettivi della programmazione dell’anno precedente a quello in cui si svolge la prova

numero limitato di obbiettivi durata circa 60’ (leggermente sovradimensionata) taratura difficoltà su indici medio-facili (pre-testing)

febb

raio

200

4

14

La prova di ITALIANO/1

Quel che si intende testare:

Abilità grafiche (e di scrittura) di base

Padronanza di un lessico di estensione adeguata

Nozioni fondamentali di morfosintassi e semantica

L’architettura di un testo

Aspetti retorici e formali

Comprensione particolare e globale del testo

febb

raio

200

4

15


ESEMPIO 1All’interno della frase: forme implicite, …

Indica il significato del gerundio nella frase:Piovendo a dirotto, arrivai in ritardo

Siccome pioveva a dirotto, … Anche se pioveva a dirotto, … Ogni volta che pioveva a dirotto, … Se pioveva a dirotto, …

febb

raio

200

4

16


ESEMPIO 2Oltre la frase: i connettivi testuali, …

Indica la relazione di significato che collega le due frasi seguenti: Lo chiamai. Non si voltò

Lo chiamai. Ma non si voltò Lo chiamai. Infatti Non si voltò Lo chiamai. Dunque non si voltò Lo chiamai. Poi non si voltò

febb

raio

200

4

17


Comprensione particolare del testo Es. 1: livello scuola primaria (testo narrativo)

All’inizio del racconto, il personaggio X è presentato come un …

Che cosa fa X per / contro Y? Perché X compie una certa azione?

Es.2: livello scuola sec. I grado (testo espositivo) Dopo aver letto la prima parte del brano hai capito che … L’autore afferma che X: questo vuol dire che… Qual è il significato dell’espressione X?

febb

raio

200

4

18


Comprensione globale del testo

Es. 1: livello scuola primaria Da chi è raccontata la storia? Dove/Quando si svolge la storia? In quale ordine accadono i fatti della storia? (uso di

disegni)

Es.2: livello scuola sec. I grado Qual è lo scopo principale del brano? Qual è l’argomento principale del brano? Quale delle seguenti sequenze riassume meglio il brano?

febb

raio

200

4

19


Tipologia per livelli

Livello Tipo di teston°

quesitin°

distrattori

IIelementare

Narrativo(+ prova scienze)

12 2

IV elementare

NarrativoEspositivo

15 3

Medie inferiori

NarrativoEspositivo (argomentativo)

20 3

Medie superiori

Narrativo/poeticoespositivo- argomentativo

20 3

febb

raio

200

4

20


Comprensione testo poetico Livello: scuola secondaria II grado, III anno Qual è il ‘tema’ profondo della poesia? Qual è il registro linguistico usato dal poeta? In quante strofe si articola la poesia? Da che tipo di versi è composta la poesia? Qual è lo schema ritmico della poesia? Il poeta si rivolge a un interlocutore che va identificato con … La condizione esistenziale / Lo stato d’animo del poeta trova

una corrispondenza nell’immagine di … Confrontando il verso X con il verso Y si può osservare che

… Qual è la parafrasi corretta dei versi XY?

febb

raio

200

4

21

La prova di MATEMATICA/1

Conoscenze e abilità

COMPETENZE scelte in un ambito disciplinarmente limitato ma significativo

CONOSCENZE riferite essenzialmente a quelle acquisite nell’anno precedente

Riferimento ai PROGRAMMI di ORDINAMENTO, con attenzione anche ai nuovi CURRICULA in via di formulazione

febb

raio

200

4

22


Classe II scuola primaria

Il NUMERO Lettura e scrittura dei numeri naturali ….

GEOMETRIA Capacità di attuare percorsi e di riconoscerne

caratteristiche (più o meno lungo, aperto, …) …

febb

raio

200

4

23


Classe IV scuola primaria

IL NUMERO Conoscere i numeri naturali e decimali e sapere

operare con essi; scrittura posizionale dei numeri …GEOMETRIA …LA MISURA …INTRODUZIONE AL PENSIERO RAZIONALE ...

febb

raio

200

4

24


Classe I scuola secondaria I grado

IL NUMERO Conoscere i numeri naturali e decimali; saper operare con

essi e attuare approssimazioni …GEOMETRIA …LA MISURA …INTRODUZIONE AL PENSIERO RAZIONALE …DATI E PREVISIONI …

febb

raio

200

4

25


Classi I e III scuola secondaria II grado

NUMERO e ALGEBRA Conoscenze fondamentali riguardanti i numeri

naturali, interi, razionali … GEOMETRIA … RELAZIONI e FUNZIONI … DATI E PREVISIONI / LOGICA …

febb

raio

200

4

26

La prova di SCIENZE/1

Caratteristiche delle prove

Anche se su indici medi (Idiff = 0,4 ÷ 0,6), queste prove dovrebbero essere leggermente più difficili del PP2

per la II elementare 7 quesiti a scelta multipla (3 alternative) per gli altri livelli 25 quesiti a scelta multipla (4 alternative) quesiti a scelta multipla per tutti i livelli, centrati sui concetti

fondamentali delle scienze sperimentali della natura verifica dell’acquisizione dei punti chiave del metodo

scientifico, che entra in gioco con modalità diverse nelle diverse discipline

temi fondamentali per tutti i livelli, ma con approfondimenti e specificità disciplinari diversificate

febb

raio

200

4

27


Caratteristiche dei quesiti Riproduzione degli stessi argomenti nei diversi

livelli ma con formulazione più complessa dei quesiti e dei distrattori

Abilità implicate dai concetti indagati: identificazione delle caratteristiche dell’oggetto riconoscimento di differenze e somiglianze costruzioni di nessi, ecc.

Abilità trasversali: osservazione, uso di un linguaggio ordinario o tecnico,

comprensione di un testo, ecc.

febb

raio

200

4

28


TEMI Seconda elementare

Elementi di metodo sperimentale Viventi/non viventi Uomo/ambiente

Quarta elementare - Prima media Elementi di metodo sperimentale Viventi/non viventi Uomo/ambiente Trasformazioni

Prima superiore - Terza superiore Elementi di metodo sperimentale Biologia Chimica Fisica Scienze della Terra Scienze dell’ambiente

febb

raio

200

4

29


ABILITA’

II scuola primaria

Osservare

•esplorare attraverso i

sensi

•discriminare tra

vivente e non vivente

Ordinare

Classificare

•stabilire relazioni

IV scuola primariaI sc. sec I grado

Osservare•descrivere: •raccogliere dati•riflettere su indizi•riconoscere caratteristiche specifiche di un fenomeno

Ordinare •in sequenze temporali e/o logiche

Classificare•stabilire relazioni•in base a caratteristiche specifiche•confrontare in termini qualitativi e/o quantitativi

Linguaggi specifici•Leggere e comprendere un breve testo scientifico, usando termini del lessico specifico•Leggere il linguaggio grafico

I sc. sec II grado

Osservare•riconoscere fenomeni di natura diversa

Classificare •ordinare (in sequenze temporali e/o logiche, in termini quantitativi)•stabilire relazioni•riconoscere caratteristiche specifiche

Linguaggi specifici•Utilizzare il linguaggio matematico •calcolare, quantificare (unità di misura, strumenti di misura), confrontare•leggere tabelle, leggere grafici, leggere ed eseguire disegni in scala•Interpretare dati empirici e/o sperimentali•Risolvere situazioni problematiche •mediante concetti disciplinari•Leggere e comprendere un breve testo scientifico

febb

raio

200

4

30


Classe II scuola primaria Esempio 1 (pre-testing)La mamma ha messo sul fuoco una pentola colma d’acqua. Si è però distratta per preparare la verdura e l’acqua ha continuato a bollire per 15 minuti.Che cosa è successo nel frattempo alla quantità d’acqua?A. È rimasta quella iniziale.B. È diminuita molto.C. È aumentata.

Risposta Risposta corretta Casi Percentuale Punto biseriale

A 26 10,79 -0,28B * 105 43,57 0,34C 110 45,64 -0,16Doppia risposta 0 0,00 NAOmesso 0 0,00 NANumero totale dei casi 241 Indice di discriminazione 0,34

febb

raio

200

4

31


Classe II scuola primaria Esempio 2 (pre-testing)Renzo porta in classe una piccola calamita che gli è stata regalata dal nonno. I compagni avvicinano alla calamita i seguenti oggetti: una chiave di ferro; un foglio di carta appallottolato; una biglia di vetro; una gomma. Quali oggetti verranno attirati dalla calamita?

A. Tutti gli oggetti.B. La chiave e la biglia.C. La chiave.D. Nessun oggetto.


A 3 1,08 -0,27B 22 7,94 -0,23C * 250 90,25 0,30D 2 0,72 0,03Doppia risposta 0 0,00 NAOmesso 0 0,00 NANumero totale dei casi 277 Indice di discriminazione 0,30

febb

raio

200

4

32


Classe II scuola primaria Esempio 3 (pre-testing)Secondo te quanto misura lo spessore della moneta di un euro?□A. 5 millimetri□B. 0,2 centimetri□C. 1 centimetro

□D. 0,3 millimetri


A 61 26,99 -0,11B * 62 27,43 0,25C 18 7,96 -0,14D 85 37,61 -0,05Doppia risposta 0 0,00 NAOmesso 0 0,00 NANumero totale dei casi 226 Indice di discriminazione 0,25

febb

raio

200

4

33

La somministrazione delle prove

La somministrazione cartacea

La somministrazione informatica/mista

Il campione statistico a somministrazione cartacea

Ruolo e compiti del referente di istituto

Ruolo e compiti del somministratore

Il monitoraggio delle attività

Il controllo di qualità

febb

raio

200

4

34

La somministrazione cartacea

Riguarda tutte le scuole che hanno aderito volontariamente al Progetto Pilota 3

Ogni scuola riceverà il materiale cartaceo (copie dei fascicoli delle prove in numero sufficiente, elenco delle classi e degli studenti, manuale del somministratore) tramite corriere

La somministrazione, coordinata dal Referente di istituto, sarà effettuata da tutte le scuole nelle date indicate dall’Invalsi (un giorno per ognuna delle tre prove)

Le date indicate per il PP3 sono 16-28 febbraio 2004; le prove si svolgeranno in ore antimeridiane

Le date delle prove devono essere comunicate agli studenti delle rispettive classi, sensibilizzandoli sull’importanza della rilevazione

febb

raio

200

4

35

La somministrazione informatica/mista/1

Riguarda le scuole segnalate dalla Direzione Generale, e dotate di adeguata attrezzatura

E’ possibile una somministrazione mista (alcune classi informatica, le restanti cartacea) secondo quanto le scuole hanno già segnalato all’Invalsi

Il referente di istituto riceverà un apposito software per gestire l’operazione di scarico e carico dei dati

Per difficoltà di carattere tecnico è possibile fare riferimento a: prof. Pierantonio Garlini (presso CSA Vicenza)

tel. 0444 251173; cell. 347 [email protected]

oppure a: Help desk INValSI

tel. 06 94185273-274-275-276-277 Fax 06 94185252-202-279

e-mail [email protected]

febb

raio

200

4

36


Esempio di pianificazione nel caso di somministrazione informaticaIpotesi:

Laboratori = 1\6 classi PC per laboratorio = 12-14

Lab. A Lab. B Lab. M 8.30-9.40 I° ½ prima classe I° ½ seconda classe I° ½ m-1 esima classe 9.50-11.00 II° ½ prima classe II° ½ seconda classe I° ½ m-1 esima classe 11.10-12.20 I° ½ terza classe II° ½ quarta classe I° ½ m esima classe 12.30-13.40 II° ½ terza classe II° ½ quarta classe I° ½ m esima classe

febb

raio

200

4

37


Condizioni per svolgere l’eventuale recupero della prova:

compilazione sospesa per un cattivo funzionamento dell’apparato informatico locale

compilazione rimandata per l’assenza del 50% degli studenti di una classe

Chi svolge il recupero:

Una o più classi intere

Quando svolgere il recupero:

Dopo l’ultima sessione di compilazione delle prove oggettive di scienze

febb

raio

200

4

38

Il campione statistico a somministrazione cartacea

INValSI ha già reso note le classi selezionate (vedi http://www.invalsi.it/Pilota3/pp3/index.htm, poi Classi campionate)

La somministrazione delle prove sarà cartacea La scuola riceverà comunque il materiale cartaceo

per tutte le classi, e potrà scegliere se somministrare le prove a tutte le classi oppure solo quella selezionata da INValSI per ogni livello

Tuttavia, solo quella selezionata da INValSI risulterà parte del campione statistico

febb

raio

200

4

39

Ruolo e compiti del referente di istituto/1

Sensibilizzazione personale scolastico e famiglie (presentazione PP3 e suoi obiettivi; esempi risultati PP2)

Sensibilizzazione studenti ad una partecipazione consapevole (riservatezza e non anonimato)

Coordinamento della compilazione del Questionario di sistema

Responsabilità della somministrazione delle prove

febb

raio

200

4

40


Per il QUESTIONARIO DI SISTEMA: Coordina le attività della compilazione del questionario Preleva il Questionario e il Manuale di compilazione dal sito

Invalsi Costituisce il Gruppo di discussione Distribuisce copia cartacea del Questionario a tutti i membri

del Gruppo Pianifica le date per i necessari incontri del Gruppo Stabilisce la data in cui registrare on line le risposte Compila, entro il 31 marzo 2004, il Modulo di osservazioni

per permettere il monitoraggio delle attività che hanno portato alla compilazione del Questionario

febb

raio

200

4

41


In base al tipo di Istituto, il Gruppo di discussione può essere costituito da:

il Dirigente scolastico due allievi (per le scuole superiori) scelti tra i

rappresentanti di classe o di Istituto due genitori scelti tra i rappresentanti di classe o di

Istituto il DSGA e un rappresentante del personale ATA (per

quanto di loro competenza e in particolare per le scuole statali)

tre Docenti di discipline diverse

febb

raio

200

4

42


Per la SOMMINISTRAZIONE DELLE PROVE:

Sceglie, assieme al Dirigente scolastico, i colleghi somministratori

Informa adeguatamente i somministratori sulle procedure, garantendo che ci siano le stesse condizioni di misura >>> Manuale del referente di istituto>>> Manuale del somministratore

E’ responsabile di tutti i materiali Controlla i materiali ricevuti dall’INValSI via

corriere e li conserva in luogo sicuro

febb

raio

200

4

43


Applica le etichette con i codici sulle copertine di ciascun fascicolo

Compila Elenco classi e Elenco studenti Conserva una copia degli elenchi Coordina le attività di somministrazione delle prove

oggettive nelle date indicate dall’Invalsi Pianifica eventuale attività di recupero Stende una relazione guidata Riconsegna i materiali (via corriere)

febb

raio

200

4

44


Elenchi studenti Obbligo di partecipare per tutti gli studenti presenti il giorno

della prova Assicurare che siano ‘esclusi’ solo gli studenti che rientrano

fra i casi previsti Si consiglia di far partecipare alle prove anche gli studenti

cui è stato assegnato un codice di esclusione (per non turbare la loro sensibilità e non discriminarli)

Esclusioni: non verranno elaborati i dati di alcune categorie di studenti, da segnalare con il relativo codice esclusione: Studenti disabili fisici Studenti disabili psichici Studenti di lingua madre diversa dalla lingua delle prove,

>>> esempio Elenco classi e studenti PP3

febb

raio

200

4

45

Ruolo e compiti del somministratore

E’ scelto tra gli insegnanti che non sono della classe, possibilmente non della materia interessata, indicativamente a rotazione tra gli insegnanti in servizio il giorno della somministrazione

Ha il ruolo fondamentale di assicurare la correttezza della somministrazione.In particolare: assicura la necessaria assistenza agli studenti

distribuendo i materiali e fornendo le spiegazioni per la compilazione delle prove

se necessario, richiama gli studenti all’impegno e vigila affinché le prove siano da tutti compilate autonomamente

non fornisce, in alcun modo, alcun tipo di aiuto in merito alle risposte

febb

raio

200

4

46

Il monitoraggio delle attività

Un monitoraggio sull’andamento degli incontri provinciali di coordinamento verrà effettuato dall’Invalsi tramite: osservazione sul campo: personale dell’INValSI

parteciperà ad alcuni degli incontri programmati a livello regionale e provinciale.

somministrazione telematica di un questionario (uno per ciascuna tipologia di referente: regionale, provinciale, coordinatore di istituto) a partire dalla fine di febbraio 2004.

I dati che scaturiranno dall’osservazione sul campo e dalla somministrazione dei tre questionari saranno pubblicati in tempo reale sul sito Formazione PP3.

febb

raio

200

4

47

Il controllo di qualità

Durante i giorni della somministrazione verrà effettuato, a cura della Direzione Generale, un controllo di qualità per verificare come vengano attuate le procedure, con lo scopo di assicurare la maggiore affidabilità ai dati che verranno raccolti per l’elaborazione a livello nazionale.

Il controllo di qualità sarà condotto tramite personale appositamente incaricato che effettuerà visite a un campione di scuole.

febb

raio

200

4

48

Materiali e documentazione di riferimento

http://www.invalsi.it/Pilota3/pp3/index.htm

Manuali per referenti di istituto e somministratori Questionario di sistema (Parti 1 e 2) e Manuali per la

compilazione Esempi di prove e risultati PP2 (http://www.invalsi.it/pilota2/) Nominativi referenti regionali Informazioni su incontri provinciali Bacheche per Comunicazioni urgenti e Forum Materiale vario …

Altro materiale sul sito dell’USR Veneto, area Progetto Pilota:http://www.istruzioneveneto.it/pilota/menupilota.shtml

febb

raio

200

4

49

Riferimenti a livello provinciale

Per ogni attività legata al PP3 è possibile rivolgersi anche a:

(riferimento referente c/o CSA) (riferimento docente esterno) (riferimento docente esterno)

Progetto Pilota 3 per la valutazione del sistema dell’istruzione

Documents

Transcript of Progetto Pilota 3 per la valutazione del sistema dell’istruzione