Ridurre il divario? Gli effetti dei fondi europei per il miglioramento dell’istruzione nell’Italia meridionale

Reducing the gap? The Effects of EU funds for improving education in Southern Italy di Daniele Vidoni Patrizia Falzetti Laura Palmerio Paper for the Espanet Conference “Risposte alla crisi. Esperienze, proposte e politiche di welfare in Italia e in Europa” Roma, 20 - 22 Settembre 2012 Daniele Vidoni, INVALSI, daniele.vidoni@invalsi.it Patrizia Falzetti, INVALSI, patrizia.falzetti@invalsi.it Laura Palmerio, INVALSI, laura.palmerio@invalsi.it

1.

La crisi finanziaria che da quattro anni attraversa i mercati europei e che si è acuita negli ultimi mesi ha fatto sì che molti Paesi della zona Euro abbiano applicato misure di austerity, quali crescenti livelli di tassazione e riduzione della spesa pubblica, al fine di controllare i livelli di deficit e ridurre il debito sovrano. L’Italia è uno di questi Paesi. Seppure dette misure possono nel medio termine risolvere il problema debito, vi sono timori crescenti sulla sostenibilità della situazione e sulla possibilità di innescare la spirale virtuosa di crescita necessaria nel lungo termine per poter effettivamente superare la crisi.

Introduzione

Molte voci autorevoli identificano nello sviluppo del capitale umano l’unico strumento veramente efficace per porre le basi del ritorno a una crescita stabile e duratura. Il capitale umano, infatti, non solo è un fattore che da solo è in grado di determinare la crescita perpetua di un’economia (Lucas, 1988) ma interagisce con altri fattori rilevanti come il progresso tecnico ed è l’unico fattore produttivo a determinare la tecnologia di produzione del progresso tecnico (Romer 1990). Sebbene le ricette specifiche possano cambiare da Paese a Paese, è unanime il riconoscimento dell’istruzione come perno centrale del meccanismo di sviluppo del capitale umano e vi è la consapevolezza che la via per accrescere il capitale umano passa dal perseguimento di più alti livelli di istruzione, formazione e conoscenza, con maggiori investimenti, pubblici e privati che vanno incentivati puntando sulla qualità (Hanushek e Kimko, 2000), sulla valutazione e sul riconoscimento del merito (Visco, 2009; Cipollone Sestito 2010).

In questo momento, in Italia, lo sviluppo del sistema dell’istruzione si coniuga soprattutto con un percorso di razionalizzazione delle altre voci della spesa pubblica al fine di trovare le risorse per nuovi investimenti e un utilizzo efficace e sempre più efficiente delle risorse disponibili.1

La necessità di passare anche da un miglioramento dell’efficienza nell’utilizzo delle risorse investite nel sistema è stato ampiamente dibattuto in letteratura dove, in generale, si è evidenziato come l’associazione fra le risorse della scuola e i risultati degli studenti sia spesso sfuggente (Hanushek, 2003; OECD, 2012). Tuttavia, come mostrano Greenwald, Hedges, and Laine (1996), il legame tra ammontare di risorse investite e risultati è spesso offuscato dalla varietà di condizioni di contesto e fattori intervenienti. In ciascun paese, l’ammontare di risorse disponibili è un fattore cruciale per la qualità della scuola e le scuole utilizzano le risorse in modi diversi per migliorare i risultati.

Nel novero delle risorse disponibili per il miglioramento della qualità del sistema di istruzione e formazione, uno spazio particolare è riservato ai fondi PON, ovvero i finanziamenti del Fondo Sociale Europeo a cui possono accedere le scuole delle Regioni Obiettivo Convergenza (Calabria, Campania, Puglia e Sicilia).2

1 In tal senso si può leggere il DECRETO LEGGE 7 maggio 2012, n. 52, coordinato con la legge di conversione 6 luglio 2012, n. 94 recante: “Disposizioni urgenti per la razionalizzazione della spesa pubblica” e conosciuto come “spending review”. Nel decreto si sottolinea come la riduzione della spesa non debba incidere in alcun modo sulla quantità di servizi erogati dalle pubbliche amministrazioni a favore dei cittadini ma miri a migliorarne la qualità e l’efficienza stimolando così la crescita e la competitività del Paese, in linea con le best practices europee e con le sollecitazioni degli investitori internazionali.

A titolo esemplificativo a fronte di un budget annuale totale per

(http://www.governo.it/Presidenza/Comunicati/dettaglio.asp?d=68656) 2 Le Regioni dell’ Obiettivo Convergenza in Italia (Campania, Calabria, Sicilia e Puglia) sono le regioni che rientrano nell’Obiettivo Convergenza dell’Unione Europea perché hanno un PIL pro capite inferiore al 75% della media comunitaria. L’obiettivo Convergenza è finalizzato ad accelerare lo sviluppo socio economico delle Regioni interessate, migliorando le condizioni per la crescita e l’occupazione attraverso l’aumento e il miglioramento della qualità degli investimenti in capitale fisico e umano, lo sviluppo dell’innovazione e della società della conoscenza, dell’adattabilità

l’istruzione che in Italia si aggira tra i 40 e i 45 miliardi di euro e di cui il 97% è destinato alla copertura dei costi del personale, si riscontrano 3,8 miliardi di euro di fondi PON gestiti direttamente dal Ministero dell’Istruzione per il settennio 2007-2013. L’Unione Europea, che eroga questi fondi a rimborso dei costi delle attività aggiuntive rispetto all’ordinario che vengono realizzate nelle 4 regioni dell’Obiettivo Convergenza e sono finalizzate al miglioramento della qualità dell’istruzione, richiede di verificarne l’efficacia, con particolare riguardo all’impatto sui livelli di apprendimento e sul tasso di abbandoni scolastici precoci.3

In termini di risultati di apprendimento degli studenti, tra il 2006 e il 2009 (ovvero in 2 successive edizioni del progetto internazionale OCSE-PISA), in Italia, si è effettivamente assistito a un netto miglioramento medio dell’area PON e la domanda di ricerca che muove questo lavoro è quindi: “Vi sono evidenze empiriche a sostegno dell’efficacia dei fondi PON come strumento per il miglioramento della qualità del sistema soprattutto nelle Regioni Obiettivo Convergenza?”

Il presente contributo propone un primo esercizio di stima quantitativa dell’effetto dei fondi PON che si basa sul confronto dei risultati di due gruppi di scuole (“scuole PON” che appartengono alle 4 regioni, “scuole non PON” che appartengono a tutte le altre regioni dell’Italia centro meridionale e insulare) che condividono una particolare caratteristica, ovvero sono state selezionate nel campione di scuole partecipanti al progetto OCSE-PISA sia nel 2006 (all’inizio della programmazione PON), sia nel 2009 (a metà programmazione).

L’articolo è organizzato come segue: nella sezione 2 presentiamo una breve analisi della letteratura nonché i risultati italiani nelle indagini PISA 2006 e 2009, nella sezione 3 descriviamo la metodologia adottata e le caratteristiche dei dati, nella sezione 4 mostriamo i risultati e concludiamo identificando i limiti del lavoro e i possibili sviluppi ulteriori.

ai cambiamenti economici e sociali, la tutela e il miglioramento della qualità dell’ambiente e l’efficienza amministrativa. 3 La centralità della valutazione nella nuova Programmazione dei Fondi Strutturali Europei 2007-2013 viene riconosciuta dalla normativa comunitaria (Regolamento (CE) N. 1083/2006 del Consiglio dell'11/07/2006; Quadro Strategico Nazionale per la Politica Regionale di Sviluppo 2007-2013, approvato dalla C.E. il 13/07/2007; Delibera CIPE, del 03/08/2007), che ne stabilisce i compiti fondamentali in ordine alla necessità di accrescere l’efficacia e gli impatti sul miglioramento dell’istruzione dei Programmi Operativi Nazionali per la scuola F.S.E. “Competenze per lo sviluppo” e F.E.S.R. “Ambienti per l’apprendimento”.

2. 2.1. Analisi della letteratura

Le edizioni di PISA del 2006 e del 2009 hanno consentito un’analisi più fine della situazione; in PISA 2006, infatti, 13 fra regioni e province autonome italiane sono state sovra-campionate e ciò è avvenuto per tutte le regioni e le due province autonome di Trento e Bolzano in PISA 2009.

Le condizioni di contesto

I dati del 2006 mostrano, fra l’altro, che la percentuale di studenti italiani con discrete o elevate competenze in lettura, matematica e scienze (ovvero che si collocano al di sopra del livello di competenza 3) è inferiore alla media OCSE (19,6% vs. 32,4%). Se si osservano i dati per regione, si nota, tuttavia, che le regioni del Nord si posizionano sopra la media nazionale e spesso anche sopra la media OCSE, mentre le regioni del Sud si caratterizzano per percentuali molto basse di questi studenti (cfr. Fig. 1 per la matematica). Situazione esattamente speculare si osserva per gli studenti con risultati di performance molto scarsi, ovvero quelli che si collocano al di sotto del livello di competenza 1: nelle regioni del Nord Italia la percentuale di questi studenti è piuttosto limitata, mentre sale in modo preoccupante nelle regioni del Sud (cfr. Fig. 2 per la matematica). Simili differenze territoriali sono state evidenziate anche dalle rilevazioni del Servizio Nazionale di Valutazione (SNV) dell’INVALSI4

Tale livello scolastico, a meno degli studenti nelle classi I, in centri di formazione professionale o in scuole secondarie di primo grado è direttamente confrontabile con il campione PISA. Osservando quindi l’andamento delle regioni del Mezzogiorno si conferma quanto rilevato dall’indagine PISA: le regioni del Sud, nello specifico Campania, Basilicata, Sicilia e Sardegna mostrano punteggi significativamente inferiori alla media nazionale in Italiano; le stesse, ad esclusione della Sardegna hanno punteggi significativamente inferiori alla media nazionale anche in Matematica (INVALSI, 2011b).

. In particolare con riferimento alle scuole del primo ciclo per l’anno scolastico 2009-10, le regioni dell’obiettivo convergenza hanno un andamento piuttosto vario ma in linea di massima, pur con qualche eccezione, si trovano al di sotto della media nazionale (INVALSI, 2010). A partire dall’a.s. 2010-11 l’INVALSI ha effettuato la rilevazione degli apprendimenti anche nella classe seconda della scuola secondaria di secondo grado.

4 http://www.invalsi.it/invalsi/index.php?page=snv

Figura 1. Percentuale di studenti 15enni con competenze in matematica medie o elevate (sopra il livello 3) – PISA 2006 (Fonte: OCSE-INVALSI)

Figura 2. Percentuale di studenti 15enni con competenze in matematica molto basse (sotto il livello 1) – PISA 2006 (Fonte: OCSE-INVALSI) La Figura 3 mostra i risultati di PISA 2009 in lettura per macroarea geografica con l’evidenziazione delle regioni OC (Area Convergenza); queste ultime, come si può osservare, si collocano in una posizione analoga a quella delle macroaree Sud e Sud-Isole, ovvero sensibilmente sotto la media nazionale e OCSE.

Figura 3. Risultati PISA 2009. Punteggio medio in lettura per macroarea geografica (Fonte: OCSE-INVALSI) Tuttavia, se si osservano i risultati in termini diacronici nelle differenti tornate di PISA, si può notare un generale miglioramento, soprattutto nelle aree del Sud e in particolare nell’Area Convergenza (Fig. 4), che richiede ulteriori approfondimenti.

Figura 4. Risultati PISA dal 2000 al 2009. Punteggio medio in lettura per macroarea geografica (Fonte: OCSE-INVALSI)

La domanda di ricerca cui questo lavoro mira a dare una iniziale risposta è se l’incremento di risorse scolastiche ha effetto sul miglioramento dei risultati degli studenti.

2.2.

Il problema appena delineato è un tipico oggetto d’indagine del filone di letteratura della school effectiveness in cui si indagano gli effetti di molteplici input sulla cosiddetta frontiera di produzione dell’istruzione. In particolare, questo lavoro rientra nell’ambito degli studi che analizzano la relazione tra disponibilità di risorse (input) e risultati degli studenti, generalmente misurati in base a test standardizzati in materie chiave quali matematica, italiano ed eventualmente scienze (output).

L’efficacia di policy input-based

In base alla prospettiva temporale e alla quantità di risorse disponibili, è possibile attivare molteplici policy, ciascuna oggetto di studio di un filone specifico. In generale, si possono distinguere le policy legate all’immissione nel sistema risorse finanziarie aggiuntive (spesa pro-capite per studente, Hanushek 2003, Hanushek e Kimko, 2000; salario degli insegnanti, Hanushek e Rivkin, 2007; attivazione di programmi di incentivi per gli studenti, Angrist.J, P. Lang, and P. Oreopoulos, 2009, Angrist and Lavy, 2009; o l’attivazione di programmi di incentivi per gli insegnanti, Lavy, 2009) e policy più legate alla provvigione e qualità delle risorse umane e strumentali. Per esempio, si analizzano la formazione e certificazione degli insegnanti (Angrist and Lavy, 2001, Kane Rockoff and Staiger, 2007), la riduzione della dimensione delle classi (tra gli altri: Angrist and Lavy, 1999, Kruger 1999, Hoxby 2000), l’attivazione di percorsi di recupero per gli studenti (Jacob and Lefgren, 2004, Lavy and Schlosser, 2005), l’effetto degli insegnanti (Rockoff,

2004, Rivkin, Hanushek, and Kain, 2005), l’utilizzo di strumenti ICT per il supporto all’insegnamento (Angrist and Lavy. 2002, Barrow, Markman and Rouse, 2009).

I fondi PON, per loro natura sono finanziamenti che devono essere utilizzati per finanziare esclusivamente attività che abbiano carattere aggiuntivo rispetto a quelle realizzate con i fondi nazionali ordinari.5 Ciò fa sì che le tipologie di interventi realizzabili con l’utilizzo di questi fondi rientrino solo in alcune delle categorie previamente delineate. In particolare, le attività finanziabili sono riconducibili alle seguenti tematiche:6

• Migliorare le competenze del personale della scuola e dei docenti;

• Migliorare i livelli di conoscenza e competenza dei giovani; • Accrescere la diffusione, l’accesso e l’uso della società dell’informazione nella scuola; • Promuovere il successo scolastico le pari opportunità e l’inclusione sociale; • Migliorare i sistemi di apprendimento durante tutto l’arco della vita.

In particolare, nel primo triennio di attività (2007-2009), i fondi sono stati utilizzati per finanziare la formazione in servizio dei docenti per l’acquisizione di ulteriori competenze e per attivare corsi pomeridiani di potenziamento o recupero per gli studenti.

2.2.1.

Le attività di recupero e approfondimento per gli studenti si traducono sostanzialmente in un incremento del tempo trascorso a scuola da parte degli alunni. Gli studi sull’efficacia del tempo scuola riguardano sia l’efficacia di remedial classes che l’efficacia di prolungamenti dell’orario scolastico o del numero di giorni a scuola.

Efficacia del prolungamento del tempo scuola

In generale, come ben evidenziano Boatman e Long (2010), emerge come questo tipo di attività abbia effetti diversi in base al livello di preparazione degli studenti. Inoltre, se ben disegnati e implementati, questi corsi possono avere effetti positivi misurabili nel tempo fino a 2-3 anni dopo l’intervento. In alcuni casi, le analisi per valutare l’efficacia di questi interventi sono condotte con un approccio controfattuale utilizzando disegni sperimentali o quasi sperimentali. La maggior parte degli studi, però utilizza disegni non sperimentali nell’investigare l’effetto del tempo pieno a scuola sui risultati degli studenti e i risultati sono quanto mai variegati.

Lavy and Schlosser (2005) evidenziano che, tra le attività di recupero per gli studenti in difficoltà nelle scuole medie in Israele, i corsi di recupero che accrescono il tempo-scuola per questi studenti sono più efficienti in termini di costo di altre soluzioni basate su incentivi economici agli studenti. Jacob e Lefgren (2004) mostrano che i corsi estivi offerti a studenti in debito formativo (livelli 3, 6 e 8) hanno effetti positivi sui risultati in matematica e lingua per un periodo fino a 2 anni dopo l’intervento. Bellei (2009) e Gibbs (2010) utilizzano disegni quasi sperimentali per indagare il legame causale tra tempo-scuola e risultati degli studenti. Gibbs (2010) studia l’effetto del tempo pieno all’asilo (FDK) rispetto alla mezza giornata (HDK) grazie a un esperimento naturale in Indiana che, nel 2007, ha approvato una legislazione in base a cui vengono previsti finanziamenti per migliorare l’accesso e la disponibilità di FDK per l’a.s. 2007-2008. I risultati suggeriscono che, in media, il tempo pieno non ha effetti sulle competenze degli studenti nelle materie di base così

5 Si veda per esempio il documento: PROGRAMMA OPERATIVO NAZIONALE 2007-2013 “Obiettivo Convergenza" “Competenze per lo Sviluppo” 2007 IT 05 1 PO 007 F.S.E. Indicazioni e orientamenti metodologici per gli Obiettivi ed Azioni del Fondo Sociale Europeo, http://pon.agenziascuola.it/portale/documenti/allegato6.pdf 6 V. sopra, PROGRAMMA OPERATIVO NAZIONALE 2007-2013 “Obiettivo Convergenza"

come misurate da test alla fine della scuola materna. Gli effetti sono invece sostanziali se si osservano gli studenti dell’ultimo quartile di competenze così come misurate all’ingresso. Bellei (2009) valuta l’effetto in termini di apprendimenti degli studenti di un programma attivato dal governo cileno nel 1997 per prolungare la durata del tempo scuola in tutte le scuole primarie (i.e. elementari e medie) pubbliche del paese. Il programma ha effetti positivi tanto sugli apprendimenti in matematica quanto in lingua e gli effetti sono abbastanza eterogenei essendo maggiori per gli studenti di scuole rurali che per quelli di scuole urbane.

Per quanto riguarda gli studi non sperimentali sull’analisi di corsi di recupero e prolungamento del tempo scuola, DeCicca (2007) identifica effetti positivi, ma discernibili solo fino alla fine del primo anno di scuola, Cannon et al. (2006) identificano effetti che perdurano fino al terzo anno di scuola elementare, altri studi argomentano che le competenze degli studenti sono influenzate dalla dimensione della classe piuttosto che dalla durata del tempo scuola (Zvoch et al. 2006). Sims (2008) osserva la variazione nella durata del tempo scuola in Wisconsin precedente rispetto al test standardizzato quando la durata totale dell’anno scolastico rimane immutata. Trova che il tempo scuola aggiuntivo influenza positivamente gli apprendimenti in matematica ma non quelli in lingua degli studenti di quarta elementare. Il tempo scuola è associato a maggiori apprendimenti in lingua per gli studenti di terzo anno della coda destra della distribuzione di abilità. Marcotte and Hemelt (2008), Marcotte (2007) and Hansen (2008) si concentrano sulla variabilità del numero di giorni di scuola legata al clima inclemente. Tutti gli autori evidenziano che più tempo a scuola ha effetti positivi sui risultati degli studenti nei successivi test standardizzati.

Lee e Barro (2001) presentano uno studio comparato a livello internazionale sull’effetto della quantità di tempo a scuola in un anno controllando per molteplici misure di risorse scolastiche. I loro risultati evidenziano un’associazione positiva tra tempo scuola e risultati in matematica o scienze, ma sorprendentemente un’associazione negativa tra tempo scuola e risultati in lingua. Anche Woessmann (2003), analizzando a livello comparato i dati PISA e TIMSS, trova risultati simili. In particolare, trova un effetto significativo del tempo scuola specificamente dedicato alle lezioni, ma la dimensione dell’effetto è assai ridotta. Il maggior limite di questi ultimi due studi è che, pur controllando per moltissime caratteristiche e risorse a livello di scuola e di paese, non sono in grado di eliminare il bias dovuto alla eterogeneità non misurata e correlata con il tempo scuola e i risultati degli studenti. Di recente Lavy (2010) ha investigato gli effetti del tempo scuola sui risultati degli studenti in matematica, scienze e lingua nei paesi OCSE e ha trovato un effetto positivo, anche se maggiore nei paesi più sviluppati, per le ragazze e per gli studenti provenienti da un background socioeconomico svantaggiato e per gli immigrati.

2.2.2.

Per quanto riguarda l’effetto della formazione degli insegnanti sugli apprendimenti degli studenti, vi sono due filoni principali di analisi. Il primo s’interroga sull’effetto dell’acquisizione di titoli successivi rispetto alla laurea, mentre il secondo osserva l’effetto della formazione in servizio. Per quanto attiene a questo secondo filone, vi sono pochi studi rigorosi che osservano l’effetto della formazione in servizio sugli apprendimenti degli studenti (Borko, 2004; Clewell, Campbell, & Perlman, 2004; Kennedy, 1998; Killion, 1999; Loucks-Horsley & Matsumoto, 1999; Supovitz, 2001). Vi è più letteratura sugli effetti della formazione professionale sull’apprendimento degli insegnanti medesimi e sulla didattica, ma questi studi non permettono di dimostrare effetti sui risultati degli studenti (Garet et al. 2001). Una review sistematica sugli effetti della formazione professionale degli insegnanti è quella di Kennedy (1998) in cui si analizza l’impatto sui risultati degli studenti dei corsi di formazione professionale seguiti dagli insegnanti in matematica e scienze. L’analisi di

Efficacia della formazione docente

Kennedy spazia su molteplici dimensioni tra cui la materia oggetto del corso, i contenuti del corso, la forma, il livello di capacità e approfondimento richiesto, nonché dimensioni meno tangibili quali intensità e livello di concentrazione necessario. La conclusione è che l’effetto sui risultati degli studenti è minore per i programmi i cui contenuti sono soprattutto relativi alle strategie/modalità di comportamento degli insegnanti piuttosto che sulla conoscenza della materia, del curriculum e di come gli studenti apprendono.

3.

Dati e metodologia

3.1.

Il punto di partenza per questo lavoro sono i dati raccolti in Italia da INVALSI per i campioni di scuole che hanno partecipato alle indagini OCSE PISA 2006 e OCSE PISA 2009.

Le caratteristiche dei dati - CAMPIONI E STRUMENTI PISA 2006-PISA 2009

L’indagine internazionale PISA realizzata dall'OCSE (http://www.oecd.org/pisa/) con l’obiettivo di misurare le competenze degli studenti in matematica, scienze, lettura e problem solving. Per ogni ciclo di PISA viene approfondito un ambito in particolare. L'ambito principale d’indagine in PISA 2006 è stato quello delle scienze, ma la rilevazione ha coperto anche gli ambiti della lettura e della matematica. Gli studenti hanno risposto a una prova cognitiva, consistente in un test “carta e matita” della durata di due ore, e a un questionario che fornisce informazioni sul contesto familiare degli studenti, sulle loro abitudini di studio, sui loro atteggiamenti nei confronti delle scienze, sulla loro percezione dell’ambiente in cui apprendono, sul loro coinvolgimento nelle attività didattiche e sulla loro motivazione allo studio. A domande in parte analoghe hanno risposto anche i genitori degli studenti partecipanti, compilando un apposito questionario. I dirigenti scolastici delle scuole campionate, inoltre, hanno compilato un questionario che comprendeva domande sulle caratteristiche strutturali e organizzative della propria scuola e una valutazione della sua qualità come ambiente di apprendimento. In Italia ha partecipato un campione di 21.773 studenti, in 806 scuole, stratificato per macroaree geografiche (Nord Ovest, Nord Est, Centro, Sud, Sud Isole) e per indirizzi di studio (Licei, Istituti tecnici, Istituti professionali, Scuole medie, Formazione professionale). Il campione italiano è, inoltre, rappresentativo di 11 regioni (Basilicata, Campania, Emilia Romagna, Friuli Venezia Giulia, Liguria, Lombardia, Piemonte, Puglia, Sardegna, Sicilia, Veneto) e delle due province autonome di Bolzano e di Trento. In PISA 2009 è stato il turno della literacy in lettura come ambito principale, con la rilevazione della matematica e delle scienze come ambiti secondari. Gli strumenti di rilevazione utilizzati sono stati gli stessi di PISA 2006, ovvero test cognitivo, questionario studente, questionario genitori e questionario scuola. L’Italia ha partecipato con un campione di 30.905 studenti e 1.099 scuole stratificato a livello regionale e per tipo di scuola. Per la prima volta, infatti, tutte le regioni italiane sono state rappresentate tramite un sovra-campionamento.

Per quanto attiene all’oggetto specifico dello studio, i dataset INVALSI hanno permesso di identificare 75 scuole (23 PON, 52 non PON) che sono state indipendentemente sorteggiate come parte dei campioni di scuole che hanno partecipato al progetto PISA 2006 e al progetto PISA 2009.

3.2. Il disegno della ricerca

La specifica domanda valutativa oggetto d’indagine è quindi quella di quantificare coeteris pari bus se e quanto l’accesso a fondi pubblici ulteriori rispetto alla dotazione standard abbia avuto effetti positivi sui risultati degli studenti nell’arco del primo triennio di programmazione PON. Sebbene siano soltanto 4 le regioni italiane destinatarie dei fondi aggiuntivi FP7, le condizioni di background socioeconomico sono molto simili a quelle delle regioni adiacenti, così come i livelli e le modalità di finanziamento pubblico ricevuto. Tale discontinuità geografica nell’accesso ai fondi consente di esaminare l’effetto dell’incremento di risorse scolastiche sui risultati degli studenti. L’avere accesso ai fondi PON è dunque il trattamento oggetto d’indagine e, in un approccio controfattuale, rispondere alla domanda precedente richiede di poter confrontare i risultati delle scuole che hanno avuto accesso ai fondi con quelli di un gruppo di controllo (in questo caso identificato ex-post), composto dai soggetti non-trattati (ovvero che non hanno avuto accesso ai fondi) più simili, nelle caratteristiche osservabili, ai trattati.

Come anticipato, i dataset INVALSI hanno permesso di identificare 75 scuole (23 PON, 52 non PON) appartenenti alle regioni PON e limitrofe (Basilicata, Sardegna, Umbria, Abruzzo) che sono state indipendentemente sorteggiate come parte dei campioni di scuole che hanno partecipato al progetto PISA 2006 e al progetto PISA 2009. Tutte le scuole identificate sono scuole pubbliche e ciò ci da un primo motivo di conforto sulla somiglianza tra i due insiemi di scuole. Dai questionari e test cognitivi del progetto OCSE-PISA sono state ricavate le informazioni relative agli anni scolastici 2005-2006 e 2008-2009. Sono state inoltre utilizzate le informazioni amministrative sui budget disponibili per quelle scuole.

Utilizzando metodologie di “propensity score matching” (Rosenbaum e Rubin, 1983) e in particolare il Coarsen Exact Matching Algorithm (Iacus, King e Porro, 2009), sono stati identificati due gruppi di scuole equivalenti in base alle dimensioni misurate dall’indagine PISA 2006. Nella tabella 1 sono riportate le variabili utilizzate per il matching. Tabella 1. Variabili utilizzate per il matching Variabile Descrizione ESCS Status socioeconomico e culturale medio degli studenti COMMUNITY Comunità in cui è collocata la scuola SCHSIZE Dimensione totale della scuola TCSHORT Carenza di insegnanti SCMATEDU Risorse educative della scuola RATCOMP % di computer connessi a internet Successivamente al matching, il dataset oggetto di analisi è risultato composto da 37 scuole (21 PON, 16 non PON) e 1161 studenti. Sebbene di numerosità ridotta rispetto al totale (21 rispetto a 175 nelle regioni PON e 16 rispetto a 111 nelle regioni non PON), i due gruppi di scuole selezionati sono risultati sostanzialmente bilanciati così come descritto nella tabella 2.

Tabella 2. Differenze nei valori medi delle variabili di matching tra sottogruppo e totale

PON totale PON subsample

Significativamente diversa

NON PON totale NON PON sub sample Significativamente

diversa Media Errore

std Media Errore std Media Errore

std Media Errore std

TCSHORT -0,090 0,077 -0,015 0,251 no -0,178 0,088 0,187 0,196 no

SCHSIZE 821,581 38,098 986,067 135,162 no 545,226 33,466 782,522 68,587 si +

RATCOMP 0,110 0,007 0,135 0,043 no 0,171 0,012 0,114 0,011 si -

SCMATEDU -0,014 0,085 0,122 0,256 no -0,204 0,091 -0,315 0,160 no

ESCS_mean -0,285 0,043 -0,066 0,160 no -0,352 0,055 -0,131 0,122 no

si + ovvero la media NON PON subsample è significativamente superiore alla media NON PON totale si - ovvero la media NON PON subsample è significativamente inferiore alla media NON PON totale Se per il sottogruppo di scuole delle regioni PON non si evidenziano differenze statisticamente significative rispetto al totale in alcuna delle variabili usate per il matching, il sottogruppo delle scuole delle regioni non PON si compone invece di unità con un numero di studenti mediamente maggiore rispetto al totale (986,067 rispetto a 782,522) e una minor percentuale di computer connessi a internet (7% rispetto a 12%). Le variabili utilizzate nel presente studio, a livello studente e scuola, per la stima del SATT sono illustrate nella Tabella 3. Tabella 3. Variabili utilizzate nel modello Variabile Descrizione Variabile Descrizione - Livello studente - - Livello scuola - ESCS Status socioeconomico e

culturale PON Scuola nelle regioni PON o meno

LANG Lingua parlata a casa MATH or READ 2006

Punteggio medio in lettura e matematica nel 2006

IMMIG Immigrato / Autoctono ESCS Status socioeconomico e culturale medio degli studenti

SEX Genere COMMUNITY Comunità in cui è collocata la scuola SCHSIZE Dimensione totale della scuola STRATIO Carenza di insegnanti PCGIRLS % di ragazze PROPCERT % di insegnanti abilitati TCSHORT Carenza di insegnanti SCMATEDU Risorse educative della scuola RATCOMP % di computer connessi a internet Queste variabili sono state utilizzate in un modello di regressione multilivello a 2 livelli con effetti fissi di scuola (Raudenbush e Bryk, 2002). La regressione multilivello, rispetto alla regressione ordinaria, tiene conto della correlazione che esiste tra osservazioni appartenenti a uno stesso gruppo. In particolare, in una struttura di tipo gerarchico come quella tipica del sistema di istruzione (alunni raggruppati in classi, classi riunite in scuole) è di fondamentale importanza tenere conto di tali correlazioni. Gli alunni vengono riuniti in classi che si trovano in determinate scuole, e non si possono trascurare le implicazioni derivanti da tale struttura gerarchica; studenti che appartengono ad una

stessa classe probabilmente mostreranno fra loro più somiglianze di quelle che si registrano fra studenti provenienti da classi diverse, ciò è dovuto ai vari processi di selezione o autoselezione che portano a formare le classi e, di conseguenza, le scuole. In situazioni di questo tipo, i modelli di regressione lineare, non tenendo conto di tali effetti, non portano a conclusioni in linea con la letteratura o portano a risultati difficilmente interpretabili. Il modello utilizzato nel presente lavoro si basa su un’analisi di regressione a due livelli, studente e scuola, sulle prestazioni degli studenti del campione del PISA 2009 in lettura e matematica. In generale, un modello di regressione semplice rappresenta l’associazione tra due variabili tramite una retta espressa dall’equazione seguente:

Υi = α + βΧi +ε (1) Dove

Υi è il rendimento dell’individuo i-mo per i=1,…,n;

α è l’intercetta, ovvero il valore medio assunto da Y quando X=0;

β è il coefficiente di regressione lineare che esprime la pendenza della retta; ovvero la variazione media della variabile Y al variare di una unità della variabile X;

ε i è il termine di errore, ovvero la differenza tra il valore Y effettivamente osservato ed il valore teorico desumibile dalla (1). Tale valore rappresenta la parte di variabilità dei dati che la variabile X non riesce a spiegare. Nel caso di individui che provengono da gruppi diversi, con tale modello non si riesce a cogliere le implicazioni dovute a tale fatto. Occorre quindi aggiungere nel modello un indice rappresentativo del gruppo di appartenenza di ciascun individuo:

Υij = β0 j + β1 jΧij +ε ij (2)

Dove Yij è il rendimento dell’individuo i del gruppo j espresso in funzione del rendimento medio del gruppo (

β0 j ) e dell’effetto medio (

β1 j ) prodotto da una variazione unitaria della variabile X sulla variabile Y, all’interno del gruppo;

ε ij è l’errore individuale che ha lo stesso significato illustrato per il modello (1). La variabilità dei coefficienti

β0 j e

β1 j può essere espressa in funzione di una media di gruppo

γ 00 e

γ10 , di qualche caratteristica di gruppo Zj più una componente di errore u0j e u1j associata al gruppo. 4.

Un primo risultato derivante dalla tecnica difference-in-differences mostra un effetto positivo dei fondi PON. Lo stesso si evince dai risultati dei modelli multilivello di seguito riportati.

Risultati

Tabella 4. Regressione multilivello Matematica PISA 2006 MATH M0 M1 M2 M3 M4 Intercept 443,29*** 459,36*** 461,17*** 471,36*** 472,27*** SEX -25,01*** -24,98*** -25,41*** -26,14*** LANG -7,60 -7,60 -7,55 IMMIG -19,15** -19,14** -19,04** -20,54*** ESCS 3,02 2,99 2,00 PON -4,64 -29,99** -33,25*** STRATIO 13,66*** 14,95*** PROPCERT 101,72 SCHSIZE 0,05** 0,04** RATCOMP 26,41*** 29,79*** PCGIRLS -29,90 TCSHORT 1,71 SCMATEDU -7,85 PISA 2009 MATH M0 M1 M2 M3 M4 Intercept 468,95*** 486,89*** 480,19*** 477,76*** 482,31*** SEX -28,28*** -28,38*** -28,20*** -29,80*** LANG -5,04 -4,94 -4,38 -4,02 IMMIG -33,82*** -33,63*** -33,12*** -34,06*** ESCS 8,85*** 8,81*** 8,18*** 7,81*** PON 17,04 22,57** 13,11 STRATIO -0,72 PROPCERT 17,57 SCHSIZE 0,01 RATCOMP 18,13 PCGIRLS 0,64** MATH2006 0,67*** 0,65*** COMMUNITY 6,88

Tabella 5. Regressione multilivello Lettura PISA 2006 READ M0 M1 M2 M3 M4 Intercept 463,42*** 449,23*** 454,07*** 468,27*** 464,88*** SEX 32,53*** 32,65*** 31,66*** 32,62*** LANG -29,74*** -29,76*** -29,85*** -32,43*** IMMIG -18,73* -18,74* -18,34* ESCS 6,99*** 6,99*** 5,79** 6,02** PON -12,44 -47,24*** -41,55*** STRATIO 11,57*** 14,11*** PROPCERT 47,41 SCHSIZE 0,06** 0,04** RATCOMP 29,17*** 29,95*** PCGIRLS 54,46 TCSHORT -4,03 SCMATEDU -10,89 READ2006 COMMUNITY PISA 2009 READ M0 M1 M2 M3 M4 Intercept 481,39*** 471,97*** 464,87*** 463,30*** 467,74*** SEX 21,43*** 21,34*** 20,50*** 19,97*** LANG -12,19** -12,09** -11,91** -11,59* IMMIG -25,58** -25,41** -27,22*** -27,06*** ESCS 8,17*** 8,13*** 7,42*** 7,26** PON 18,05 23,14** 12,49 STRATIO 0,42 PROPCERT 87,54 SCHSIZE 0,02 RATCOMP -1,38 PCGIRLS 0,17 READ2006 0,71*** 0,60*** COMMUNITY 0,38

I risultati di questo studio, da ritenersi ancora preliminari, suggeriscono che i fondi PON abbiano un effetto sull’istruzione e sui risultati di apprendimento.

Conclusioni, limiti dello studio e approfondimenti futuri

Nell’arco di tre anni, infatti, i risultati medi di scuola delle regioni PON sono migliorati sia in lettura che in matematica, riducendo in modo rilevante il gap di performance che le caratterizzava, pur non annullandolo. Se si considera il modello parsimonioso di analisi, le scuole che hanno beneficiato dei fondi PON sono passate da una situazione di netto ritardo, rispetto ad altre regioni del Sud, nel 2006 a un significativo vantaggio sia in matematica che in lettura nel 2009, corrispondente a circa 40 punti PISA, ovvero a un anno di scolarizzazione.

Parte di questo miglioramento potrebbe essere dovuto alla specifica formazione sulla conoscenza e l’utilizzo delle prove PISA che insegnanti e studenti hanno ricevuto nel 2008 nell’ambito del “Piano di informazione e formazione sull’indagine OCSE-PISA”. Il Piano, realizzato nell’ambito dell’Asse I – Capitale Umano – Obiettivo B - Azione B3 “Interventi di formazione sulla valutazione nei processi di apprendimento“ del PON “Competenze per lo sviluppo” Fondo Sociale Europeo 2007-2013, persegue la finalità di promuovere la conoscenze nel mondo della scuola degli aspetti teorici e metodologici della valutazione degli apprendimenti, contribuendo così all’azione di miglioramento dei risultati degli studenti delle regioni OC. Nell’ambito del Piano sono state realizzate, fra l’altro, azioni informative e formative rivolte ai docenti di Italiano, Matematica e Scienze di ogni ordine e grado, al fine di concorrere alla realizzazione degli obiettivi principali del Quadro Strategico Nazionale 2007-2013 che mirano a ridurre la percentuale dei giovani che abbandonano prematuramente gli studi, dei quindicenni con scarse competenze in lettura (sotto il livello di competenza 2 di OCSE-PISA) e dei quindicenni con scarse competenze in matematica (sotto il livello di competenza 2 di OCSE-PISA). I limiti della ricerca presentata in questo lavoro sono da individuarsi nel numero eccessivamente ridotto di scuole che invita a una ragionevole cautela nell’interpretazione dei risultati. Non è disponibile, inoltre, nessuna misura dell’efficienza della spesa nelle scuole destinatarie dei fondi; non necessariamente, infatti, chi riceve risorse ha idee chiare su come utilizzarle. Infine, non va trascurata la possibilità dell’esistenza di effetti riconducibili a variabili non misurate, ipotesi piuttosto probabile data la notevole complessità che caratterizza il contesto di apprendimento e quello scolastico in generale. I dati provenienti dalle rilevazioni nazionali, che sono disponibili da poco tempo, ci consentiranno di verificare:

- se in questo quinquennio i risultati di apprendimento delle scuole appartenenti al nostro gruppo di trattamento sono cambiati e, se sì, in quale direzione;

- se la destinazione dei fondi alle diverse attività (ad es. la formazione degli insegnanti, i laboratori, gli edifici scolastici, le iniziative indirizzate agli studenti ecc.) è in qualche modo associata ai risultati di apprendimento degli studenti.

Angrist, J. and V. Lavy (1999). “Using Maimonides‘ Rule to Estimate the Effect of Class Size on Scholastic Achievement”, Quarterly Journal of Economics, 114: 533-75.

Riferimenti

Angrist, J. and V. Lavy (2001). "The Effect of Teachers' Training on Student Achievements.” Journal of Labor Economics, 19(2), 343-369.

Angrist, J. and V. Lavy (2002). “New Evidence on Classroom Computers and Pupil Learning”, The Economic Journal,. 112, 735-765.

Angrist, J. and V. Lavy, (2009) “The Effect of High-Stakes High School Achievement Awards: Evidence from a Randomized Trial‖, American Economic Review, 99, 1384-1414.

Angrist, J. P. Lang, and P. Oreopoulos, Incentives and Services for College Achievement: Evidence from a Randomized Trial‖, American Economic Journal: Applied Economics, 2009.

Barrow, L. L. Markman and C. E. Rouse, (2009) “Technology's Edge: The Educational Benefits of Computer-Aided Instruction‖, American Economic Journal: Economic Policy, 1(1), 52–74.

Bellei C, (2009), “Does lengthening the school day increase students’ academic achievement? Results from a natural experiment in Chile”, Economics of Education Review, 28: 629–640

Boatman, A., Long, B.T., (2010) Does Remediation Work for All Students? How the Effects of Postsecondary Remedial and Developmental Courses Vary by Level of Academic Preparation, NCPR Working Paper http://www.postsecondaryresearch.org/i/a/document/14155_ABoatman_BLong_Final_9-21-10.pdf

Borko, H. (2004). Professional development and teacher learning: Mapping the terrain. Educational Researcher, 33(8), 3–15.

Cannon, J. S., Jacknowitz, A., and Painter, G. (2006). “Is full better than half? Examining the longitudinal effects of full-day kindergarten attendance.” Journal of Policy Analysis & Management, 25(2), 299-321

Cipollone, P., Sestito, P., (2010) Il capitale umano - Collana "Farsi un'idea" edizione Il Mulino.

Clewell, B. C., Campbell, P. B., & Perlman, L. (2004). Review of evaluation studies of mathematics and science curricula and professional development models. Submitted to the GE Foundation. Washington, DC: Urban Institute.

DeCicca, P. (2007). “Does full-day kindergarten matter? Evidence from the first two years of schooling”. Economics of Education Review, 26(1), 67-82.

Garet, M. S., Porter, A. C., Desimone, L. M., Birman, B. F., & Yoon, K. S. (2001). What makes professional development effective? Results from a national sample of teachers. American Educational Research Journal, 38(4), 915–945.

Gibbs C.H, (2010) Measuring the Impact of Full-Day Kindergarten: Experimental and Quasi-Experimental Evidence, Society for Research on Educational Effectiveness, report.

Greenwald, R., Larry V. Hedges & Richard D. Laine, The Effect of School Resources on Student Achievement, 66 REV. EDUC. RES. 361, 361–62 (1996).

Hansen, B. (2008). “School year length and student performance: Quasi-experimental evidence”. Mimeo: University of California–Santa Barbara

Hanushek, E. A., & Rivkin, S. G. (2007, Spring). Pay, working conditions, and teacher quality. Excellence in the Classroom, 17(1), 69–86.

Hanushek E.A., (2003), The Failure of Input-Based Schooling Policies, The Economic Journal, 113, F64-F98.

Hanushek E.A., Kimko D.D., (2000), Schooling labor force quality, and the growth of the nations, American Economic Review, 90, 5, pp. 1184-208.

Heckman, J. J., Ichimura, H., & Todd, P. (1997). Matching as an econometric evaluation estimator: Evidence from evaluating a job training programme. Review of Economic Studies, 64, 605-654.

Hoxby,C.M. (2000). "The Effects Of Class Size On Student Achievement: New Evidence From Population Variation," The Quarterly Journal of Economics, 115(4), 1239-1285.

Iacus S.M., King G., Porro G. (2009), Causal Inference Without Balance Checking: Coarsened Exact Matching, Political Analysis (2011). copy at http://j.mp/iUUwyH

INVALSI, (2010), “Il Servizio Nazionale di Valutazione. Aspetti operativi e prime valutazioni sugli apprendimenti degli studenti”, http://www.invalsi.it/snv0910/

INVALSI, (2011) “Le competenze in lettura, matematica e scienze degli studenti quindicenni italiani. Rapporto nazionale PISA 2009”, http://www.invalsi.it/invalsi/ri/pisa2009.php?page=pisa2009_it_09

INVALSI, (2011b), “Gli esiti del Servizio nazionale di valutazione 2011 e della Prova nazionale 2011”, http://www.invalsi.it/snv1011/

Jacob, B. and Lefgren L. (2004). “Remedial education and student achievement: A regression-discontinuity analysis”, Review of Economics and Statistics, 86, 226-44.

Kane.T. J, J. E. Rockoff and D. O. Staiger (2007) “What Does Certification Tell Us About Teacher Effectiveness? Evidence From New York City”, NBER Working Paper 12155.

Kennedy, M. (1998). Form and substance of inservice teacher education (Research Monograph No. 13). Madison, WI: National Institute for Science Education, University of Wisconsin–Madison.Killion, 1999;

Krueger, A. (1999) “Experimental Estimates of Education Production Functions”, Quarterly Journal of Economics. 114, 497-532.

Lavy , V. (2010), “Do differences in school’s instruction time explain international achievement gaps in math, science and reading? Evidence from developed and developing countries”, NBER Working Paper 16227

Lavy, V. (2009) “Performance Pay and Teachers‘ Effort, Productivity and Grading Ethics”, American Economic Review, 99(5), 979-2011.

Lavy, V. and A. Schlosser, (2005). ”Targeted Remedial Education for Under-Performing Teenagers: Costs and Benefits”, Journal of Labor Economics, 23, 839-74.

Lee, J.-W. and Barro, R. (2001), “School Quality in a Cross-Section of Countries”, Economica, vol. 68, 465-88.

Loucks-Horsley, S., & Matsumoto, C. (1999). Research on professional development for teachers of mathematics and science: The state of the scene. School Science and Mathematics, 99(5), 258–271.

Lucas, R., 1988. On the mechanics of economic development. Journal of Monetary Economics 22, 3–42.

Marcotte, D., and Hemelt, S. (2008). “Unscheduled school closings and student performance”. Education Finance and Policy, 3(3), 316–338.

Marcotte, D. (2007). “Schooling and test scores: A mother-natural experiment”. Economics of Education Review, 26(5), 629–640

OECD, (2001), Education at a Glance, Paris, OECD.

OECD, (2012), Does money buy strong performance in PISA?, PISA In Focus, n. 13, http://www.oecd.org/pisa/49685503.pdf (trad. It., Può il denaro determinare migliori risultati in PISA?, http://www.invalsi.it/invalsi/ri/pisainfocus/it/PISA%20in%20Focus%2013.pdf

Paxson C., Schady N.R., (2002), The Allocation and Impact of Social Funds: Spending on School Infrastructure in Peru, The World Bank Economic Review, 16, 2, 297-319.

Pierce B., Welch F., (1996), “Changes in the structure of wages”, in (E.A. Hanushek, D.W. Jorgenson, eds.) Improving America’s Schools: The Role of Incentives, pp. 53-73, Washington, DC: National Academic Press.

Pradhan M., Rawlings L.B., (2002), The Impact and Targeting of Social Infrastructure Investments: Lessons from the Nicaraguan Social Funds, The World Bank Economic Review, 16, 2, 275-295.

Psacharopoulos G., (1989), Time trends of the returns to education: a global update”, Economics of Education Review, 8, 3, pp. 225-231.

Psacharopoulos G., (1994), Returns to investments in education: cross-national evidence”, World Development, 22, pp. 1325-44.

Raudenbush S.W., Bryk A.S., (2002), “Hierarchical Linear Models: Applications and Data Analysis Methods”, Thousand Oaks, California, Sage Publications.

Rivkin. S. G, E. A. Hanushek, and J. F. Kain (2005) “Teachers, Schools, and Academic Achievement”, Econometrica 73: 417-59.

Rockoff. J. E (2004) “The Impact of Individual Teachers on Student Achievement: Evidence from Panel Data”, American Economic Review. 94: 247-52.

Romer, P., 1990. Endogenous technological change. Journal of Political Economy 98, S71–S102.

Rosenbaum P.M., Rubin D.B., (1983), The Central Role of the Propensity Score in Observational Studies for Causal Effects, Biometrika, 70, 1, pp. 41-55.

Schleicher A., (2007), Can competencies assessed by PISA be considered the fundamental school knowledge 15-year-olds should possess?, Journal of Educational Change, 8:349–357.

Supovitz, J. A. (2001). Translating teaching practice into improved student achievement. In S. Fuhrman (Ed.), National Society for the Study of Education Yearbook. Chicago, IL: University of Chicago Press.

The White House, (2011), Education & The American Jobs Act: Creating Jobs Through Investments In Our Nation’s Schools http://www.google.it/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CEsQFjAA&url=http%3A%2F%2Fwww.whitehouse.gov%2Fsites%2Fdefault%2Ffiles%2Faja_ed_state_by_state_report_final.pdf&ei=BckrUK3rFIPk4QTGyIHoBQ&usg=AFQjCNGR8sVM0WYSrxpcCbA9ko0uczfPqw&cad=rja

Visco, I., (2009) Investire in conoscenza Per la crescita economica Collana "Contemporanea" edizione Il Mulino.