Lanalisi degli esiti occupazionali del FSE nel periodo di programmazione 2000- 2006 e le prospettive...

L’analisi degli esiti occupazionali del FSE nel periodo di

programmazione 2000-2006 e le prospettive per il prossimo

Paolo Severati

STRUTTURA NAZIONALE DI VALUTAZIONE FSE - AREA VALUTAZIONE POLITICHE RISORSE UMANE

22 aprile 2008, Grand Hotel Baglioni, Firenze,“Gli esiti occupazionali delle attività formative finanziate

dal FSE”

Isfol - Struttura nazionale di valutazioneIsfol – Struttura nazionale di valutazione Fse

AREA VALUTAZIONE POLITICHE RISORSE UMANE

Struttura della presentazione

Le indagini placement delle Adg e le indagini di follow up degli enti: differenze

Le indagini placement nell’esperienza delle due passate programmazioni 1994-1999 e 2000-2006

Le indagini placement nella programmazione 2007-2013

L’indagine centralizzata Isfol: caratteristiche e periodicità

Le indagini decentralizzate: nuove opportunità di sviluppo

Obiettivi comuni e usi a fini valutativi delle indagini placement

Le indagini placement: i rapporti con altre attività dell’Isfol



Le indagini placement delle Adg e le indagini di follow up degli enti:

differenze



Cosa sono le indagini placement

Indagini statistiche retrospettive (campionarie o censuali)

costruite appositamente per fini valutativi, che hanno come obiettivo primario la rilevazione della condizione occupazionale dei destinatari a distanza di 12 (e facoltativamente anche di 6) mesi dalla chiusura degli interventi cofinanziati dal Fse

e, più in generale, mirano ad analizzare i percorsi (di ricerca di lavoro, di lavoro, di formazione) intrapresi dai destinatari alla conclusione degli interventi



Cosa sono le indagini di follow up

Schede e questionari somministrati ai partecipanti direttamente dagli enti di formazione poco dopo il termine dei corsi: essenzialmente schede o questionari di gradimento dei corsi che rilevano anche la condizione occupazionale dei partecipanti (customer satisfaction)



I limiti delle indagini di follow up realizzate dagli enti

Scarsa attendibilità statistica (metodi e strumenti di rilevazione, selezione ed autoselezione degli intervistati, formazione degli intervistatori)

Presenza di un forte conflitto d’interessi: realizza le indagini chi realizza gli interventi. Gli esiti occupazionali degli interventi costituiscono punteggio nei bandi di gara successivi.

Deresponsabilizzazione dell’Autorità di gestione del programma.



Quali novità introducono le indagini di placement rispetto alle indagini di follow up degli enti

Indagini costituite appositamente per l’analisi d’impatto (prima lordo poi netto) realizzate dalle Adg (o da Agenzie regionali del Lavoro, Istituti regionali di ricerca, Uffici di Statistica, Società di rilevazione private …) e non dagli enti di formazione, attraverso il coordinamento della Struttura Nazionale di Valutazione del Fse dell’Isfol, secondo uno schema concordato all’interno del Gruppo di lavoro

Le indagini (ovvero i questionari in uscita dagli interventi) sono arricchite e completate da un altro strumento di rilevazione: la domanda di pre-iscrizione che comprende l’anagrafica vera e propria dei partecipanti agli interventi e un questionario che serve a raccogliere in ingresso agli interventi alcune informazioni essenziali su caratteristiche individuali (titolo di studio, condizione occupazionale, background famigliare, …)



Le indagini placement nell’esperienza delle due passate programmazioni 1994-1999 e 2000-2006



La programmazione FSE 1994-1999

Poche indagini placement condotte a livello regionale (esclusivamente al Centro-nord); la domanda di partecipazione è confinata nell’ambito placement

Sistema di monitoraggio centrale del Fse lacunoso (poche informazioni sull’andamento finanziario dei programmi, limitatissime sul fisico)

Gruppo di lavoro Placement: sede di scambio di esperienze e di confronto; condivisione metodologie realizzazione d’indagine; centro dell’attenzione: questionari d’indagine

Tra il 2000 e il 2001 prime esperienze di valutazione di efficacia condotte dall’Isfol: valutazione degli impatti netti, gruppo di controllo forze di lavoro



La programmazione 2000-2006: un primo collegamento tra monitoraggio, placement e valutazione degli esiti

Realizzazione ed operatività del sistema di monitoraggio centrale dei fondi strutturali (Monit 2000 prima e Monitweb poi) parallelamente allo sviluppo e al miglioramento dei sistemi informativi regionali

La domanda di pre-iscrizione (somministrata in ingresso agli interventi), alimenta l’anagrafica destinatari di Monitweb;

Le analisi di placement utilizzano, oltre all’anagrafica destinatari, anche l’anagrafica progetti di Monitweb, che contiene tutte le informazioni sulle caratteristiche degli interventi (programma operativo, asse, misura, tipologia di azione e progetto, annualità, ente attuatore, …)

Si manifesta un interesse di ricerca non solo verso chi ha partecipato effettivamente agli interventi ma anche verso chi ha fatto domanda di partecipazione e poi non ha partecipato pur possedendo i requisiti richiesti (ammissibili non ammessi); queste persone costituiscono un potenziale gruppo di controllo utile ai fini della valutazione d’impatto degli interventi

Continua l’attività del Gruppo Placement e viene creato un Gruppo Placement Ob.1 ai fini della realizzazione di un’indagine centralizzata curata dall’Isfol sugli interventi finalizzati all’occupabilità finanziati attraverso i Por Ob.1

Aumenta il numero di Regioni e Province Autonome che realizzano Indagini Placement

Le indagini vengono effettivamente utilizzate ai fini della valutazione di efficacia degli interventi



La programmazione 2000-2006: decentralizzazione in Ob.3 e centralizzazione in Ob.1

Indagini decentralizzate in Ob.3

Valutazioni Por Valutazione Qcs Ob.3 (Val.Ind.Ob.3) (Nuova esperienza di valutazione

impatti netti, Isfol val.int.e val. fin. Qcs

Ob.3)

Indagini centralizzate Isfol in Ob.1 (Placement Ob.1 e Alta formazione) per colmare il vuoto informativo esistente

utilizzo a fini valutativi, Isfol



Placement Ob.1: i vantaggi di un’indagine centralizzata rispetto alla raccolta ex post di dati provenienti da singole indagini

decentralizzate

Definizione ed univocità dell’universo di riferimento Precisi e uniformi riferimenti temporali per la progettazione e la realizzazione

dell’indagine (12 mesi dalla conclusione dell’intervento) Controllo sistematico e omogeneo delle liste progetti e destinatari Unico disegno campionario (e riporto all’universo) Unico questionario Stessa tecnica di rilevazione (CATI) Certezza sui criteri di scelta della società di rilevazione Unica società di rilevazione Articolata fase di test del questionario (thinking aloud,pre-test, indagine

pilota) Trattamento comune delle mancate risposte (totali e parziali) Analisi, controllo e validazione dei dati provenienti dall’indagine

Qualità della rilevazione (numerosità del campione, errori campionari e non campionari, significatività delle stime, uniformità e comparabilità) Corretta valutazione degli esiti (occupazionali); possibilità di definire correttamente gruppi

di controllo interni ed esterni



I limiti dell’esperienza del 2000-2006

Indagini regionali realizzate solo nell’Ob.3, ad eccezione della Regione Sardegna (Indagini sul finalizzato aziendale condotta dal valutatore indipendente del Por; Indagine sui voucher condotta dalla Regione) e di prime esperienze della Regione Sicilia

Grandi problemi nell’acquisizione (e prima ancora nella costruzione) delle anagrafiche destinatari. Chi ha realizzato le indagini, anche se interno alla Regione, spesso ha avuto difficoltà ad avere accesso a Monitweb o al sistema informativo regionale nella misura sufficiente a definire liste valide per avviare un’indagine Cati. A volte il problema è a monte: gli enti attuatori non hanno fornito anagrafiche dettagliate.

Mancata somministrazione delle domande di pre-iscrizione agli ammissibili non ammessi; mancata esplicitazione dei criteri di selezione all’ingresso; mancata fornitura delle graduatorie. Conseguenze: impossibilità di disporre gruppi di controllo interni (ammissibili non non ammessi; regression discontinuity design) o accedere a gruppi di controllo esterni (archivi centri per l’impiego)

Periodicità delle indagini variabile e non chiaramente predefinita. Concentrazione delle indagini in corrispondenza della riprogrammazione di metà periodo

Non completo rispetto della classificazione Fse per tipologia di progetto e mancata indicazione della classificazione Orfeo sui contenuti delle attività formative. Conseguenza: imprecisa individuazione delle politiche e degli interventi cofinanziati dal Fse

Poche valutazioni d’impatto netto, anche in conseguenza della mancanza di adeguati gruppi di controllo interni



Le indagini placement nella programmazione 2007-

2013



Le sfide della nuova programmazione 2007-2013: costruire sistemi informativi statistici che consentano la valutazione di efficacia dei programmi operativi

Obiettivo: realizzare attendibili valutazioni di

efficacia dei programmi (come richiesto dallaCommissione Europea)

Presupposti: Disponibilità di indagini placement

ricorrenti sui formati; Disponibilità di gruppi di controllo idonei,

definiti ex ante e non ricavati ex post



Un cambiamento di cultura

Monitoraggio, indagini sugli esitioccupazionali e valutazione di

efficacia degli interventi: un’unica

filiera non dei compartimenti stagni



Linee d’indirizzo: integrazione, semplificazione e innalzamento della qualità

Capitalizzare l’esperienza della programmazione Fse 2000-2006 per riuscire a trovare il giusto bilanciamento tra dati di fonte amministrativa e dati acquisiti attraverso indagini. Attualmente si caricano di oneri impropri le indagini retrospettive, lunghe e costose da realizzare e che riguardano solo una parte della popolazione. Si sottovaluta l’importanza dei dati di fonte amministrativa a fini di analisi statistica



Dati di fonte amministrativa

Si riferiscono al totale della popolazione; non contengono quindi errori di campionamento

ma “solo” errori non campionari; sono già disponibili, non richiedono indagini ad

hoc; si tratta di renderli utilizzabili a fini statistici; permettono di ridurre i costi: non c’è bisogno di

realizzare piani di campionamento, non c’è bisogno di Cati;

contribuiscono a ridurre la molestia statistica (causata dalle tante indagini che incidono sullo stesso target)



Indagini retrospettive

Che cosa giustifica la realizzazione di un’indagine retrospettiva? Cos’è, in altri termini,che non può essere raccolto da dati di fonteamministrativa?

1. Informazioni (anche oggettive) non disponibili nei data set amministrativi in quanto relative a fatti od eventi successivi alla chiusura dell’intervento e/o riferite al momento dell’intervista;

2. Informazioni che sono disperse in data set non aggregabili;

3. Informazioni sulle motivazioni o sulle percezioni individuali (motivi della partecipazione, motivi dell’abbandono, utilità percepita dall’intervento ad una certa distanza dalla sua conclusione, …) non interessanti a fini amministrativo-gestionali e quindi non registrate nei data set amministrativi.



Cosa fare

Si tratta quindi di sfruttare al massimo le informazioni contenute in Monitweb o nei sistemi informativi regionali evitando di chiedere da questionario placement informazioni su variabili già disponibili da fonte amministrativa

Si tratta di collegare tra loro, attraverso chiavi opportune, differenti archivi amministrativi (archivi fse, archivi accreditamento, archivi formazione a finanziamento regionale non cofinanziata dal Fse, archivi Centri per l’impiego, …)



L’indagine centralizzata Isfol: caratteristiche,

periodicità



Indagine retrospettiva nazionale Isfol (1)

Indagine campionaria retrospettiva, condotta a livello nazionale ma con significatività regionale, su tutte le tipologie d’intervento finalizzate all’occupabilità

Periodicità: triennale Dimensione campionaria: 30.000 – 40.000 individui (Primo) Anno di rilevazione: 2009 Anno di riferimento: interventi conclusi nel 2008 Anno di avvio del progetto d’indagine: 2008 Rilascio dati: fine 2009 Tecnica di rilevazione: CATI L’indagine sarà rivolta a destinatari conclusi e a

componenti di differenti gruppi di controllo interni o esterni provenienti da archivi amministrativi di varia fonte (regionale diverso da Fse, Cpi, Inps, …), previa verifica dello stato degli archivi



Indagine retrospettiva nazionale Isfol (2)

Pieno rispetto delle specifiche di qualità richieste dal Sistan

Collegamento con altre importanti indagini dell’Isfol (Plus; indagine sulla qualità del lavoro in Italia)



Le indagini decentralizzate:

nuove opportunità di sviluppo



Molteplici opzioni

Indagini tradizionali facenti capo ad una singola Regione o Provincia autonoma sui principali interventi finalizzati all’occupabilità (effettuate con tecnica Cati);

Indagini specializzate (effettuate con tecnica Capi) su singole tipologie di intervento o particolari target group (es. gruppi vulnerabili)

Indagini realizzate da gruppi di regioni consorziate Indagini longitudinali su una stessa coorte di partecipanti (o

di facenti domanda) Sfruttamento dei data set amministrativi (sistemi

informativi regionali sulla formazione, Cpi, accreditamento, …) ai fini della produzione di statistiche ricorrenti sui partecipanti agli interventi e sull’evoluzione della loro condizione occupazionale

Uso intelligente delle indagini di follow up degli enti: servono a creare buone anagrafiche destinatari; sono previste dalle leggi sull’accreditamento



Obiettivi comuni e usi a fini valutativi delle indagini

placement



Programmazione 2007-2013: obiettivi comuni delle indagini centralizzate e decentralizzate

Non disperdere patrimonio accumulato nella passata programmazione

Estendere la pratica delle indagini a tutto il territorio nazionale e a politiche finora poco considerate

Migliorare l’attendibilità statistica Rendere certi i tempi di rilevazione Migliorare la diffusione dei dati anche

per un loro maggiore utilizzo a fini di valutazione



La programmazione 2007-2013: uso delle indagini ai fini della valutazione

Indagine centralizzata Isfol: 1) copertura dell’intero territorio nazionale (Ob.1 e Ob.2); 2) copertura delle politiche risorse umane fuori Fse e quindi definizione di un quadro complessivo delle politiche che incidono sugli stessi obiettivi o hanno le stesse finalità indipendentemente dalla fonte di finanziamento; calcolo del valore aggiunto Fse e valutazione di efficacia relativa

Valutazioni strategiche (politiche, Po e Qsn)

Indagini decentralizzate (auspicabilmente, tutte le Adg Ob.1 e Ob.2)

Valutazioni strategiche Po Valutazioni

operative Po



Le indagini placement: i rapporti con altre

attività dell’Isfol



Collegamenti e sinergie con altri progetti Isfol

Studio progettuale per la realizzazione di un sistema informativo statistico per l’analisi, il monitoraggio e la valutazione del Fse (banca dati bandi, monitweb, placement)

Utilizzo e diffusione delle classificazioni internazionali riguardanti la formazione e le politiche attive del lavoro (Fields of training, Classification of learning activities, Labour market policies)

Sistema statistico della formazione professionale (Sistaf)

Banca dati nazionale dell’accreditamento Qualità dell’offerta formativa Analisi dei fabbisogni formativi e professionali



Grazie

Per contatti ([email protected])

Lanalisi degli esiti occupazionali del FSE nel periodo di programmazione 2000- 2006 e le prospettive...

Documents

Transcript of Lanalisi degli esiti occupazionali del FSE nel periodo di programmazione 2000- 2006 e le prospettive...