Studio di fattibilità per la costruzione di un gruppo di controllo interno per l’analisi

controfattuale

Roma, 27 febbraio 2013

Gruppo Nazionale PlacementIsfol, Sala Auditorium

Roma, Corso d’Italia, 33

Unione Europea Fondi Strutturali 2007-2013

• Obiettivo generale – Verificare la fattibilità di realizzare una

valutazione d’efficacia degli interventi formativi, con metodologia

d’analisi controfattuale basata su GRUPPO DI CONTROLLO

INTERNO

• Idonei non ammessi agli interventi

• Non idonei

• Attività – ISTRUTTORIA sulla raccolta, conservazione e

disponibilità delle informazioni amministrative relative a questi

individui (da parte degli Enti Formativi o del Sistema informativo

regionale)

La sperimentazione

• Oggetto d’indagine

• Progetti formativi conclusi tra il 2008 ed il 2011 che hanno avuto

candidature eccedenti i posti disponibili

• Tipologie formative rivolte all’occupabilità

• Finanziamento Por FSE Lazio: • 2000-2006 assi A, C ed E • 2007-2013 assi II e IV

• Strumenti d’indagine

• Questionari web compilati dagli Enti formativi per ciascun progetto

selezionato nella sperimentazione • Dimensioni indagate: presenza di candidature eccedenti; consistenza o

stima (%) del loro ammontare; criteri di stesura graduatorie; presenza di verbali, gestione e conservazione delle informazioni sulle candidature eccedenti

Attività Istruttoria

• Dimensione significativa nell’analisi dei risultati dell’Istruttoria

• Per la tipologia delle informazioni considerate:

necessarie per la costruzione di gruppi di controllo interno;

trattate in assenza di indicazioni univoche e tassative da parte

dell’Adg

• Per le indicazioni sulla fattibilità (metodologica e materiale) di

un’indagine valutativa controfattuale basata su GRUPPO DI CONTROLLO

INTERNO

Attività Istruttoria/2: gestione e conservazione delle informazioni

Gestione e conservazione delle informazioni sulle candidature eccedenti i posti disponibili

Gestione e conservazione delle informazioni sulle candidature eccedenti i posti disponibili/2

Gestione e conservazione delle informazioni sulle candidature eccedenti i posti disponibili/3

Tassi di risposta

• Universo d’indagine: 783 progetti

• Tasso di risposta: 30,4% (238

progetti)

Più elevato:

i. presso gli Enti con un maggior

numero di progetti selezionati;

ii. nei Progetti della

programmazione 2007-2013

(35,9%)

Dimensione Ente per n. questionari risposte universo Tasso di

disposta

1 16 65 24,6

2-4 49 208 23,6

5-8 71 232 30,6

9-12 57 124 46,0

>12 45 154 29,2Totale 238 783 30,4

Anno di programmazione risposte universo Tasso di

disposta

2000-2006 116 443 26,2

2007-2013 122 340 35,9Totale 238 783 30,4

Alcune evidenze/1

Circa il 27% dei progetti non ha candidature eccedenti

La non obbligatorietà di caricare i dati per in non ammessi in SI.MON produce una caduta informativa:•È inserito in SI.MON solo il 40% dei progetti con i dati sulle «candidature eccedenti» (32 su 82 progetti)

•Solo il 37,5% dei progetti con i dati in SI.MON (12 su 32) è altamente coerente con i dati riportati nei questionari

d’altra parte:

•Esiste una relazione interessante nel rapporto tra numero di non ammessi e iscritti:

i. esso aumenta nei progetti 2007-2013 (1,78) rispetto al valore totale (1,24), per effetto di una maggiore attenzione richiesta dalla Regione agli Enti formativi nella comunicazione di tali informazioni

ii. diminuisce per effetto della dispersione delle informazioni sulle «candidature eccedenti» a causa dell’assenza di indicazioni vincolanti sull’inserimento di tali dati: nel caso di progetti coerentemente caricati in SI.MON è pari a 3,98; nei progetti caricati in SI.MON ma non coerenti scende a 2,11

Alcune evidenze/1

Circa il 27% dei progetti non ha candidature eccedenti

La non obbligatorietà di caricare i dati per in non ammessi in SI.MON produce 2 effetti:•Inseriti in SI.MON solo il 40% dei progetti con i dati sulle «candidature eccedenti» (32 su 82 progetti)

•Solo il 15% dei progetti con i dati in SI.MON (12 su 32) è altamente coerente con i dati riportati nei questionari

d’altra parte:

•Esiste una relazione interessante nel rapporto tra numero di non ammessi e iscritti:

i. esso aumenta nei progetti 2007-2013 (1,78) rispetto al valore totale (1,24), per effetto di una maggiore attenzione richiesta dalla Regione agli Enti formativi nella comunicazione di tali informazioni

ii. diminuisce per effetto della dispersione delle informazioni sulle «candidature eccedenti» a causa dell’assenza di indicazioni vincolanti sull’inserimento di tali dati: nel caso di progetti coerentemente caricati in SI.MON è pari a 3,98; nei progetti caricati in SI.MON ma non coerenti scende a 2,11

• Effetti della «non obbligatorietà» di inserimento delle informazioni sulle

«candidature eccedenti»:

• Caduta informativa• Popolamento dei sistemi informativi con informazioni eterogenee e/o parziali

i. rischio di informazioni inattendibiliii. limiti nella possibilità di riuso delle informazioni (a fini statistici)

Potenziali controlli

Questionari Corsi Destinatari Iscritti (a)

Destinatari eccedenti (b)

Rapporto b/a

Risposte totali 238 4.956

di cui:

stimano in % i candidati eccedenti 22 206

con informazione puntuale sul numero di candidati eccedenti

di cui:

corsi totali 154 3.661 4.529 1,24corsi della progr. 2007-2013 78 1.677 2.998 1,78corsi caricati su SI.MON 32 815 1.717 2,11

corsi caricati su SI.MON coerenti con dati istruttoria 12 274 1.091 3,98

Caduta informativa

-62,4%

-89,3%

-62,5%

Caricati su SI.MON e coerenti con dati

istruttoria

Potenzialità e limiti attuali del sistema informativo: un’analisi sui non ammessi per i 12 progetti coerenti

Candidati non ammessi

Ammessi a partecipare ad altri interventi

all’interno di Si.monStima sperimentazione

20-25%

Ammessi a partecipare ad altri interventi

all’interno di Si.monStima sperimentazione

20-25%

•Candidati che non appaiono in ulteriori interventi nel sistema informativo

•Candidati che risultano non ammessi in altri interventi

La non obbligatorietà di inserimento dei dati sulle candidature eccedenti (cioè di non monitorare tutta la domanda di formazione) non permette di stimare separatamente i 2 aggregati (che insieme contano per il 75-80%)

•Candidati che non appaiono in ulteriori interventi nel sistema informativo

•Candidati che risultano non ammessi in altri interventi

La non obbligatorietà di inserimento dei dati sulle candidature eccedenti (cioè di non monitorare tutta la domanda di formazione) non permette di stimare separatamente i 2 aggregati (che insieme contano per il 75-80%)

Le soluzioni al problema

1. Strutturare gli archivi amministrativi della Formazione in modo tale da contenere le informazioni sulle candidature eccedenti i posti disponibili, cioè le anagrafiche degli «idonei non ammessi» e dei «non ammessi».

2. Coinvolgere gli Enti di formazione nella raccolta dati per il monitoraggio e la valutazione degli interventi, attraverso la previsione di:

• strumenti standard per la rilevazione in ingresso della domanda formativa (domanda d’iscrizione);

• procedure (nei dispositivi di accreditamento, nei bandi attuativi, ecc.) che vincolino gli Enti a conferire nel sistema informativo regionale le informazioni sulle candidature eccedenti in concomitanza con l’avvio delle attività.

I vantaggi per le regioniDimensione economica

Permette di verificare immediatamente se esiste la possibilità di implementare una valutazione di efficacia con metodo controfattuale utilizzando un gruppo di controllo interno, senza prevedere risorse aggiuntive e ulteriori attività istruttorie

Dimensione pragmatica

Consente di acquisire informazioni di cruciale importanza per i policy makers, ad esempio:

1. Presenza di target vulnerabili: ci sono individui che presentano domanda di iscrizione a più interventi, senza mai essere ammessi ad alcuno?

2. Quanti sono gli individui che partecipano a più selezioni (magari per tipologie di interventi tra loro completamente diverse) prima di essere ammessi ad un intervento? E’ utile studiare i comportamenti individuali ai fini di analizzare le dinamiche di reinserimento nei percorsi di istruzione e formazione, di inserimento occupazionale e di sviluppo delle carriere?

3. Quanti sono gli interventi nei quali le domande di ammissione risultano essere inferiori o uguali al numero dei posti disponibili? Che caratteristiche ricorrenti hanno questi interventi?

I possibili rischi

In prospettiva futura, la presenza di archivi amministrativi scarsamente funzionali alle analisi valutative basate sulle informazioni pre-intervento espone le Amministrazioni ai seguenti rischi:

•tempi più lunghi e risorse finanziarie aggiuntive per realizzare la fase istruttoria, senza peraltro avere la minima certezza sul buon esito finale;

•focalizzazione delle attività sulle problematiche relative alla scelta del metodo, che rischiano di prevalere sull’utilità della valutazione stessa e – nei casi peggiori – stravolgere il disegno valutativo iniziale;

•utilizzo parziale o poco pragmatico della valutazione d’efficacia, in mancanza di informazioni cruciali per analizzare e giudicare la bontà delle scelte fatte dai policy makers (per es. decidere di rifinanziare tipologie di intervento risultate particolarmente efficaci ai fini dell’inserimento occupazionale, senza conoscere il rapporto tra l’offerta formativa e la domanda territoriale)

GLI ENTI FORMATIVI ACQUISISCONO

INFORMAZIONI ANCHE SUGLI IDONEI NON AMMESSI E SUGLI

ESCLUSI E LE FORNISCONO ALLE REGIONI O ALMENO LE

CONSERVANO

GLI ENTI FORMATIVI ACQUISISCONO

INFORMAZIONI ANCHE SUGLI IDONEI NON AMMESSI E SUGLI

ESCLUSI E LE FORNISCONO ALLE REGIONI O ALMENO LE

CONSERVANO

LE INFORMAZIONI SONO INSERITE NELLE

BANCHE DATI REGIONALI O SU MONIT

LE INFORMAZIONI SONO INSERITE NELLE

BANCHE DATI REGIONALI O SU MONIT

FASE ISTRUTTORIA PROPEDEUTICA

ALL’INDAGINE PER CONOSCERE IL NUMERO

DEGLI ALLIEVI IDONEI, IDONEI NON AMMESSI,

ESCLUSI

FASE ISTRUTTORIA PROPEDEUTICA

ALL’INDAGINE PER CONOSCERE IL NUMERO

DEGLI ALLIEVI IDONEI, IDONEI NON AMMESSI,

ESCLUSI

gruppo di controllo interno

gruppo di controllo interno

•INDAGINE•INDAGINE

Conclusioni dell’Istruttoria Indicazioni per la Regione

Prosieguo dell’indagine (q.nario regioni)