Collaborazione inter-istituzionale e ruolo dei dati ... CREMONA... · con le «norme» della...

Corso di formazione

La collaborazione tra Comuni e Province

in materia di statistica e raccolta dati

Collaborazione inter-istituzionale

e

ruolo dei dati amministrativi nella statistica ufficiale

Manlio Calzaroni

(Esperto statistico, già Direttore Centrale Istat)

Cremona, 6 ottobre 2017

Nuova domanda statistica

� La crescente domanda di informazioni complesse

� La necessità di un dettaglio sempre maggiore

� La necessità di ridurre il carico statistico e costi

Determina

� Crescente utilizzo di fonti amministrative a fini statistici

� Definizione di un modello di trattamento dei dati appropriato

Che incide anche nell’organizzazione dei Sistemi statistici nazionali

Perché utilizzare le fonti amministrative per fini statistici

Perché utilizzare le fonti amministrative per fini statistici

Commissione per la Garanzia dell’Informazione Statistica (PSN 2003-2005)

Pur valutando “.. positivamente l’intensificazione dell’impegno [dell’ISTAT/SISTAN]

all’utilizzazione statistica di dati di origine amministrativa, ” [ex-

ante]

Sottolinea che “….Tale impegno incontra notevoli difficoltà che a giudizio della

Commissione sarebbero parecchio ridotte se all’ISTAT/SISTAN fosse

richiesto di intervenire ex-ante, con un obbligatorio parere, nella

definizione di modelli e formati di raccolta delle informazioni. Un

tale coordinamento consentirebbe, infatti, di migliorare di molto la

qualità dei dati amministrativi, anche ai fini di una loro

utilizzazione statistica” (p.14).

Prospettive da Eurostat

COMUNICAZIONE DELLA COMMISSIONE AL PARLAMENTO EUROPEO E AL CONSIGLIO

sul metodo di produzione delle statistiche UE:

una visione per il prossimo decennio

Bruxelles, 10.8.2009

COM(2009) 404 definitivo

I dati amministrativi nella statistica europea

Nuove esigenze

In tutti i settori della statistica continua ad aumentare la

necessità di informazioni. Con l'aumento della complessità

e dell'interrelazione dei dati rilevati, crescono anche le

esigenze degli utenti di disporre di dati integrati e coerenti.

…… su tematiche che riflettono diversi fenomeni di base

correlati e interdipendenti.

Quindi il modello "stovepipe" in cui le statistiche nei diversi

settori vengono prodotte in modo indipendente non è

adatto a soddisfare le esigenze politiche di insiemi di dati

integrati.

Un nuovo modello di produzione delle statistiche Ue

Nuovo modo di produrre

… le statistiche per settori specifici non sarebbero più prodotte

in modo indipendente; sarebbero invece prodotte come parti

integrate in sistemi di produzione completi [impostazione delle

statistiche basata sull'idea di un magazzino di dati (datawarehouse)] per gruppi di statistiche.

Questi sistemi sarebbero basati su una comune infrastruttura

(tecnica); applicherebbero nella misura del possibile software

standardizzato e utilizzerebbero tutte le fonti di dati disponibili

(statistiche e, soprattutto, amministrative).


Nuovo problemi da affrontare

A tal fine occorre individuare come le informazioni da fonti

diverse possono essere messe insieme e sfruttate per scopi

diversi, ad es.:

mediante l'eliminazione di differenze metodologiche,

uniformando le classificazioni statistiche, ecc.

Per ottimizzare l'efficienza gli Stati membri dovrebbero creare una

rete di basi dati da cui sia possibile estrarre qualsiasi informazione

pertinente.

Per ottenere questi risultati:È indispensabile integrare microdati,

cioè dati di prevalente origine amministrativa


Perchéidatiamministrativiperrispondereallenuoveesigenzeinformative

La richiesta di informazioni ad elevato dettaglio territoriale per analizzare in

modo adeguato l’evoluzione socio-economica del Paese è sempre più

rilevante.

Il Comune è il livello territoriale dal quale partire per costruire le

aggregazioni informative di cui si ha bisogno a livello locale e nazionale.

A livello locale:

per la gestione e lo sviluppo del territorio ad opera delle amministrazioni

territoriali, per quanto di loro competenza

A livello nazionale:

perchè, data la varietà e la frammentazione della realtà socio-economica

italiana, anche il livello di governo nazionale non può prescindere da una

conoscenza “territoriale” dei fenomeni


Se si escludono i censimenti, le informazioni di dettaglio provinciale o

comunale fornite dal SISTAN costituiscono una componente assai

marginale della produzione della statistica ufficiale.

Ciò a causa:

• dell’elevato costo delle indagini per garantire una significatività a

livello comunale o provinciale

• della complessità dei problemi metodologici e organizzativi posti

dalle indagini censuarie o campionarie significative a tale livello

territoriale

• della necessità di contenere il fastidio statistico

L’unica possibilità di soddisfare, con periodicità adeguata, le esigenze informative poste dell’utenza risiede nell’utilizzazione delle informazioni

raccolte per fini amministrativi

La necessità di un maggiore dettaglio territoriale

I problemi

Lo sfruttamento a fini statistici delle informazioni di fonte amministrativa

non è una operazione a costo zero. Esso richiede infatti di:

� modificare l’organizzazione del sistema di produzione statistica (strutture

organizzative);

� istituzionalizzare e rendere efficienti i rapporti tra i soggetti della Pubblica

Amministrazione (Centrale e/o Locale) titolari dell’informazione;

� definire nuove metodologie per la soluzione dei problemi tecnici connessi alla

validazione dell’informazione acquisita (qualità)

� promuovere azioni per l’integrazione delle informazioni nei sistemi informativi

amministrativi e statistici (definizioni e classificazioni)

Due tipi di informazioni:

Informazioni prodotte dalle istanze nazionali (ad es. di origine fiscale e

previdenziale) � integrazione orizzontale

Informazioni prodotte dalle istanze territoriali (regione, provincia,

comune) � integrazione orizzontale e verticale

Come sviluppare l’utilizzo di informazioni amministrative

Le linee guida da EUROSTAT identificano tre fasi:

1.“foundation stage”

�facoltà di accedere le basi informative dei vari enti pubblici

detentori

�garantire indipendenza, imparzialità e riservatezza

2. “consolidation stage”

utilizzare gli strumenti legislativi al fine di consolidare le fonti amministrative

come risorsa nella produzione statistica (ex-post)

3. “evolution stage”

profondo grado di cooperazione tra ente amministrativo e Sistema statistico

nazionale (ex-ante)

Quale modello di trattamento

L’integrazione tra soggetti istituzionali produttori

Il salto qualitativo = sviluppare l’”evolution Stage”

Cioè:

l’attività di cooperazione inter-istituzionale che interviene ex-ante rispetto

alla implementazione della fonte

La cooperazione deve svilupparsi in tre principali tipi di attività:

1. individuazione del set informativo da acquisire tramite la modulistica

amministrativa

2. condivisione delle classificazioni e delle definizioni adottate

3. condivisione delle modalità di trattamento dell’informazione

(registrazione, correzione, archiviazione)

Quale modello di trattamento

L’integrazione tra soggetti istituzionali produttori

1. Alleanza strategica ai massimi livelli tra Pubbliche Amministrazioni; in

cui individuare regole di cooperazione, con il riconoscimento dei benefici

sia per fini statistici sia per fini amministrativi

2. Costituire comitati inter-istituzioneli per:

� mettere a fuoco gli aspetti strategici

� effettuare un monitoraggio delle attività svolte

3. Proporre gruppi di lavoro, con rappresentanti degli enti, su obiettivi di

rilievo

4. Prevedere un ruolo specifico per gli uffici di statistica e per l’Istat, vista la

professionalità di cui sono portatori, ed evidenziando i benefici anche per i

fini amministrativi dell’ente detentore delle informazioni

Quale percorso

Sviluppo cultura Statistica

La carenza di “cultura statistica” incide:

� sulla possibilità di utilizzo statistico di tali informazioni

� sull’efficienza nella attuazione dei fini amministrativi

• assenza di protocolli necessari a realizzare/gestire archivi amministrativi

Spesso l’archiviazione si sviluppa su iniziativa di singole con metodi e strumenti

che non permettono una generalizzazione delle informazioni

Evitare che:

Il loro utilizzo si esaurisca all’interno dell’ufficio che le produce.


Il loro utilizzo si esaurisca all’interno dell’ufficio che le produce.

E’ quasi la norma che vengano costruiti sistemi informativi che non tengono

conto della necessità di integrare informazioni amministrative analoghe e di cui

sono titolari altre amministrazioni pubbliche:

• un ministero rispetto ad altro ministero e/o agli enti territoriali

• regioni con altre regioni

• regioni con province/comuni

• province/comuni con altre province/comuni

• ……

Sviluppare sistemi informativi con non si parlano è causa di inefficienza della PA e spreco di denaro pubblico.


Le pur limitate esperienze confermano quanto detto:

le “regole” dettate della scienza statistica sono utili anche nei processi di

gestione di informazioni amministrative per l’attività dell’ente e come

supporto ai decisori

Una affermazione forte:

Le problematiche per l’acquisizione di informazioni amministrative sono

“analoghe” a quelle inerenti l’acquisizione di dati statistici

Le regole sviluppate dalla statistica quasi mai sono applicate nel campo

amministrativo

Intervento ex-ante sulle informazioni da acquisire

Impatto sull’organizzazione delle amministrazioni sulle modalità con cui le

informazioni vengono da queste acquisite.

Difficoltà:

Individuare un percorso certo per ogni informazione data la presenza di

percorsi alternativi per lo stesso flusso informativo

Obiettivi

�Evitare/Gestire la possibilità che le stesse informazioni possano essere

recepite da più canali

�Gestire variazione nelle caratteristiche delle unità

Intervento ex-ante sulle informazioni da acquisireUna ipotesi di percorso

1. Individuare le norme che determinano l’attività amministrativa

2. Analizzare le informazioni di interesse e le modalità con cui, ogni ente, le

acquisisce

3. Evidenziare definizioni, classificazioni e schema concettuale che soggiace

alle “regole” dettate per gestire le informazioni

4. Definire un insieme condiviso di modalità con cui sviluppare la procedura

in questione

L’applicazione di tale schema determina

Maggiore capacità di analisi:

� Per informazioni interne alla amministrazione

� Per informazioni analoghe provenienti da altre amministrazioni

Evidenti i benefici anche per il sistema statistico.

Come cambia il modo di fare statistica

Impati

i) tecniche/metodologiche

ii) organizzative/culturali

Su quelle tecniche/metodologiche è necessario investire, e già si è iniziato, e

sono sicuramente superabili

Quelle organizzative/culturali sono le più difficili da superare

Organizzazione

Riacquisire l’ottica di un lavoro interistituzionale

Integrare professionalità diverse

Statistiche e specifiche di settore

Per ottenere questi cambiamenti organizzativi

è prioritaria l’identificazione di esperti nelle singole strutture

(ruolo degli uffici di statistica)

Tale professionalità deve essere riconosciuta all’interno della struttura:

�fondersi con la professionalità dell’esperto nella materia trattata dalla

procedura

�il personale interno deve appropriarsi del punto di vista statistico e

individuare tale attività come utile alle finalità proprie della struttura e non

solo come servizio per la statistica ufficiale.

Come cambia il modo di fare statistica

Come cambia il mestiere dello statistico

22

Universo

reale

Regole

amm.

Universo

Amministrativo

Universo

Statistico

Regole

Statistiche

determinano determinano

applicazioneapplicazione

Cosa significa utilizzare fonti amministrative per fini statistici

Come cambia il mestiere dello statistico per un INS

23

Universo

reale

Regole

amm.

Universo

Amministrativo

Universo

Statistico

Regole

statistiche

Traduttore

MetaData

Traduttore

MicroData

Cosa significa utilizzare fonti amministrative per fini statistici

Nuove problematiche per un INS

Qualità dei traduttori determina “Qualità statistica” dei dati amministrativi


Il passaggio da un dato amministrativo ad una informazione statistica è

una attività ineludibile.

y= f(x)

Dove:

x = informazione acquisita in base a norme amministrative

y = informazione statistica prodotta dal dato amministrativo

f = attività di «traduzione» dal dato amministrativo a quello statistico

L’attività di traduzione:

1. Avviene a valle dello studio dei metadati propri delle norme

amministrative

2. E consta nella traduzione di questi metadati in metadati coerenti

con le «norme» della statistica ufficiale (classificazioni, definizioni e

universo di riferimento)

La funzione di traduzione può essere più o meno complessa


Un bisogno informativo

Una indagine

Approccio Tradizionale Nuovo Approccio

Un bisogno informativo

Più fonti integrate

• Riduzione delle risorse finanziarie ed umane

• Riduzione del “fastidio statistico”

• Incremento, in quantità e qualità, delle informazioni statistiche richieste dagli utenti (nazionali e internazionali)

• Incremento della innovazione tecnologica e organizzativa

• Incremento di informazioni di natura differente (dichiarazioni, tracce digitali) disponibili.

• Nuove legislazioni, nazionali ed europee, che facilitano l’accesso da parte degli INS a dati non statistici

Multiple Integrated Data Collection

1:1 1:n

Come cambia il mestiere dello statistico INS

Time

Statistical Survey

Variables

Un

its

Multiple Integrated Collection

Variables

Un

its

Multiple Integrated Data CollectionCome cambia il mestiere dello statistico un INS

� Difficoltà nell’integrazione fisica

� Le diverse fonti possono non essere disponibili in tempi diversi

� Possono utilizzare concetti/classificazioni non coerenti fra loro

� Possono utilizzare gli stessi concetti ma con visioni differenti (oggettivo/soggettivo)

� Contengono differenti tipologie di errori (non campionari/campionari)

� Possono contenere differenti livelli di qualità intrinseca

MIDC: problematiche

Processo produttivo complesso :

INDUSTRALIZZAZIONE/CENTRALIZZAZIONE

Integrazione di fonti elemento chiave

Unità: integrazione fisica

Riconoscimento dello steso oggetto in più fonti e nel tempo

Variabili: integrazione logica

Riconoscimento dello stesso contenuto semantico in più fonti

e nel tempo

Variabili: integrazione informativa

Riconoscimento della coerenza sintattica fra informazioni desumibili da più fonti

L’integrazione

Def.: Archivio di microdati amministrativi e statistici integrati

a supporto dei processi di produzione statistica

Obiettivi

• Comune pretrattamento di Dati Amministrativi (DA)

• Conformità con le leggi sulla confidenzialità ed il collegamento di dati

• Uniformità di accesso ai DA per i produttori di statistiche

• Evitare duplicazioni di lavoro

• Comune descrizione di metadati e qualità dei DA

La risposta IstatSistema Integrato di Microdati - SIM

Titolo intervento, nome cognome relatore – Luogo, data

Dimensioni della qualità dei dati da indagine e da fonti amm.

La misura della qualità dei dati amministrativi considerati come input del processo statistico si differenzia da quella dei dati di indagine output statistico.

Le dimensioni della qualità definite in ambito Eurostat per i dati statistici

Pertinenza, Accuratezza e attendibilità, Tempestività e puntualità,

Coerenza e comparabilità, Accessibilità e chiarezza

non sono direttamente caratterizzanti la qualità statistica dei dati amministrativi.

La QRCA è un report condiviso a livello Ue associato ai dati

amministrativi

Descrive i principali aspetti della qualità dei DA

La documentazione della qualità dei dati del SIM avviene

facendo riferimento alla QRCA (in corso di implementazione)


Quindi:

Individuare le dimensioni specifiche della qualità a fini statistici

di un dato amministrativo

La Ue ha sviluppato più studi che sono confluiti in uno schema

condiviso - La Quality Report Card for Adm. data

1

Dimensioni della qualità dei dati da indagine e da fonti amm.


Qualità dei Quality Report Card for Adm. datasizione di DA

1

IPERDIMENSIONE DIMENSIONE

FONTE F1. Fonte dei DA

informazioni necessarie per gestire il processo di acquisizione dei DA con lo scopo di valutare e migliorare la qualità dei dati acquisiti

F2. Rilevanza della fonte dei DA

F3. Privacy e sicurezza nella gestione dei DA

F4. Modalità trasmissione dei dati

F5. Relazioni e feedback con il fornitore di DA (titolare)

METADATI M1. Chiarezza e interpretabilità

Informazioni per la valutazione della qualità a livello concettuale e la descrizione delle procedure di acquisizione

M2. Comparabilità

M3. Inalterabilità dei metadati

M4. Acquisizione dei dati/trattamento

DATI D1. Controlli tecnici

Indicatori di valutazione della qualità dei DA forniti

D2. Correlazione

D3. Accuratezza

D4. Completezza

D5. Dimensione temporale


Dall’analisi concettuale dei dati amministrativi necessaria per il

caricamento nelle tabelle Oracle del SIM si generano

-Indicatori della Dimensione dei Controlli tecnici (D1)

necessari per monitorare in modo tempestivo la fase di

acquisizione dei dati (leggibilità dei file, conformità dei dati

rispetto alla richiesta, data di acquisizione, ..)

- Individuazione degli oggetti/entità dell’archivio (M1) su cui

calcolare gli indicatori di comparabilità, integrabilità,…

Obiettivo -> automatizzare la produzione della QRCA creando inter-

operabilità tra le fasi del processo di acquisizione

Fase di implementazione [1]



Dalla fase di Codifica degli oggetti (impresa, individuo,

comune/provincia) si generano

- Indicatori di Integrabilità (D2-Dati):

Comparabilità degli oggetti

Qualità delle variabili di linkage

- Indicatori di Accuratezza (D3-Dati)

Autenticità degli oggetti

Accuratezza delle variabili di classificazione (codici comune e

provincia)

Indicatori di Completezza (D4-Dati)

Copertura

Valori mancanti degli identificativi

Indicatori della Dimensione temporale (D5-Dati)

Dinamicità degli oggetti

Fase di implementazione [2]



Nella fase di caricamento dei dati dei laureati del Miur si generano 5

oggetti/entità e quindi 5 tabelle :

Laureato,

Laurea,

Corso di studi universitario,

Facoltà,

Università.

Su cui calcolare gli indicatori.

Esempio Laureati Miur



La fase di Codifica dei laureati/individui consiste nell’assegnazione del

codice individuo, unico in tutto il sistema.

Tale procedura genera

Indicatori di qualità delle variabili di linkage (D2.Integrabilità),

indicatori di autenticità degli oggetti (D3.Accuratezza).

Nel caso dell’esistenza di registri statistici, si generano gli

Indicatori di copertura (D4.Completezza delle unità).

La registrazione della presenza dei codici individuo negli archivi

amministrativi nel tempo genera

Indicatori della Dinamicità degli oggetti (D5.Dimensione temporale)

Esempio Laureati Miur


Quality Report Card for AD

ESS Peer Review 2015

Sottocopertura –

Sottocopertura per sottopopolazioni

D4. Completezza

Unità

Tipo di laurea

Miur dati

ufficiali Microdati Sottocopertura

N N Diff Diff %

Laurea Triennale (D.M. 509/99) 142.254 138.385 -3.869 -2,7

Laurea Triennale (D.M. 270/04) 26.484 25.939 -545 -2,1

Laurea Specialistica (D.M. 509/99) 51.297 50.407 -890 -1,7

Laurea Magistrale (D.M. 270/04) 35.244 34.826 -418 -1,2

Laurea a Ciclo Unico (D.M. 509/99) 13.533 13.093 -440 -3,3

Laurea Magistrale Ciclo Unico (D.M. 270/04) 13.346 11.367 -1.979 -14,8

Laurea Vecchio Ordinamento (antecedente D.M. 509/99)

16.647 15.588 -1.059 -6,4

Corsi di diploma universitario vecchio ordinamento(antecedente D.M. 509/99)

64 55 -9 -14,1

Scuole dirette a fini speciali vecchio ordinamento (antecedente D.M. 509/99)

3 1 -2 -66,7

Total 298.872 289.661 -9.211 -3,1

Confronto con dati ufficiali prodotti dal Miur


QRCA e Sviluppo di sistemi integrati di microdati

Gestire la qualità statistica di questi dati significa:

1. Gestione centralizzata e coordinata della acquisizione e

archiviazione dei dati - Repository unico

2. Definizione di uno schema unico di analisi di qualità statistica -

QRCA è un primo approccio disponibile da migliorare e adattare alla

realtà investigata

3. Costruire e sviluppare indicatori specifici per le singole dimensioni

individuate - da sviluppare a cura del produttore del sistema

integrato di microdati

CONCLUSIONI

Conclusioni

L’uso dei dati amministrativi presenta vantaggi ma anche costi:

sviluppo di nuove metodologie

cambiamenti organizzativi Interni dell’INS e del SISTAN

All’interno del SISTAN investimenti sono stati effettuati a partire dagli anni ’90

Oggi, questo tipo di investimento non è più sufficiente.

Sono indispensabili anche investimenti “esterni” al Sistema Statistico Nazionale

Investimenti necessari a coinvolgere in azioni coordinate,

come le norme consentono e auspicano,

l’Istat, i soggetti Sistan e gli Enti titolari di informazioni.

Un coordinamento istituzionale forte può consentire alla Statistica ufficiale di

svolgere quelle funzioni di raccordo e coordinamento tecnico-statistico delle diverse

iniziative di governo, essenziale per la propria specifica attività ma di grande utilità

anche per l’azione di semplificazione del rapporto Stato-cittadino-impresa.

Conclusioni

La condizione per un utilizzo appropriato delle fonti amministrative e per

realizzare sistemi informativi integrati è la ricerca di coordinamento tra diverse

istituzioni

O forse è meglio parlare di ALLEANZA tra diversi ambiti istituzionali:

• Tra produttore nazionale (Istat) e locali della statistica ufficiale

• Tra produttori nazionali e locali di informazioni amministrastive

In entrambi i casi non deve essere scambiato il concetto di autonomia con

quello di autarchia pena la perdita di risorse e la impossibilità di utilizzare

informazioni di cui non si ha diretta titolarità ma che sono tuttavia

indispensabili per il governo del territorio

GRAZIE PER L’ATTENZIONE

[email protected]

Collaborazione inter-istituzionale e ruolo dei dati ... CREMONA... · con le «norme» della...

Documents

Transcript of Collaborazione inter-istituzionale e ruolo dei dati ... CREMONA... · con le «norme» della...