P.D. Falorsi, N. Mignolli, Modernizzazione allIstat: fondamenti, modalità di attuazione, effetti...

Modernizzazione all’Istat: fondamenti, modalità di attuazione, effetti attesi

Piero Demetrio Falorsi, Nadia Mignolli

Istituto Nazionale di Statistica – Istat

Dipartimento per la raccolta dati e lo sviluppo di metodi e tecnologie

per la produzione e diffusione dell'informazione statistica

Università degli Studi di Bari. 14 Novembre 2016

Convegno

LA SCIENZA DEI DATI PER I PROCESSI DI MODERNIZZAZIONE

Università degli Studi di Bari. 14 Novembre 2016

In questa presentazione

Premessa

Perché modernizzare

Obiettivi e strumenti del

Programma di modernizzazione

Focus sui principali strumenti

Alcuni risultati

Spunti di riflessione

Piero Demetrio Falorsi, Nadia Mignolli. Università degli Studi di Bari. 14 Novembre 2016

Premessa (I)

Negli ultimi dieci anni, le statistiche ufficiali hanno

sperimentato un cambiamento radicale in termini sia

di modello di produzione, sia di risultati

Il modello di produzione tradizionale, infatti, basato

sull’integrazione verticale delle rilevazioni finalizzate

alla raccolta, all’elaborazione, all’analisi e alla diffusione

di dati e indicatori statistici, è diventato obsoleto


Premessa (II)

Dalla seconda metà del 2014, l’Istat ha messo a punto

il suo Programma di modernizzazione, armonizzato

sia alle attività dell’UNECE (High-level Group on the

Modernisation of Official Statistics) sia alla strategia del

Sistema Statistico Europeo (Vision 2020)

Il Programma di modernizzazione è stato approvato

dal Consiglio il 28 Gennaio 2016 ed è stato reso

operativo da Maggio 2016


Perché modernizzare (I)

Nuova disponibilità di dati (impatto sulla qualità)

Nuove fonti di dati, inclusi i Big Data Nuovi produttori di statistiche che rappresentano

sfide e concorrenza per la statistica ufficiale

(Google, social media, etc.)

Nuove opportunità per la produzione di statistiche

tempestive e di informazioni su tematiche innovative

Criticità dei sistemi tradizionali per la raccolta

dei dati (costi elevati, oneri sui rispondenti,

abbassamento della qualità e dei tassi di risposta)

Riduzione del budget Elevati costi delle rilevazioni tradizionali

Difficoltà ad assicurare alti livelli di qualità

dei risultati, con impatto sulla fiducia

nelle statistiche ufficiali

Cambiamento

della

domanda di

informazione

statistica

Esigenza di

integrazione

di fonti

tradizionali e

nuove fonti

con impatto

sulla

domanda di

metodi


Globalizzazione

Nuove forme di organizzazione della

produzione economica, attraverso catene di

valore globali, multinazionali e nuovi prodotti

statistici

Sistema Statistico Europeo

Aumenta la richiesta di statistiche europee:

necessità di integrare le statistiche nazionali

Vision 2020 pone nuove sfide

Domanda di

dati e metodi

per misurare

nuovi fenomeni

Domanda di

metodi di

integrazione

delle

statistiche

nazionali in

termini di

contenuti e

infrastrutture


Perché modernizzare (II)

Organizzazione interna a silos:

know-how locali o verticali che non facilitano il riuso

duplicazioni e problemi in termini di consistenza delle soluzioni

interoperabilità limitata

capacità limitata di sfruttare opportunità metodologiche e

tecnologiche

ricerca e innovazione a livello locale e non trasversale

Segmentazione organizzativa

Sistema di governo debole:

difficoltà di accesso a servizi trasversali già disponibili

impegno ingente per implementare servizi a livello locale,

generando ridondanze e inefficienze


Perché modernizzare (III)

Obiettivi del Programma di modernizzazione

1. Arricchire l’offerta e la qualità delle informazioni statistiche e dei

servizi per il Paese

2. Sviluppare una specifica politica di responsabilità sociale

dell’Istituto

Obiettivi principali

Dare impulso allo sviluppo e allo sfruttamento dell’innovazione metodologica, tecnologica e organizzativa

Accrescere e riorientare le competenze delle risorse umane

Ridurre il disturbo statistico sui rispondenti

Migliorare l’efficienza e la qualità dei processi di produzione, compatibilmente con i vincoli di bilancio

Obiettivi intermedi


Fondamento della modernizzazione

Il modello di Business Architecture

È un modello integrato che

rappresenta attività e processi

e costituisce un framework

comune, necessario per

intraprendere percorsi di

innovazione coerenti e

condivisi

Riguarda sia le attività

statistiche, sia le funzioni

strategiche e organizzative,

sia le capacità

È composto da un modello

generalizzato di attività, da

un flusso di processi

interagenti, da un insieme di

principi e da infrastrutture

comuni e condivise


Pilastri della modernizzazione

Centralizzazione e consolidamento dei servizi trasversali, con

attivazione di meccanismi domanda/offerta

Disegno dei processi di produzione secondo il modello dei registri


Rafforzamento dei meccanismi di governance e gestione

coordinata delle attività dell’Istituto

Progettazione e realizzazione di un sistema integrato

per la gestione delle competenze

Ridisegno dell’Istituto nell’ottica di riduzione della

frammentazione organizzativa

Sistematizzazione delle specifiche azioni sulla politica di

responsabilità sociale dell’Istituto

Realizzazione della sede unica

Altri strumenti

Centralizzazione dei servizi trasversali

Raccolta dati, Metodologie, Tecnologie informatiche, Diffusione e comunicazione, servizi a carattere giuridico-amministrativo

Per accrescere e migliorare, attraverso

l’attivazione di meccanismi domanda/offerta:

efficacia/qualità, come risultato di una standardizzazione dei processi e delle soluzioni resa più semplice dalla centralizzazione

efficienza, come effetto del superamento della logica a silos nella conduzione dei processi, favorendo il riuso

produttività

sistema integrato dei registri, con informazioni controllate, integrate e standardizzate

attività innovative, con il risparmio delle risorse che ne deriva


Nuova struttura organizzativa dell’Istat


Sistema integrato dei registri (I)

Vantaggi notevoli in termini di

riduzione dei costi e del

carico sui rispondenti,

garantendo la qualità, la

tempestività e la completezza

Potenziale rilevante, che deriva

dalla possibilità di collegare

registri diversi

Meccanismi di governance ben

delineati per definire

chiaramente responsabilità e

responsabili

I registri statistici di base

contengono l’identificativo delle

unità statistiche

I registri satelliti contengono

variabili tematiche derivate da

fonti amministrative o rilevazioni


Reg. Unità economiche Reg. Individui/Famiglie

Reg. Luoghi

Reg. Aziende agricole

Reg. Istruzione

Reg. Lavoro

Reg. Redditi

Reg. Retribuzioni Frame

Coerenza nelle unità e caratteristiche

Luoghi di residenza Luoghi di attività economica

Domanda/offerta lavoro

Percorsi Istruzione/Lavoro Coerenza

Coerenza Coerenza Costo lavoro

Coerenza profitti redditi

Ambito Territoriale

Stima popolazione

Sistema integrato dei registri (II)

Livelli di integrazione


Integrazione concettuale

• Rappresentazione concettuale dei dati: focus sul cosa (più che sul come)

• Ontologie (o Ontologie computazionali): rappresentazioni dei dati mediante linguaggi computabili, interpretabili dalle persone e dalle macchine

Integrazione statistica

• Stima e riconciliazione di dati longitudinali

• Integrazione di dati di indagine con dati di archivio

• Integrare le stime dell’ampiezza della popolazione con i dati del Registro

• Rivedere il sistema delle indagini come infrastruttura che supporta e viene supportata dal Registro

• Registri continuamente aggiornati con uso di indagini correnti

Integrazione logico/fisica

• Sistema Integrato dei Microdati (SIM)

• Sistemi Unitario dei Metadati (SUM)

• Piattaforme IT per l’armonizzazione dei metadati


Andare oltre l’utilizzo delle fonti amministrative e delle altre fonti

come meramente ausiliarie rispetto ai dati di indagine

Nuovo framework per l’integrazione dei dati

Integrazione di dati di indagine con quelli di altre fonti

Modifica (adjusting) delle altre fonti con dati di indagine

Dati di

indagine

Dati amministrativi

Dati di Telefonia

mobile

Dati da

Internet

Modifica

Integrazione

Alcuni risultati: informazioni, analisi integrate

e statistiche sperimentali

Disuguaglianze nella speranza di vita


Per la prima volta in Italia per la popolazione residente sono

disponibili le Tavole di sopravvivenza secondo il livello di

istruzione (per genere ed età)

Attraverso l’integrazione tra gli archivi Istat della Rilevazione sui

decessi e sulle cause di morte del 2012 e il Censimento della

popolazione e delle abitazioni del 2011, utilizzando una

procedura di record linkage individuale

La procedura adottata ha reso possibile fornire, per singola età, le

probabilità di morte e la speranza di vita in funzione del livello

di istruzione conseguito

http://www.istat.it/it/

archivio/184896

http://www.istat.it/it/archivio/184896


ARCHivio Integrato di Microdati Economici

e Demografici - Archimede


Collezioni di dati elementari funzionali alla ricerca sociale ed economica, alla

programmazione territoriale e settoriale, alla valutazione delle politiche

pubbliche, a livello nazionale, regionale e locale

Costruzione e aggiornamento di basi di

microdati per l’analisi territoriale

Messa a disposizione e diffusione di

basi di microdati a livello territoriale e

locale, per l’analisi di sottopopolazioni di

interesse (interventi e politiche

pubbliche)

Possibilità di identificare strumenti

omogenei/indicatori tra le varie realtà

territoriali a supporto di analisi

comparate

Basi di microdati disponibili

in Armida (accessibili agli

Enti Sistan e presso gli

Uffici territoriali

dell’Istat):

Popolazioni che usano un

territorio e loro mobilità

Precarietà lavorativa


archivio/191859

Condizioni socio-

economiche delle famiglie




Studenti e bacini universitari, 2014-2015 (I)


Specificità di un ateneo, in termini sia di provenienza geografica

dell’utenza, sia delle sue caratteristiche socio-economiche, per

qualificarlo anche in termini di capacità attrazione

Ateneo, generatore di flussi di mobilità; gli studenti universitari

rappresentano un segmento rilevante di city user



Studenti e bacini universitari, 2014-2015 (II)


Bacino universitario, identificato dagli iscritti a un ateneo,

rappresentati in funzione delle distanze delle provenienze

geografiche rispetto alla sede centrale dell’ateneo stesso, e

delle loro caratteristiche socio-demografiche ed economiche

Uso integrato di fonti amministrative

Base di partenza: Anagrafe degli studenti universitari del

Ministero dell’Istruzione, dell’Università e della Ricerca - Miur

Integrazione di informazioni micro: Comune di provenienza,

cittadinanza, voto di diploma, composizioni familiare, reddito

lordo fiscale della famiglia, caratteristiche lavorative sia della

famiglia, sia degli studenti lavoratori, etc.

Studenti e bacini universitari 2014-2015 (II)


Studenti e bacini universitari 2014-2015 (III)


Studenti e bacini universitari 2014-2015 (IV)


Popolazione che

insiste sul territorio

sede dell’Ateneo

Portale delle statistiche economiche congiunturali


Uso di fonti innovative


Commissioni tecnico-

scientifiche (sull’uso dei Big Data per la

statistica ufficiale):

1° dal 2013 al 2015

2° dal 2016 al 2020

Gruppi di Lavoro

interni all’Istat:

1° dal 2013 al 2015

2° dal 2016 al 2020

Tipi di fonte in

uso

Internet Data

(web scraping)

Call Detail Record

– CDR

Scanner Data

Google Trends

Sperimentazioni in

corso:

Traffico

Turismo

Fiducia dei consumatori

Agriturismo

Convenzioni e accordi

CNR

Cineca

Wind

Telecom

(in corso di definizione)

Tecnologie

Web scraping

Text mining e machine

learning

Solr

Cluster Hadoop

Sandbox (Unece)

Sinergie internazionali

Eurostat (Task Force;

Steering Group;

ESSNet; ESTP)

HLG – Unece

Tipi di fonte Domini di interesse Modalità di utilizzo

Internet data (web scraping) Indice prezzi al consumo In fase di raccolta dati

Internet data (web scraping)

ICT nelle Imprese;

Agriturismo

Uso integrato con altre fonti già

disponibili

Online Search data (Google

queries)

Mercato del lavoro Uso integrato con altre fonti già

disponibili

Dati di telefonia cellulare Mobilità e popolazione Uso integrato con altre fonti già

disponibili

Dati di telefonia cellulare Turismo Uso in alternativa alle fonti già

disponibili

Scanner data Indice prezzi al consumo In fase di raccolta dati

Social Media Statistiche sociali (Grado

di fiducia dei consumatori)


disponibili

Telecamere per il rilevamento dei

flussi di traffico (Traffic webcams)

Traffico Produzione di nuove informazioni

non ancora rilevate

Immagini satellitari Statistiche sull’agricoltura


disponibili

Smart meters Spese e consumi

energetici

Uso in alternativa alle fonti già

disponibili

Big Data: tipi di fonte, applicazioni e utilizzo


Acquisire dai siti web delle imprese informazioni sulla assenza/presenza

di funzionalità e caratteristiche (e-commerce, online job application,

presenza sui social network, etc.)

Stimare tali caratteristiche per tutta la popolazione di interesse

Utilizzare queste informazioni per arricchire il Registro delle Unità

economiche e come variabili di strato per il campionamento

Stimare tali caratteristiche anche con riferimento alle imprese con meno

di 10 addetti

Tecniche utilizzate

Sinergie

Web scraping per catturare le informazioni nei

siti web delle imprese

Text e data mining per stimare le caratteristiche

dei siti web delle imprese appartenenti alla

popolazione di riferimento della Rilevazione ICT

Collaborazione tra Istat e CINECA


Metodologie

Rilevazione sulle tecnologie dell’informazione e

della comunicazione nelle imprese - ICT

Obiettivi attraverso i Big Data:

Acquisire dal web informazioni strutturali sugli agriturismi

Costruire il frame degli agriturismi e più in generale, in prospettiva,

di tutte le strutture ricettive (Alberghi, Bed & Breakfast, etc.)

Tecniche utilizzate

Sinergie

Web scraping per catturare le informazioni

disseminate in diversi aggregatori Internet

(TripAdvisor, booking.com, agriturismi.it, etc.) e

nei siti individuali degli agriturismi

Record linkage per l’aggancio delle informazioni

rilevate con le corrette Unità di riferimento

(Agriturismi)

Collaborazione tra Istat e CINECA


Metodologie

Aziende agrituristiche in Italia

Obiettivi attraverso i Big Data:

Spunti di riflessione


La modernizzazione è un processo ineluttabile che necessita

una visione olistica, un forte consenso interno, una gestione

del cambiamento per facilitare la transizione, sinergie con

l’esterno

È necessario continuare ad assicurare l’elevata qualità dei dati e

il rilascio di informazioni integrate, insieme alla completezza e

all’adeguatezza dei metodi statistici, investendo sulle risorse

umane

La formazione è una dei fattori più rilevanti per realizzare con

successo il Programma di Modernizzazione e facilitare il

cambiamento culturale

Contatti:

[email protected]

[email protected]


Grazie per l’attenzione


mailto:[email protected]














P.D. Falorsi, N. Mignolli, Modernizzazione allIstat: fondamenti, modalità di attuazione, effetti...

Education

Transcript of P.D. Falorsi, N. Mignolli, Modernizzazione allIstat: fondamenti, modalità di attuazione, effetti...