Roberto Colotti - L’offerta di dati: macro e micro. I.Stat - mIcro.STAT - Coeweb

Istat e statistica ufficiale: cosa sono?

L’offerta di dati: macro e micro. I.Stat - mIcro.STAT - Coeweb

Roberto Colotti

Venezia, 23 ottobre 2014

Indice

Istat e statistica ufficiale, Roberto Colotti – Venezia, 23 ottobre 2014

1. Il sistema della statistica ufficiale

2. L'offerta di dati Istat

• Macrodati

• Microdati

• L’importanza dei metadati

La statistica ufficiale

la statistica ufficiale è …… quella prodotta dagli Enti ed Uffici del Sistema statistico Nazionale

• bene pubblico

• supporto decisionale

• strumento di democrazia



La statistica ufficiale: il Sistan

Il Sistema Statistico Nazionale è una rete di soggetti pubblici e privati che svolge attività di rilevazione, elaborazione, analisi, diffusione e archiviazione di dati statistici

Regole: requisiti tecnico-organizzativi degli uffici di statistica del Sistan

Opportunità: criteri e modalità per l’interscambio di microdati

Cultura: principi e parametri per la qualità della statistica ufficiale

Decreto legislativo 322/1989: Norme sul Sistema statistico nazionale e sulla riorganizzazione dell'Istituto nazionale di statistica


Il Sistan: la composizioneMinisteri e PCM (16)

Prefetture – UTG (99)

Regioni e Province Autonome (21)

Altre amministrazioni centrali (17) Province (80)

Comuni (264 capoluoghi / > 30.000 ab + 2.803 < 30.000 ab)

CCIAA (103)

Altre amministrazioni locali (52)Altri soggetti pubblici e privati (10)

Possono essere ammessi anche:• Altre istituzioni pubbliche (enti e organismi pubblici d'informazione statistica (Inea, Isfol))• Soggetti privati (DPCM 152/2000)

Criteri di ammissibilità:

a) funzioni e servizi di interesse pubblico

b) attività essenziale per il raggiungimento degli obiettivi del Sistan

c) rispetto della normativa statistica e dei principi d'imparzialità e completezza dell'informazione statistica

Oltre 3.400 uffici di statistica

Istat

La statistica ufficiale: storia

1861

1926

1989

Divisione Generale della Statistica all’interno del Ministero dell’Agricoltura, Industria e Commercio Interno

Istituto Centrale di Statistica del Regno d’ItaliaLegge n.1162

Decreto legislativo 322/1989• Sistema Statistico Nazionale – Sistan (art. 1)• Istituto Nazionale di Statistica – Istat (art. 14)Modificato nel 2010 dal dpr 166/2010 per razionalizzare la produzione e diffusione delle informazioni e ottimizzare le risorse destinate alla statistica ufficiale.


http://www.istat.it/it/files/2010/12/dpr166_20102.pdf

http://www.istat.it/it/files/2010/12/dpr166_20102.pdf

Il Sistan: governance e consultazione


Organo di governo• Comitato di indirizzo e coordinamento dell'informazione statistica (COMSTAT): esercita

funzioni direttive vincolanti nei confronti degli uffici di statistica e delibera il Programma statistico nazionale (PSN);

• Composto da 15 membri: il Presidente Istat, che lo presiede, 6 di amministrazioni centrali, 3 di regioni e EELL, 1 di Unioncamere, 2 di altri EEPP, 2 esperti (professori ordinari)

Organo di garanzia• Commissione per la garanzia della qualità dell'informazione statistica (COGIS): vigila

sull'imparzialità, completezza e qualità dell'informazione statistica, sulla conformità ai regolamenti e alle direttive, sul rispetto della normativa di segreto statistico e protezione dei dati personali

• Organo esterno, autonomo e indipendente, composto da 5 membri nominati su proposta del PCM e scelti tra professori ordinari, direttori di istituti e di enti non facenti parte del Sistan, alti dirigenti di enti e AAPP con prestigio e competenza nelle materie di produzione, diffusione e analisi delle statistiche

Organo di consultazione• Commissione degli utenti dell'informazione statistica (CUIS): definisce le esigenze degli

utenti delle statistiche ufficiali e formula proposte per la definizione del PSN• Composta dai rappresentanti di 37 istituzioni: organi costituzionali, centri studi, regioni e

comuni, imprese, organizzazioni civiche e di volontariato

La statistica ufficiale: la programmazione

Le rilevazioni statistiche di interesse pubblico affidate al Sistan e i relativi obiettivi sono stabiliti dal Programma statistico nazionale (PSN)

• Ha valenza triennale e viene aggiornato ogni anno, approvato con decreto del Presidente del Consiglio dei Ministri

• Individua le rilevazioni, le elaborazioni e gli studi progettuali che i soggetti del Sistan dovranno realizzare

• Il d.lgs n. 322 del 1989 prevede l’obbligo di fornire i dati statistici per i lavori previsti dal PSN

PSN on-line


La statistica ufficiale: oggi


La statistica ufficiale: oggi

https://www.sistan.it/newpsnonline/appl/psn/




La statistica ufficiale: i numeri di oggi (PSN 2013)

Statistiche da indagine (Sdi)

Statistiche da fonti amministrative (Sda)Statistiche derivate o rielaborazioni (Sde)

Sistema informativo statistico (Sis)

Studio progettuale (Stu)

= 376

= 206

= 187

= 113

= 34

Lavori presenti = 916

L’Istat è titolare di 362 lavori pari al 41% del totale.

Totale lavori: 416


Sdi41.0

Sda22.5

Sde20.4

Stu12.3

Sis3.7

(es. indagine sulle condizioni di vita delle famiglie)

(es. iscritti in anagrafe per nascita)

(es. stime di indicatori per i SLL)

(es. nuovo disegno campionario per IPC)(es. Sistema informativo geografico Gistat)

Il sistema statistico europeo (ESS)

http://epp.eurostat.ec.europa.eu/portal/page/portal/pgp_ess/ess/ess_news

• è costituito dall’autorità statistica comunitaria – Eurostat, dagli Istituti nazionali di statistica e dalle altre autorità nazionali preposte in ciascuno Stato membro allo sviluppo, alla produzione e alla diffusione delle statistiche europee

• redige un Programma Statistico Europeo

• garantisce che le statistiche europee prodotte in tutti gli Stati membri dell'Unione europea siano affidabili e seguano criteri e definizioni comuni, in modo che le informazioni siano sempre comparabili tra i diversi paesi della UE




Eurostat

http://epp.eurostat.ec.europa.eu/portal/page/portal/eurostat/home/

la produzione di statistiche armonizzate nazionali fa capo alle autorità dei singoli Stati membri mentre i compiti di Eurostat sono:

• raccogliere i dati forniti dagli Stati e analizzarli

• diffondere le statistiche europee in modo comparabile tra i paesi dell’Unione Europea

• fornire alla Commissione Europea e ad altre istituzioni dati utili alle politiche comunitarie




L’Istat: cos’è?

L’Istituto nazionale di statistica è un ente pubblico di ricerca

• Il principale produttore di statistica ufficiale a supporto dei cittadini e dei decisori pubblici.

• Opera in piena autonomia e in continua interazione con il mondo accademico e scientifico.

• Dal 1989 l'Istat svolge un ruolo di indirizzo, coordinamento, assistenza tecnica e formazione all'interno del Sistan.


L’Istat: mission

La missione dell'Istituto nazionale di statistica è quella di servire la collettività attraverso la produzione e la comunicazione di informazioni statistiche, analisi e previsioni di elevata qualità.

• Nel 2010 viene recepito il Codice delle statistiche europee che tra i suoi principi raccomanda accessibilità e chiarezza del dato

• Gli strumenti di diffusione evolvono dalla carta all’e-book

• Oggi il fulcro è il sito internet: www.istat.it


http://www.istat.it/

L’Istat: dov’è?

La sede centrale è a Roma.

Una rete di uffici territoriali rappresenta l'Istituto su tutto il territorio nazionale.

• 17 sedi territoriali

• l'ufficio territoriale per il Lazio

In ogni regione e provincia autonoma è presente una struttura che opera a stretto contatto con gli enti locali.

• sostegno alla produzione statistica• diffusione dell'informazione e

promozione della cultura statistica• assistenza e formazione degli organi

locali del Sistema statistico nazionale


http://www.istat.it/it/istituto-nazionale-di-statistica/organizzazione/sedi-regionali

L’informazione statistica: le forme

Metadato - descrizioni- definizioni e informazioni

Chiave per interpretare correttamente i datihttp://www3.istat.it/cgi-bin/glossario/indice.pl#P

IDQUESTIONARIO MODELLO TIPALL NOCC NFAM TITGOD SUPERF

111111111111 L 1 5 1 4 200Microdato

dato elementare, individuale

Maschi+

Femmine100 e più 2.993 14.891 17.884

Eta'Totale Maschi

Totale Femmine

Popolazione residente al 1° Gennaio 2014 per età, sesso e stato civile - ItaliaMacrodato

dato aggregato, informazione statistica, indicatori ecc.


http://www3.istat.it/cgi-bin/glossario/indice.pl#P

http://www3.istat.it/cgi-bin/glossario/indice.pl#P

Istat: offerta di datihttp://www.istat.it

Prodotti• Banche dati• Tavole di dati• Microdati• Comunicati stampa • Produzione editoriale• Pubblicazioni scientifiche• Contenuti interattivi• Previsioni e microsimulazioni

Strumenti• Definizioni e classificazioni• Qualità dei dati• Cartografia (dati geografici)



L’offerta di dati: pubblicazioni editoriali (1)

Comunicati stampa


- Format differenti in base alla periodicità di diffusione, alla tipologia di approfondimento, al contenuto

- Sempre allegato un glossario e un documento metodologico

- Classificati per argomento

- Diffusi in base ad un calendario annuale

- Nel 2013 sono stati diffusi 240 comunicati stampa

http://www.istat.it/it/informazioni/per-i-giornalisti/calendario-comunicati



- esempio: indicatori ambientali urbani (indagine "Dati ambientali nelle città", effettuata annualmente nei comuni capoluogo dal 2000)

http://www.istat.it/it/archivio/67990




- Dal 2000 quasi tutte le pubblicazioni sono disponibili anche in formato elettronico (per il download: catalogo editoriale)

- Dal 2013 tutte le pubblicazioni sono prodotte in formato elettronico e scaricabili dal sito Istat

Edizioni chiave (flagship): prodotti informativi trasversali

Ebook: - Metodi- Temi- Territorio

http://www3.istat.it/dati/catalogo/

http://www.istat.it/it/archivio/produzione-editoriale

E-book Lo spazio economico dell'agricoltura veneta nel 2010


Lo Standard Output medio aziendale (= parametro che misura la redditività delle aziende agricole) e quello per ettaro (= redditività dei terreni) evidenziano gli alti livelli di redditività delle aziende veronesi e, in parte, di quelle trevigiane.



Pubblicazioni scientifiche: - Rivista di statistica ufficiale: quadrimestrale, aperta a contributi di

ricercatori e tecnici di Enti e istituzioni statistiche nazionali e internazionali

- Istat Working Papers: condivisione di soluzioni e diffusione di risultati di ricerca intermedi

Previsioni economiche e microsimulazioni: Area di ricerca molto recente (derivante dall'inglobamento dell'ISAE). Le linee di ricerca principali riguardano:

Previsioni semestrali sull'economia italiana (PIL, disoccupazione, ecc) Andamento (mensile) dell'economia italiana Stima dell'inflazione e previsioni per l'IPCA (indice armonizzato europeo)

Microsimulazioni degli effetti dei provvedimenti fiscali sulle famiglie Microsimulazioni degli effetti dei provvedimenti fiscali sulle imprese

L’offerta di dati: tavole di dati


• Si tratta di file excel (oppure ods) diffusi in genere come dato preliminare alla conclusione di alcune indagini. Sempre con glossario e nota metodologica

• Nel 2013 sono state diffuse 40 tavole di dati: http://www.istat.it/it/archivio/tavole-di-dati

Esempi:• Struttura e dimensione delle imprese - Archivio statistico delle imprese

attive (Asia)• Statistiche sui permessi di costruire• Occupati residenti e persone in cerca di occupazione nei Sistemi locali

del lavoro

http://www.istat.it/it/archivio/tavole-di-dati

L'offerta di dati: le banche dati dell’Istat


Temi trasversali:- I.Stat- Serie storiche- Statistiche per le politiche di sviluppo- PubblicaAmministrazione.Stat……

Economia:

- Coeweb- Rivaluta…..

Demografia e società:- Demo- Immigrati.Stat- CoesioneSociale.Stat- Health for all

Censimenti

Le banche dati: I.Stat


http://dati.istat.it/

banca dati delle statistiche correnti

Le informazioni sono articolate per Tema e Argomento

Sottosistemi con dati forniti da altri entiCoesioneSociale.Stat Immigrati.Stat PubblicaAmministrazione.Stat

Diffonde i dati dei Censimenti 2010-2011



http://dati.coesione-sociale.it/

http://stra-dati.istat.it/

http://dati.statistiche-pa.it/


Pannello Esplora Temi

Tema

Sotto-temi

Dataset



TitoloVariabili e modalità

download

Rappresentazioni grafiche

Salvataggio interrogazioni


Le banche dati: I.Stat – Censimenti 2010-2011

I dati di• Censimento Agricoltura 2010• Censimento Industria e Servizi, istituzioni

pubbliche e non profit 2011• Censimento Popolazione e Abitazioni 2011

Sono inseriti in datawarehouse dedicati


I dati censuari precedenti sono disponibili in datawarehouse separati:

• Popolazione: http://dawinci.istat.it/• Industria e servizi: http://dwcis.istat.it/• Agricoltura: http://www.census.istat.it/index_agricoltura.htm

http://dawinci.istat.it/

http://dwcis.istat.it/

http://www.census.istat.it/index_agricoltura.htm

http://www.census.istat.it/index_agricoltura.htm

I.Stat: attenzione ai dati!!!Popolazione residente che si reca al luogo abituale di studio o lavoro

Dati sul pendolarismo estratti dal Dwh Censimento Popolazione 2011


I.Stat: attenzione ai dati!!!


Occupati residenti in famiglia che si recano al luogo abituale di lavoro


I.Stat: attenzione ai dati!!!Popolazione residente in famiglia che si reca al luogo abituale di studio


70.784+28.933 = 99.717e non 99.848Abbiamo perso 131 persone?No, vediamo perché…


Le banche dati: Le serie storiche

Sono disponibili 1.500 tavole di serie storiche su 22 aree

http://seriestoriche.istat.it


http://seriestoriche.istat.it/

Le banche dati: Le serie storiche

Tavola 10.8 -

15-24 25-64 65 e oltre Totale 15-64 Totale 15-24 25 e oltre Totale 15-24 25-64 65 e oltre Totale

1977 38,8 87,8 13,3 75,9 67,3 20,4 1,9 4,6 48,7 89,4 14,1 70,51978 38,0 87,8 12,8 75,5 66,8 20,8 2,0 4,7 47,9 89,5 13,3 70,01979 38,3 87,3 11,8 75,1 66,2 21,4 2,0 4,9 48,7 89,0 12,6 69,61980 39,1 87,4 12,0 75,2 65,9 20,7 1,9 4,8 49,4 89,0 12,6 69,21981 38,6 87,2 11,0 74,8 65,5 22,9 2,1 5,4 50,1 88,9 11,9 69,21982 37,4 85,9 9,7 73,5 64,2 25,3 2,5 6,1 50,0 87,9 10,5 68,4

ANNITasso di occupazione (b) Tasso di disoccupazione (c) Tasso di attività (d)

MASCHI

Tassi di occupazione, di disoccupazione e di attività per classe di età esesso - Anni 1977-2011 (a)

Le tavole sono scaricabili in formato excel


Le banche dati: Coeweb – Statistiche del commercio estero

Sistema informativo sui flussi commerciali dell'Italia con il resto del mondo.

Fonte: amministrativa, aggiornato mensilmente


Esempio: Coeweb – Statistiche del commercio estero

Facciamo una consultazione tematica per territorio e gruppo di attività economica



Selezioniamo il cumulativo di tutto il 2012, gruppo “Navi e imbarcazioni” per la provincia di Venezia



Il risultato, scaricabile anche in excel


Dati per il territorio: statistiche per le politiche di sviluppo


• Informazioni e indicatori territoriali prodotti a supporto dell'attività di valutazione e programmazione prevista nell'ambito dei Fondi strutturali 2007-2013

• Progetti cofinanziati dal Ministero dello sviluppo economico - Dipartimento Politiche Sviluppo e Coesione

• Obiettivi dichiarati: o fornire ai decisori strumenti adeguati per la programmazione e

la valutazione delle politiche di sviluppoo aumentare significativamente l’offerta di dati e indicatori

territoriali

Banca dati di indicatori territoriali per le politiche di sviluppo




Indicatori territoriali per le politiche di sviluppo


204 indicatori disponibili a livello regionale e subregionale. Le serie storiche partono in genere dal 1995 e arrivano all’ultimo anno disponibile

Verona

Vicenza

Belluno

Treviso

Venezia

Padova

Rovigo

0.0 500.0 1000.0 1500.0

2006 2011

Es: Priorità 5 – Valorizzazione delle risorse naturali e culturali per l’attrattività e lo sviluppoIndice di domanda culturale degli istituti non statali (per Kmq)(Visitatori degli istituti di antichità e d’arte non statali per kmq)

Alcuni indicatori sono visualizzabili con grafici dinamici (Statistics Explorer)

Dati per il territorio: Atlante statistico dei comuni


• Sistema informativo off-line di dati comunali provenienti da fonti ufficiali che permette la consultazione, l'esportazione e la rappresentazione cartografica di informazioni relative a: Censimenti (dal 1971 per Popolazione e abitazioni e Industria e Servizi, dal 1990 per Agricoltura), Territorio, Popolazione, Sanità, Istruzione, Turismo, Cultura, Credito, Veicoli circolanti.

• Dati consultati a più livelli di aggregazione territoriale: regionale, provinciale, comunale e ancora per comunità montane, sistemi locali del lavoro, aziende sanitarie locali, ecc.

Banche dati -> Atlante statistico dei comuni


Noi Italia. 100 statistiche per capire il Paese in cui viviamo


120 schede raccolti in 19 settori Livello di disaggregazione territoriale: regioni Visualizzazione grafica interattiva (Stat.Expl.) e file scaricabili Schede organizzate in modo omogeneo: Uno sguardo d’insieme L’Italia nel contesto europeo L’Italia e le sue regioni

Istat: I microdati

E’ in sviluppo l’offerta di microdati, con un dettaglio diverso a seconda dell’utenza. Sempre a tutela del dato personale


Istat: I microdati

File mIcro.STAT (microdati ad uso pubblico): sono collezioni di dati elementari scaricabili liberamente dal sito Istat. Vengono sviluppati per alcune particolari indagini a partire dai corrispondenti File per la ricerca, dei quali costituiscono un sotto-campione e contengono un minor dettaglio informativo.

File standard: riguardano alcune rilevazioni su individui e famiglie, trattati secondo modalità che non ne permettano il collegamento con i singoli rispondenti. Sono rilasciati su richiesta motivata, per finalità di studio e ricerca. Il rilascio avviene dopo valutazione della richiesta.

La richiesta va presentata attraverso il Contact centre


http://www.istat.it/it/prodotti/microdati#file_microstat

http://www.istat.it/it/prodotti/microdati#file_microstat

http://www.istat.it/it/prodotti/microdati#file_standard

http://www.istat.it/it/prodotti/microdati#file_standard

https://contact.istat.it/

https://contact.istat.it/

Istat: I microdati

File per la ricerca: riguardano alcune rilevazioni relative a individui, famiglie e imprese e sono realizzati per soddisfare esigenze di ricerca scientifica

Possono essere richiesti esclusivamente da:• soggetti appartenenti a università o istituti o enti di ricerca;• altri soggetti in possesso dei requisiti richiesti da Eurostat ai fini della

fornitura di file di microdati di cui al Regolamento (CE) n. 831/2002.

Per ottenere tali file è necessaria aver predisposto un progetto di ricerca

File per il Sistan: Richieste di dati elementari da parte di uffici SistanLe finalità della richiesta possono essere:• l'attuazione del PSN;• l'esecuzione di trattamenti connessi all'attività istituzionale o

all'ambito territoriale del richiedente.


http://www.istat.it/it/prodotti/microdati#file_ricerca

http://www.istat.it/it/prodotti/microdati#file_ricerca

http://www.istat.it/it/prodotti/microdati#file_sistan



Istat: Il laboratorio Adele

Adele (Analisi dei Dati ELEmentari) è lo strumento messo a disposizione di Università ed enti di ricerca per poter lavorare direttamente sui microdati Istat


Istat: Il laboratorio Adele

Quali dati sono disponibili?• i dati elementari raccolti e validati dall'Istat attraverso le diverse

rilevazioni su individui, famiglie e imprese;• alcune basi di dati, che integrano fonti diversePer individuare le basi di dati di proprio interesse è possibile consultare:l'elenco delle rilevazioni Istat

A chi si rivolge?Ai ricercatori di università, istituti, enti di ricerca o organismi cui si applica il Codice di deontologia per i trattamenti statistici effettuati al di fuori del Sistan (allegato A.4 del D.lgs. 30 giugno 2003, n. 196).

Come fare richiesta di accesso?Le richieste devono essere redatte sull'apposito Modulo di richiesta di accesso (disponibile in formato doc e odt) e inviate alla Segreteria del Laboratorio ([email protected])


http://www.istat.it/adele/ListaRilevazioni

http://www.garanteprivacy.it/garante/doc.jsp?ID=1556635

http://www.garanteprivacy.it/garante/doc.jsp?ID=1556635

http://www.istat.it/it/files/2010/09/Modulo_Accesso_Laboratorio_verAgosto2013.zip

mailto:[email protected]

Istat: offerta di datihttp://www.istat.it

Prodotti• Comunicati stampa • Banche dati• Tavole di dati• Produzione editoriale• Contenuti interattivi• Pubblicazioni scientifiche• Previsioni• Microdati

Strumenti• Definizioni e classificazioni• Qualità dei dati• Cartografia



Istat: Definizioni e classificazioni

http://www.istat.it/it/strumenti/definizioni-e-classificazioni


http://www.istat.it/it/strumenti/definizioni-e-classificazioni

Istat: I dati geografici

In Strumenti:sono disponibili le basi territoriali (fino alle sezioni di censimento) dei censimenti dal 1991 con i relativi dati principali. Da utilizzare con un software GIS


Istat: I Big data

L’Istat ha cominciato un processo di adozione delle tecnologie Big Data, ad esempio per la gestione dei dati del Censimento della popolazione. Soprattutto ha iniziato una riflessione con accordi con l’Università di Pisa e con la costituzione di una commissione di esperti esterni ed interni che proponga un percorso concreto di valutazione e progressiva introduzione dei Big Data nelle realtà produttive dell’Istat.

Big Data: • insiemi di dati strutturati o destrutturati• non sono gestibili utilizzando i comuni sistemi software (come

i db relazionali).

Le fonti: • rilevazioni statistiche• archivi amministrativi• dati da apparecchiature elettroniche

rilevatori GPS, social network pagine internet file di log dati di esperimenti scientifici ….

Opportunità e ProblematicheO: Realizzare nuove analisi per estrarre nuova

informazioneP: Dimensioni, qualità, aspetti temporali, accessibilità


Istat: Il Contact Centre

Come raggiungerci? Registratevi e inviate la vostra richiestaal Cis (Centro di informazione statistica) più vicinoo alla sede di Roma


Roberto Colotti

Istat - Ufficio Territoriale per il Veneto e il Friuli Venezia GiuliaCorso del Popolo, 2330172 Venezia-MestreTel: 041 5070812 (diretto) 041/5070811 (centralino)e-mail: [email protected]


Roberto Colotti - L’offerta di dati: macro e micro. I.Stat - mIcro.STAT - Coeweb

Education

Transcript of Roberto Colotti - L’offerta di dati: macro e micro. I.Stat - mIcro.STAT - Coeweb