Perugia, 19 maggio 2015Sonia Montegiove

DATAJOURNALISM E OPEN DATA. TRA RICERCA E INCHIESTA GIORNALISTICA

DATAJOURNALISM E OPEN DATA

Perugia, 19 maggio 2015 - Sonia Montegiove

Foto di cucchiaio, Flickr

<Open Data: come fare>

Open Data, chi?

Open cosa?

“Un contenuto o un dato si definisce aperto se chiunque è libero di usarlo, riusarlo, ridistribuirlo – soggetto, al massimo, al requisito di attribuzione e/o condivisione allo stesso modo”

Open Knowledge Foundation

<Open Data: come fare>

E soprattutto perché signora mia?

<Open Data: come fare>Foto di Anna Lena Schiller, FlickrFoto di Anna Lena Schiller, Flickr

<Open Data: come fare>Foto di Anna Lena Schiller, FlickrFoto di Anna Lena Schiller, Flickr

<Open Data: come fare>

Identikit dell'open data

Disponibili con licenza che ne permetta l'uso da parte di chiunque

Accessibili attraverso le ICT e adatti all'utilizzo automatico da software

In formato aperto

Gratuiti o a costo marginale per la loro riproduzione e divulgazione

<Open Data: come fare>

Disponibili: le licenze Creative Commons

Le licenze Creative Commons offrono […] diverse articolazioni dei diritti d'autore per […] creatori che desiderino condividere in maniera ampia le proprie opere secondo il modello "alcuni diritti riservati"

<Open Data: come fare>

Quali diritti l’autore vuole riservarsi e quali vuole condividere?

<Open Data: come fare>

E poi le licenze IODL

Italian Open Data Licenses (IODL) sono le licenze aperte sviluppate da FORMEZ PA allo scopo di dare a tutte le Amministrazioni Italiane uno strumento chiaro e certificato in grado di facilitare la diffusione e il riutilizzo dell’informazione del settore pubblico

<Open Data: come fare>

IODL: l'utente ha la libertà di...

● consultare, estrarre, scaricare, copiare, pubblicare, distribuire e trasmettere i dati

● creare un lavoro derivato, per esempio attraverso la combinazione con altre informazioni, includendole in un prodotto o sviluppando un’applicazione informatica che le utilizzi come base dati

● usare e riutilizzare gratuitamente i dati anche per finalità lucrative

<Open Data: come fare>

Accessibili? Pdf immagine anche no

<Open Data: come fare>

Formato aperto [e standard]

<Open Data: come fare>

Formato Standard

Sviluppato da un Ente Neutrale

Costruito come Standard Aperto

Implementazione Nativa Libera

Apertura/Salvataggio senza Condizioni

<Open Data: come fare>

Formato ApertoE' indipendente da un unico software (e vendor)

E' interoperabile, perché permette una condivisione trasparente dei dati tra più sistemi eterogenei

E' perenne, perché tutela il patrimonio di informazioni nel tempo di fronte all'evoluzione della tecnologia

E' neutrale, perché non costringe l'utente a usare uno specifico software, ma lascia un'ampia scelta

<Open Data: come fare>

Open ContentClosed Content

Open FormatClosed Format

<Open Data: come fare>

Non Standard: Circa 2000 AC

<Open Data: come fare>

Non Standard: Circa 2000 DC

<Open Data: come fare>

Standard: Circa 2000 DC

<Open Data: come fare>

Open Data a tavola

Foto di Karen Morgan, Flickr

ovvero come rendere appetibiliingredienti che non lo sono

<Open Data: come fare>

Ingredienti

Per l'impasto:

100 g di Open Data

400 g di altre Fonti di Informazione

1 Kg di Pazienza nella ricerca

LibreOffice e altri sw open source

Per la comprensione e il mash-up:

Passione q.b.Foto di The Hellos, Flickr

<Open Data: come fare>

Dove trovare ingredienti freschi

Portale www.dati.gov.it

Portali Open Data delle PA

Sezione Trasparenza Siti della PA

Da motore di ricerca con parola magica open data

Data scraping

Foto di Young Sok Yun, Flickr

<Open Data: come fare>

Quanti sono i dataset liberati in Italia?

Fonte: dati.gov.it

<Open Data: come fare>

Chi pubblica più dati?

Fonte: dati.gov.it

<Open Data: come fare>

Chi pubblica più dati?

noi siamo qui

Fonte: dati.gov.it

<Open Data: come fare> Foto di Bas Van Uyen, FlickrLavorare con i dati stanca?

<Open Data: come fare>

Quando i dati [buoni] sono un sogno...

<Open Data: come fare>

La via crucis dell'open data

1° mistero doloroso del dataset

● vecchio● incompleto ● troppo aggregato● poco aggregato ● grande tanto da mandare in

crash un foglio di calcolo

<Open Data: come fare>

La via crucis dell'open data

2° mistero doloroso del dataset ● in solo formato chiuso (per

esempio .xls)● in finto open data (pdf

immagine), in strafinto open data (elaborazioni pubblicate in pdf di dati grezzi)

<Open Data: come fare>

La via crucis dell'open data

3° mistero doloroso del dataset ● con nomi di colonne incomprensibili

possibilmente non descritte tramite appositi file

● con informazioni accorpate quando potrebbero essere divise

● con dati divisi quando sarebbe più utile fossero accorpati

● con colonne duplicate in italiano e inglese

● con informazioni replicate in posti diversi con nomi differenti

<Open Data: come fare>

La via crucis dell'open data

4° mistero doloroso del dataset ● con colonne dai formati non

uniformi● con numeri che risultano testi ● con date non in formato data● con percentuali scritte tra

virgolette

<Open Data: come fare>

La via crucis dell'open data

Rischio: crocifissione di chi presenta un dato rielaborato attraverso un dataset difettoso, non corretto, non pulito, pubblicato tanto per essere pubblicato, inutile

<Open Data: come fare>

La strada è ancora lunga ma non disperiamo

<Open Data: come fare>

Che fare allora?

Foto di Neil Moralee, Flickr

<Open Data: come fare>

Si parte dal download: le piattaforme cKan

Posso cercare i dati per parola o tag

per poi effettuare il download

<Open Data: come fare>

Si parte dal download: il caso Istat

Posso fare dei filtri ed esportare

Da notare il formatoExcel…

<Open Data: come fare>

Si parte dal download: il caso Inps

Posso fare ricerche dei dati (anche per Categoria) ed esportare

e anche qui l'immancabile formato chiuso...

<Open Data: come fare>

Se trovo dati .CSV

SEMPLICE!

Aprire il file con

LibreOffice e importare

il testo

<Open Data: come fare>

E se trovo un .XLS?Un formato chiuso per esporre un dato aperto? Ossimoro?

<Open Data: come fare>

E se trovo un .pdf?

1. Scarico Tabula

2. Lo installo

3. Apro Tabula.exe

4. Faccio upload del file.pdf

<Open Data: come fare>

E se trovo un .pdf?

Aspetto che arrivino i dati in forma tabellare.

L'attesa dipende dalla complessità del file.

<Open Data: come fare>

E se trovo una tabella html?

Questo non è il formato adatto a pubblicare

Il caro vecchio copia-incolla può aiutarci

Fonte: http://www.benisequestraticonfiscati.it/

<Open Data: come fare>

Un LibreOffice in “cucina”

Foto di Young Sok Yun, Flickr

<Open Data: come fare>

Decorare con i grafici

da così...

...a così

Fonte: http://www.dati.salute.gov.it/

<Open Data: come fare>

Decorare con i grafici

da così...

...a così

Fonte: http://www.dati.salute.gov.it/

<Open Data: come fare>

Decorare con i grafici

1. scaricare il dataset e aprirlo in Calc

2. selezionare i dati da rappresentare

3. Inserisci – Grafico

4. Seguire la creazione guidata

5. Rifinire modificando alcuni elementi

<Open Data: come fare>

Decorare con i grafici (in modo guidato) Da Inserisci-Grafico...

1 2

3 4

<Open Data: come fare>

Mettere in risalto alcuni dati

Fonte: http://dati.umbria.it

Per esempio se voglio evidenziare con un colore diverso i nidi aperti tutto l'anno...

<Open Data: come fare>

Come fare? Formattazione condizionata

Da:

Formato

Formattazione condizionata

Condizione

<Open Data: come fare>

Contare in base ad una condizione

Con conta.se trovo 28 scuole senza superficie esterna. Come?

CONTA.SE(intervallo celle:condizione)Fonte: http://dati.umbria.it

<Open Data: come fare>

Contare in base ad una condizione

Con somma.se trovo che i pasti erogati da strutture aperte tutto l'anno sono 6.878. Come?

SOMMA.SE(intervallo celle in cui verificare:condizione: intervallo celle in cui sommare)

Fonte: http://dati.umbria.it

<Open Data: come fare>

Selezionare tra tante informazioni

Fonte: http://www.dati.piemonte.it/catalogodati/dato/100670-.html

Per esempio se volessi evidenziare alcune tipologie di incarichi...

<Open Data: come fare>

Selezionare tra tante informazioni

Da Dati

Filtro

Filtro standard

<Open Data: come fare>

Ho così un elenco degli incarichi sopra una certa soglia

Foto di Geoff Llerena, Flickr

<Open Data: come fare>

Ottenere somme, medie, conteggi per dato

Fonte: http:/dati.lombardia.it/

<Open Data: come fare>

Ottenere somme, medie, conteggi per dato

Da Dati

Subtotali

<Open Data: come fare>

Che aria tira?

1 2

3Fonte: http://www.arpa.umbria.it/open-data.aspx

<Open Data: come fare>

E se i dati sono tanti

<Open Data: come fare>

Da così...

<Open Data: come fare>

...a così

<Open Data: come fare>

La fortuna di avere le tabelle pivot

Da Dati

Tabella Pivot

Crea

<Open Data: come fare>

Non avete capito come si usa LibreOffice?

<Open Data: come fare>

Scaricate l'ebook gratuito da Tech Economy!

<Open Data: come fare>

E se i dati sono da aggiustare?

Software prodotto da Google Finalizzato al data cleaning Interfaccia intuitiva e semplice da usare Open Source, sorgente disponibile in Github

Refine offre una serie di trasformazioni preconfezionate (trasformazioni comuni)

Refine utilizza il linguaggio GREL (Google Refine Expression Language) per trasformazioni avanzate

Supporta diversi formati: TSV, CSV, *SV, JSON, XML, RDF

<Open Data: come fare>

Open Refine Luoghi di interesse, Città di Firenze (Risorsa in CSV).

<Open Data: come fare>

Open Refine 1. Importare il file CSV in Open Refine

<Open Data: come fare>

Open Refine 2. Eliminare colonne duplicate (italiano/inglese)

<Open Data: come fare>

Open Refine 3. Rinominare intestazione colonne

<Open Data: come fare>

Open Refine 4. Trasformare celle utilizzando caratteri maiuscoli

<Open Data: come fare>

Open Refine 5. Unire due colonne ed ottenere l'indirizzo completo

<Open Data: come fare>

Open Refine 5. Unire due colonne ed ottenere l'indirizzo completo

<Open Data: come fare>

Open Refine 5. Unire due colonne ed ottenere l'indirizzo completo

6. Esportare il dataset! Formati disponibili TSV, CSV, ODS, XLS.

<Open Data: come fare>

datasets can't change the world. (people do)

Jonathan Gray

Foto di Francesca G., Flickr

<Open Data: come fare>

Grazie!

info@libreitalia.it @libreitaliasonia@libreitalia.it @suxsonica