I luoghi degli #opendata

dove e come trovare e creare datiper sviluppare applicazioni location aware

Pietro Blu Giandonato - @pietroblu

l’importanza di essere “aperti”I dati aperti, comunemente

chiamati open data anche nel contesto italiano, sono alcune tipologie di dati liberamente

accessibili a tutti, privi di brevetti o altre forme di

controllo che ne limitino la riproduzione e le cui restrizioni

di copyright eventualmente si limitano ad obbligare di citare

la fonte o al rilascio delle modifiche allo stesso modo.

http://it.wikipedia.org/wiki/Dati_aperti

Richiama la più ampia disciplina dell’Open Government, che prevede l’apertura della Pubblica Amministrazione, intesa sia in termini di trasparenza che di partecipazione diretta dei cittadini, anche attraverso l’uso delle nuove tecnologie dell’informazione e della comunicazione.

internet come canale principale di diffusione dei dati stessi

dove trovare dati aperti?

non sempre disponibili formati spesso “chiusi”

non direttamente utilizzabililicenze d’uso non chiare

sempre disponibili formati “aperti”

direttamente utilizzabilicopyleft

dati “detenuti” da pubbliche amministrazioni

dati generati dagli utenti (crowdsourcing)

dati “detenuti” da pubbliche amministrazioni

dati generati dagli utenti (crowdsourcing)

come trovare dati aperti?

repertori di dati e pacchetti di contenuti,non solo gestiti da PA ma anche da “terze parti”

i cataloghi ufficiali italiani (1)Il portale open data SPC di AgID

http://spcdata.digitpa.gov.it/

i cataloghi ufficiali italiani (2)Il catalogo degli open data di AgID

http://www.dati.gov.it/

i cataloghi ufficiali italiani (3)Catalogo nazionale dei dati della PA realizzato con tecnologie open source dall'Agenzia per l’Italia Digitale in collaborazione con l’Università Ca' Foscari di Venezia.

E’ un catalogo di metadati.

http://basidati.agid.gov.it/catalogo

il catalogo della Regione PugliaIl catalogo degli open datadella Regione Puglia

Attivo da circa un anno,16 dataset

Licenza dati IODL v. 2.0 paragonabile a CC-BY

Open Data tutto, qui (?)

http://www.dataset.puglia.it/

il catalogo del Comune di BariIl catalogo degli open datadel Comune di Bari

Attivo da circa 2 anni,45 dataset

Licenza dati CC-BY-NC

Il Comune ha anche predisposto delle linee guida

http://opendata.comune.bari.it/

cataloghi mantenuti da cittadini o associazioni Open Knowledge Foundation

Give your data a home

http://datahub.io/

cataloghi mantenuti da cittadini o associazioni SciamLab

http://opendatahub.it/

il catalogo di OpenPugliaIl catalogo degli open datadi OpenPuglia su OPENBSK

E’ il repository dati del gruppo di sviluppatori e civic hacker OpenPuglia

Licenza dati CC-BY

http://dati.openbsk.it/dataset

Wikipedia, questa (s)conosciuta

nata nel 2001multilinguegratuitasupportata da Wikimedia Foundation288 lingue33 milioni di voci124 milioni di pagine49 milioni di utentilicenza CC BY-SA 3.0

le pagine possono essere modificate da chiunque e

non c'è un comitato di redazione né alcun

controllo preventivo sul materiale inviato

punto di vista neutralea causa della sua natura

aperta, vandalismi ed imprecisioni sono problemi

riscontrabili in Wikipedia fino alle guerre di modifiche

http://it.wikipedia.org/wiki/Wikipedia

meet OpenStreetMap

OpenStreetMap stats report run at 2015-02-20 00:00:17 +0000http://www.openstreetmap.org/stats/data_stats.htmlusers 1.978.863uploaded GPS points 4.522.958.930nodes 2.742.634.278ways 274.638.634relations 3.145.455Licenza d’uso “Open Database Licence (ODbL) 1.0″

http://openstreetmap.it/

OpenStreetMap (OSM) è un progetto nato nel 2004 che punta

a creare e rendere disponibili dati cartografici, liberi e gratuiti

a chiunque ne abbia bisogno.Il progetto è stato lanciato perché

la gran parte delle mappe normalmente si pensano libere, hanno, in realtà restrizioni legali

o tecniche.Chiunque può utilizzare i dati di

OpenStreetMap a qualsiasi scopo e senza costi di licenza.

use OpenStreetMap

http://openstreetmap.it/

Mapping party - eventi spontanei durante i quali gli osmers si incontrano per mappare zone più o

meno ampie.

Armchair mapping - è possibile editare la mappa OSM anche comodamente seduti davanti a un computer, usando strumenti web e software.

Contribuire a OSM

OSM - concetti fondamentali: elementiOSM è un database geografico relazionale. I suoi elementi cioè sono legati da relazioni sia topologiche/spaziali che logiche/concettuali gli uni con gli altri. Gli elementi sono primitive geometriche che rappresentano gli oggetti reali (feature) mappabili e le loro reciproche relazioni.

Node - rappresenta un punto specifico sulla superficie terrestre, definito dalla sua latitudine e longitudine. Ogni nodo comprende almeno un numero ID univoco e una coppia di coordinate. Con opportuni tag può rappresentare specifici elementi (es. panchine o fontanelle) così come una serie di nodi possono materializzare un percorso (way).

Way - o percorso, è un elenco ordinato di nodi di solito taggati o inclusi all'interno di una relazione. Un percorso può avere tra 2 e 2.000 nodi, può essere aperto (es. strade, fiumi), chiuso (es. rotonde stradali) o rappresentare un’area (es. edifici, parchi) se un percorso chiuso possiede il tag area=yes

Relation - è uno degli elementi di dati fondamentali, si compone di uno o più tag e un elenco ordinato di uno o più nodi, percorsi e/o relazioni con il ruolo di membri. Viene utilizzata per definire le relazioni logiche o geografiche tra gli altri elementi. Un membro di una relazione può opzionalmente avere un ruolo (definito da un tag testuale) che descrive la funzione che esso svolge all'interno della relazione stessa. Per ulteriori dettagli sui tipi di relazioni, rimando all’articolo sul wiki OSM.

OSM - concetti fondamentali: tagPer descrivere gli elementi vengono utilizzati i tag, composti dalla coppia chiave=valore. Ogni elemento può essere descritto da uno o più tag.Esiste un set di tag ufficiali http://wiki.openstreetmap.org/wiki/IT:Map_Featuresma se necessario possono esserne creati di nuovi.In pieno stile collaborativo, è possibile proporre e discutere la creazione e la implementazione di nuovi tag su una mailing-list internazionale.Ogni elemento viene descritto almeno da un tag. Ad esempio i nodi di una autostrada a pedaggio avranno il tag highway=motorwayUn sito web molto informativo e ricco di statistiche per ogni tag è https://taginfo.openstreetmap.org/

OSM - the big picture

http://www.slideshare.net/AleZenaIT/introduzione-a-openstreetmap-gter-30032012

che affidabilità ha OSM?OSM non è attualmente utilizzabile per applicazioni di precisione o per le quali è richiesta una certificazione del dato (es. catastali) ma va benissimo per tutti gli utilizzi che ritengono accettabili errori di alcuni metri (es. escursionismo, turismo, valutazione qualitativa del territorio).

Essendo generata interamente da utenti su base volontaristica, non ha copertura uniforme a livello globale, sebbene in alcune zone possieda una quantità di dettagli superiore a qualsiasi altra mappa.

Ma l’auspicabile apertura delle basi di dati geografiche da parte di Pubbliche Amministrazioni potrebbe incrementare in maniera rapidissima la completezza e la precisione di OSM, poiché è possibile importare direttamente dati vettoriali o ricalcare quelli raster come ad esempio ortoimmagini.

Come nel caso di Wikipedia, i dati di OSM non sono eterni e immutabili, ma possono e devono essere continuamente aggiornati e migliorati.

La tracciabilità delle modifiche (changeset) e dei singoli contributi rendono possibili i controlli e riparare ad eventuali vandalismi. Il changeset è identificato da un numero progressivo, data e ora e nome utente che l'ha effettuato.

Ogni oggetto nel database è caratterizzato dall'intera sua storia, sin da quando è stato creato (changelog). In caso si modifiche errate, agendo sul changelog è possibile ripristinare ogni oggetto ad uno stato precedente in maniera rapidissima.

A livello locale, il controllo e la supervisione sono demandate ad utenti più esperti, che entrano in azione diretta solo in casi gravi avvisando sempre gli utenti coinvolti.

il controllo del dato in OSM

let’s get started!

cosa faremo oggi?

1. Da Wikipedia a OSMa. individueremo gli elementi di interesse culturale e turistico

localizzati in Puglia presenti in Wikipediab. ci divideremo in gruppi e creeremo nuovi elementi su OSM,

arricchendo il patrimonio conoscitivo aperto e libero!c. completato il lavoro di aggiornamento, impareremo a tirare

fuori da OSM i dati che ci servono per fare altre cose

2. Rendiamo vivi i dati aperti e liberia. preleveremo i dati che ci interessano da OSMb. cercheremo altri dati aperti disponibili liberamentec. renderemo vivi questi dati creando pagine web dedicate ad

argomenti culturali e/o turistici

riferimenti utili e tool che useremo[Warbench] - conference table online (link)OSM Map Features | guida dei tag per le feature di OSM (link)OSM Who did it? | individuare le modifiche OSM in una zona (link)OSM overpass-turbo | tool di querying per estrarre dati da OSM (link)OSM WTOSM | articoli Wikipedia che possono essere mappati in OSM (link)Umap | piattaforma web per costruire mappe con open data (link)Silk | piattaforma web per creare pagine a partire da dati tabulari (link)Ricerca contenuti in Creative Commons (link)OpenRefine | tool per il refinement e la pulizia di dati (download)Convertitore online di geodati (link)Portale open data del Comune di Bari (link)

prima attività: da Wikipedia a OSM

WTOSM

first things first...

1. Familiarizziamo con OpenStreetMapa. cliccate qui e registratevi con email, e scegliendo nickname e

passwordb. accediamo a OSM e familiarizziamo con l’interfaccia di

navigazione (attività live collettiva su warbench)c. cerchiamo luoghid. interroghiamo elementie. creiamo percorsi di navigazionef. condividiamo una mappag. esportiamo una mappa (formato dati Planet.osm apribile con

QGIS)h. consultiamo la cronologiai. inseriamo una nota

scegliamo gli elementi da aggiornare

1. Come funziona WTOSMa. cliccate qui e diamo un’occhiata a WTOSM (attività live

collettiva su warbench)b. esploriamo il database per Temi, Regioni e Mappac. capiamo qual’è lo stato di mapping degli articoli grazie alla

legendad. diamo un’occhiata agli articoli di Wikipedia mappabili su OSM

presenti in Pugliae. scegliamo una categoria di articoli su cui lavorare, ad esempio:

Biblioteche (0/4), Chiese (44/350) (sono raggruppate per provincia), Castelli, Torri, Musei (2/54), Palazzi (2/91), Siti archeologici (6/41)

aggiorniamo OSM partendo da Wikipedia

2. Il workflow di lavoroa. scegliamo l’articolo da mappare basandoci sulla legendab. il modo più facile per creare/modificare gli elementi

in OSM è l’editor web iD, che si aprirà direttamentesulle coordinate in OSM una volta cliccato sull’icona

c. individuiamo sulla mappa l’elemento al quale si riferiscel’articolo di Wikipedia

d. se l’elemento esiste come nodo o percorso, aggiorneremosolo il tag Wikipedia

e. se l’elemento non esiste affatto, lo creeremo noi stessiinserendo anche il tag Wikipedia

Per maggiore chiarezza, guardare il video nella slide successiva.

aggiornare OSM da Wikipediatu

tori

al a

cura

di A

ndre

a Bor

ruso

- @

abor

ruso

tutorial a cu

ra di Andrea B

orruso - @

aborruso

au contraire: aggiornare Wikipedia partendo da OSM3. Il workflow di lavoro

a. individuiamo in OSM l’oggetto cui l’articolo in Wikipedia si riferisce

b. posizioniamo la mappa OSM con al centro l’oggettoc. copiamo dall’URL nel browser le coordinate es.

40.63893/17.94436d. andiamo ad editare in wikitesto l’articolo di Wikipedia

inserendo il template Coordinate (occhio al pipe |) es. {{coord|40.63893|17.94436|display=title}}

e. una volta pubblicate le modifiche, l’articolo saràgeotaggato

Per maggiore chiarezza, guardare il video nella slide successiva.

aggiornare Wikipedia da OSMtu

tori

al a

cura

di Pie

tro

Blu

Gia

ndon

ato

@pi

etro

blu

tutorial a cu

ra di Pietro B

lu G

iandon

ato @

pietrob

lu

come interrogare ed estrarre dati da OSMdirettamente da web con overpass-turbo

1. è un parser di dati OSM che funziona con query costruite sulla base del sistema di tagging

2. facciamo degli esempi con il wizard e con specifici tag che sceglieremo a nostro piacimento (attività live collettiva su warbench)

3. condividiamo la query4. vediamo come esportare i dati:

a. geoJSON - formato di interscambio di geodati e riusabile in software desktop e applicazioni web

b. GPX - formato di interscambio per sistemi GPSc. KML - formato dati Google Earthd. gist - snippet di dati in formato geoJSON editabili direttamente

su web con geojson.io grazie a GitHubGist (ricordatevi di questo ;)

prepariamo i dati che ci servono...passiamo da overpass-turbo a geojson.io

1. inquadriamo la mappa di overpass su un’area per la quale vogliamo estrarre i dati

2. impostiamo la query in modo tale da prelevare gli elementi che ci interessano, scegliendo opportunamente i tag

3. eseguiamo la query ed esportiamo i nostri dati proprio come Gist per editarli in geojson.io

4. funzionalità di geojson.io per l’editing e la ripulitura dei dati: valori dei tag, aggiunta/eliminazione dei tag, editing delle geometrie

5. una volta effettuate le modifiche necessarie, è possibile salvare i dati in Gist o esportarli in formati diversi: GeoJSON, CSV, KML, WKT, Shapefile

6. esportiamo i dati in CSV e geoJSON, che però hanno delle differenze, come vedremo

diamo un’occhiata ai nostri datiCi sono moltissimi modi per visualizzare i dati geografici, non solo OSM, purché siano in formato aperto

1. uno è proprio in geojson.io e Gist, che consentono di condividere i singoli dataset al volo in mappe dinamiche (attività live collettiva su warbench)

2. un’altro è tramite Umap, una piattaforma web molto intuitiva nell’uso che consente di creare mappe (anche collaborativamente) importando dati in diversi formati aperti: GeoJSON, CSV, KML, osm, GPX, GeoRSS

3. proviamo a creare una mappa in Umap caricando i dati che abbiamo esportato da OSM

OSM come repository globale di geodatiGrazie alle attività che abbiamo condotto assieme finora, appare chiaro il prezioso ruolo che OSM riveste come repository di geodati a livello globale:

1. licenza che consente il riuso (anche commerciale) e la modifica dei dati

2. organizzazione del lavoro in stile wiki non verticistica, dinamica nel tempo, che consente a chiunque di collaborare

3. esportabilità dei dati in tutti i formati aperti conosciuti4. semplicità della struttura dei dati che al tempo stesso

ne garantisce l’integrità e la scalabilità nel tempo...dunque perché non contribuire? :)

seconda attività: sfruttiamo i nostri datiSilk.co è una piattaforma web per pubblicare i nostri dati.Ogni Silk contiene dati su un argomento specifico.Chiunque può esplorare un Silk e creare visualizzazioni interattive con i dati in maniera semplice e intuitiva

Silk mette a disposizione anchedelle API per gli sviluppatoriche vogliono creare applicazionicon i dati ospitati su Silk

Silk spiegato in 80 secondi

recuperiamo gli ingredientiLa scelta dei dati che ci servono va fatta in base a ciò che vogliamo comunicare, ad es. una pagina turistica sulla città di Bari, una sui beni archeologici della Puglia, sulle torri di avvistamento costiere, o anche sul turismo religioso :)Cosa abbiamo a disposizione:

1. dataset che abbiamo estratto da OSM in CSV2. open data del Comune di Bari (link)3. il catalogo degli open data di OpenPuglia su OPENBSK (

link)4. ricerca contenuti (es. foto) in Creative Commons (link)5. l’enorme patrimonio conoscitivo di Wikipedia

tocca a voi adesso!

https://flic.kr/p/omBKkv

chi sono e dove mi trovatePietro Blu Giandonatogeologo, insegnante, Geographic Information Manager

Twitter @pietrobluWork http://it.linkedin.com/in/pietroblu About me http://about.me/pietroblu Socially https://www.rebelmouse.com/pietroblu/

Quest'opera è distribuita con Licenza Creative Commons Attribuzione - Condividi allo stesso modo 4.0 Internazionale.