Open data e data scienceDati per capire e comunicare

18 Febbraio 2017Ghirardi Nicola

Master “Web communication e social media”

Fact checking

“There are three kinds of lies: lies, damned lies and statistics”

Dati sbagliati

Errori di visualizzazione dati (e la scelta della

visualizzazione: 1 , 2 )

Fallacie logiche e statistiche

Eccessiva generalizzazione (la trappola delle medie e

confronti inadeguati)

Ipotesi nella raccolta dati: quantificazione

Nel linguaggio

Nella raccolta dati

Ipotesi nella raccolta dati: bias nascosti

Campionatura casuale● Area specifica● Autoselezione

● Passaparola (la bolla)

Altri bias● Autocertificazione

● Domande che inducono una risposta

Campionatura, margine d’errore e livello di confidenza (e grandezza

campione)

Il caso: p-valueIndica la probabilità che i dati derivati da un campione siano dovuti al caso, e

non rappresentino quindi il tutto

p<0,05 (5% prob) è preso come convenzione per escludere il caso

E’ applicato a modelli predittivi (e.g. trend di crescita o correlazione): con p<0,05 allora la relazione è statisticamente significativa (non umanamente,

economicamente o scientificamente)

NON indica la probabilità che la correlazione o la causalità esistano

NON indica l’errore nei dati

Correlation is not causation

Spurious correlation

A/B testing (aka esperimento controllato)

● Ricerca scientifica● Applicazioni

Alla ricerca della verità

Sarebbe successo altrimenti?

Confrontare realtà simili

Alla ricerca della verità (modelli di causalità)

Verità per eliminazione

Stimare le cause attraverso

● Parlare con esperti● Chiedere agli interessati

● Studiare il dominio● Caffe

● Studiare il lavoro di altri● Cambiare idea

● Discutere con altri

Test● Con dati

● Nella strada

Iterare

Dati non strutturati :

analisi del testo

Le emozioni dei discorsi inaugurali

Strumenti: analisi, visualizzazione, coding

Digital humanities

Internet of peopleDati dai social network

Monitoraggio dei trend (e.g. reputation management)

Grafi sociali: un esperimento

Strumenti per l’analisi: gephi, python, graph db (e.g. neo4j)

Strumenti per la raccolta: APIs, google sheet plugins, fornitori di dati (e.g. Gnip)

Esempio di trasformazione dati

Le emozioni dei discorsi inaugurali

Live fact checking

Finanziamenti

La rincorsa di trump

Lo sprint di Trump

Storie di dati, politici e parole

Usare ricerche esistenti

Statistica di base (confronti, classifiche,.. )

Riassunto di ricerche

Il contesto

Prendere spunto dalle ricerche esistenti

Dal globale al locale

Giustizia nel mondo

Innovazione

Qualità dell’aria

AirBnb effect

Trovare la storia nei dati

Confronti

Cambiamenti nel tempo

Esplorare le intersezioni

I contrasti tra gruppi

Analizzare i fattori

Outliers

Associazioni, relazioni e la ricerca della verità

La statistica come storia

Dati inaspettati

Sport e dati (a pagamento)

Baseball:Tradizionalmente statisticoNuovi dati sulle partiteData about fans

Il Basket e il monitoraggio dei giocatori

Calcio: expected goal e dati a pagamento

Storie di dati sportivi

(pochi) Dati a supporto di una tesi

Chi para meglio in serie a

Gli attaccanti italiani di oggi (e lo scraping)

Calcio e soldi

Approfodire (2)

Dati più umani

Raccontare a non esperti digitali

Humanize data

Andare in profondità, censire dati manualmente

non è reato :)

Dati per campagne

Quando i dati sono una call to action

Questionario open migration

Recap:Tipi di output

Text story

Static visualization

Video visualization

Interactive visualization

Multimedia story

News application

News applications

Stipendi francesi

L’uso di una ricerca per diverse pubblicazioni:

TorinoMulte

Come è andata con Obama?

Scrollytelling with data: esempi

Raccolta dati

Arricchimento, pulizia e

integrazione

Esplorazione,

comprensione e analisi

Produzione della storia

Produzione grafica e

pubblicazione

Il flusso di lavoro al Guardian

Data journalism teams & skillsUnicorno: singolo innovatore tuttofore -> prototipi, semplici visualizzazioni, buon impatto

Duo: solitamente una figura più tradizionale e una più tecnica o statistica -> investigative dj, great stories

Small team: Reporter, designer, programmatore(2) , statistico -> great and innovative dj

Grandi team: Distribuiti, molti informatici-> big data stories

MOOC (Coursera, JournalismCourses,

Learno, ...)

Read, Read, Read!(it’s f…..g good journalism)

Imparare gli strumenti e costruire la propria toolbox

Frequentare community open data e hackathons

(andare a SOD17 in Sicilia)