La (ir)ragionevole efficacia dei dati
-
Upload
cataldo-musto -
Category
Technology
-
view
389 -
download
0
Transcript of La (ir)ragionevole efficacia dei dati
Who I am
2Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Who I am
3Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Inspired by
4Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
(2009 !)
Knowledge Pyramid
5Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Knowledge Pyramid
6Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Knowledge Pyramid
7Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Knowledge Pyramid
8Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Knowledge Pyramid
9Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
X
Knowledge Pyramid
10Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
the problem
X Big Data!
Moore’s Law
11Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Moore’s Law (for data)
12Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Moore’s Law (for data)
13Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
(Hint)
14Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
What is “Big Data” ?One minute on the Web
15Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
What is “Big Data” ?One year
16
can be considered as novel data silos
Web and Social Media
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
17
Web and Social Media
information about preferencesCataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
18information about connections
Web and Social Media
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
19information about people feelings
Web and Social Media
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
20
Big Players have knowledge
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
(Francis Bacon, around 1600)
Scientia Potentia Est
…and knowledge is power!
21
Web and Social Networks
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
changed the way people produce information.
22
changed the way people acquire information.
Web and Social Networks
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
23
Web and Social Networks
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
24
Dunbar’s Number
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Average number of active connection during the life: 150How many Facebook friends you have?
25
Dunbar’s Number
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Average number of active connection during the life: 150How many Facebook friends you have?
“Six Degrees Separation” Theory
26
Dunbar’s Number
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Average number of active connection during the life: 150How many Facebook friends you have?
“Six Degrees Separation” Theory
On Facebook: 4.74 (in 2011)
27Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
What is “Big Data” ?Not only Social Media!
Obstacleor
Opportunity?
Question
Big Data
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 28
Big Data as Obstacle
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 29“Big” does not always mean better!
(Source: Adrian C.Ott, The 24-hour customer)
we can handle 126 bits of information/day
we deal with 393 bits of information/day
ratio: more than 3xCataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 30
Big Data as Obstacle
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 31
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 32
67% of the people checks the phone even if no alert was received
29% of the people says: “I can’t imagine living without my phone”(2012)
Information Overload
… in digital life
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 33
Information Overload
… in real life
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 34
Information Overload
Paradox of Choice (Barry Schwartz)
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 35
Information Overload
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 36
37
Big Data as Opportunity
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Big Data as Opportunity
38
Key Concept: Information Asymmetry
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
“Information asymmetry deals with the study of decisions in transactions where one party has more or better information
than the other. This creates an imbalance of power in transactions”
J.StiglitzNobel Prize 2001
Big Data as Opportunity
39Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
“A team of scientists, engineers and technicians from Google, all volunteers, is cooperating with UNICEF to cross all this data to other elements, ranging from weather conditions to travel flows, and as a result identify and view any new
outbreaks.”
Key Concept: Information Asymmetry
40Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Big Data as Opportunity
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
41Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Big Data as Opportunity
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
preventing crimes in London
significant reductions in thefts (-33%), violent crime (-21%) and violations of private property (-12%).
Mapping Datafor common good
(Not a new idea) Map of cholera in London, 1854
red = cholera cases blue = water
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 42
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 43
To aggregate rough people-based data in order to analyze complex phenomena.
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Use Case: Italian Hate Maps
44
Violence against women Disability
Racism Anti-semitismCataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Use Case: Italian Hate Maps
45
Given the maps and given the output of the linguistic analysis of intolerant Tweets (co-occurrences between terms,
time lapse, etc.), the psychologists team defined some guidelines to tackle and prevent intolerant behaviors.
These guidelines have been freely distributed to public administration on early 2015.
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Use Case: Italian Hate Maps
46
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Use Case: Smart Cities
Urban Informatics47
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Use Case: Smart Cities
Smart Parking
Smart lighting
Traffic Congestion
Smart Buildings
Applications
(Amsterdam)
48
Big Data can be used to automatically learn the semantics of textual content
Use Case: Semantics
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 49
?
“I love turkey. It’s my choice for these holidays!
Use Case: Semantics
Computers cannot understand the real meaning of terms!
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 50
51
Distributional Semantics
“meaning
is its use”L.Wittgenstein
(Austrian philosopher)
Use Case: Semantics
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
52
ExampleUse Case: Semantics
What is Serengeti?
Pass me a Serengeti! I like Serengeti
Football and Serengeti, what a perfect Saturday!
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
53
ExampleUse Case: Semantics
What is Peroni?
Pass me a Peroni! I like Peroni
Football and Peroni, what a perfect Saturday!
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
54
ExampleUse Case: Semantics
Pass me a Peroni! I like Peroni
Football and Peroni, what a perfect Saturday!
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
55
ExampleUse Case: Semantics
What is Serengeti?
Pass me a Serengeti! I like Serengeti
Football and Serengeti, what a perfect Saturday!
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
56
ExampleUse Case: Semantics
A famous beer from Tanzania
Pass me a Serengeti! I like Serengeti
Football and Serengeti, what a perfect Saturday!
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
by analyzing large corpora of textual data it is possible to infer information about the
usage (about the meaning) of the terms
Insight
similar meaning
co-occurrence co-occurrence
co-occurrence co-occurrence(*) Firth, J.R. A synopsis of linguistic theory 1930-1955. In Studies in Linguistic Analysis, pp.
1-32, 1957.
57
Distributional SemanticsUse Case: Semantics
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
58
Use Case: Artificial Intelligence
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
“Artificial Intelligence is the ability of a computer to perform functions and typical reasoning of the human mind.”
59Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Use Case: Artificial Intelligence
(Very basic) application - Face Recognition
60Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Use Case: Artificial Intelligence
(Basic) application - Statistical Machine Translation
61Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Use Case: Artificial Intelligence
(Very challenging) application - Google Self-Driving Car
62
Use Case: Artificial Intelligence
Common Problem: training is very difficult Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
63
Thanks to Big Data, AI algorithms can learn!
?Faces
Dog
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Use Case: Artificial Intelligence
64
Overall sentiment: :-(
Use Case: Brand Analysis
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
65
Use Case: Brand Analysis
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Use Case: Recommender Systems
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 66
Use Case: Recommender Systems
“People who bought…”on Amazon
“Discover”on Spotify
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 67
Use Case: Recommender Systems
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 68
Use Case: Recommender Systems
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 69
Use Case: Recommender Systems
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 70
Use Case: Recommender Systems
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 71
Use Case: Recommender Systems
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Success Stories: Netflix
72
Use Case: Recommender Systems
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Success Stories: Netflix
73
Use Case: Recommender Systems
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 74
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
The Dark Side of Big Data
75
The Dark Side of Big Data
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
What about the privacy?
76
The Dark Side of Big Data
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Smart Cities-related privacy issues
77
The Dark Side of Big Data
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 78
The “Target” case
The Dark Side of Big Data
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
What about the privacy?
79
The Dark Side of Big Data
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
What about the privacy?
80
The Dark Side of Big Data
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Some Stories - The Filter Bubble
Eli Parisier“How the New Personalized Web Is Changing What We Read and How We Think” (TED Talk)
81
The Dark Side of Big Data
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Some Stories - The Filter Bubble
Who controls the gatekeepers?
82
The Dark Side of Big Data
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Some Stories - Facebook Emotional Contagion
83
The Dark Side of Big Data
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Some Stories - Facebook Emotional Contagion
84
The Dark Side of Big Data
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Ethical Issues
How to balance the right to privacy with public access to information?
85
The Dark Side of Big Data
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Ethical Issues
What is the role of government in Big Data revolution? e.g. How to deal with workers losing their jobs?
86
The Dark Side of Big Data
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Theory of control - NSA
87
The Dark Side of Big Data
Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016
Theory of control
Project of a prison, designed by Jeremy Bentham in 1871 Internet like a Panopticon?
88
Take-Home Messages
Big data are wonderful and terrible. At the same time.Luddites is not the solution.
Take-Home Messages
Big data are wonderful and terrible. At the same time.Luddites is not the solution.
Control and Awareness, it is.