La (ir)ragionevole efficacia dei dati

Post on 14-Apr-2017

389 views 0 download

Transcript of La (ir)ragionevole efficacia dei dati

Terlizzi, 9 Marzo 2016

La (ir)ragionevole efficacia dei datiCataldo Musto

09.03.2016

Who I am

2Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Who I am

3Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Inspired by

4Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

(2009 !)

Knowledge Pyramid

5Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Knowledge Pyramid

6Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Knowledge Pyramid

7Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Knowledge Pyramid

8Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Knowledge Pyramid

9Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

X

Knowledge Pyramid

10Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

the problem

X Big Data!

Moore’s Law

11Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Moore’s Law (for data)

12Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Moore’s Law (for data)

13Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

(Hint)

14Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

What is “Big Data” ?One minute on the Web

15Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

What is “Big Data” ?One year

16

can be considered as novel data silos

Web and Social Media

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

17

Web and Social Media

information about preferencesCataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

18information about connections

Web and Social Media

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

19information about people feelings

Web and Social Media

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

20

Big Players have knowledge

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

(Francis Bacon, around 1600)

Scientia Potentia Est

…and knowledge is power!

21

Web and Social Networks

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

changed the way people produce information.

22

changed the way people acquire information.

Web and Social Networks

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

23

Web and Social Networks

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

24

Dunbar’s Number

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Average number of active connection during the life: 150How many Facebook friends you have?

25

Dunbar’s Number

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Average number of active connection during the life: 150How many Facebook friends you have?

“Six Degrees Separation” Theory

26

Dunbar’s Number

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Average number of active connection during the life: 150How many Facebook friends you have?

“Six Degrees Separation” Theory

On Facebook: 4.74 (in 2011)

27Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

What is “Big Data” ?Not only Social Media!

Obstacleor

Opportunity?

Question

Big Data

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 28

Big Data as Obstacle

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 29“Big” does not always mean better!

(Source: Adrian C.Ott, The 24-hour customer)

we can handle 126 bits of information/day

we deal with 393 bits of information/day

ratio: more than 3xCataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 30

Big Data as Obstacle

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 31

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 32

67% of the people checks the phone even if no alert was received

29% of the people says: “I can’t imagine living without my phone”(2012)

Information Overload

… in digital life

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 33

Information Overload

… in real life

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 34

Information Overload

Paradox of Choice (Barry Schwartz)

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 35

Information Overload

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 36

37

Big Data as Opportunity

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Big Data as Opportunity

38

Key Concept: Information Asymmetry

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

“Information asymmetry deals with the study of decisions in transactions where one party has more or better information

than the other. This creates an imbalance of power in transactions”

J.StiglitzNobel Prize 2001

Big Data as Opportunity

39Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

“A team of scientists, engineers and technicians from Google, all volunteers, is cooperating with UNICEF to cross all this data to other elements, ranging from weather conditions to travel flows, and as a result identify and view any new

outbreaks.”

Key Concept: Information Asymmetry

40Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Big Data as Opportunity

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

41Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Big Data as Opportunity

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

preventing crimes in London

significant reductions in thefts (-33%), violent crime (-21%) and violations of private property (-12%).

Mapping Datafor common good

(Not a new idea) Map of cholera in London, 1854

red = cholera cases blue = water

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 42

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 43

To aggregate rough people-based data in order to analyze complex phenomena.

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Use Case: Italian Hate Maps

44

Violence against women Disability

Racism Anti-semitismCataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Use Case: Italian Hate Maps

45

Given the maps and given the output of the linguistic analysis of intolerant Tweets (co-occurrences between terms,

time lapse, etc.), the psychologists team defined some guidelines to tackle and prevent intolerant behaviors.

These guidelines have been freely distributed to public administration on early 2015.

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Use Case: Italian Hate Maps

46

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Use Case: Smart Cities

Urban Informatics47

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Use Case: Smart Cities

Smart Parking

Smart lighting

Traffic Congestion

Smart Buildings

Applications

(Amsterdam)

48

Big Data can be used to automatically learn the semantics of textual content

Use Case: Semantics

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 49

?

“I love turkey. It’s my choice for these holidays!

Use Case: Semantics

Computers cannot understand the real meaning of terms!

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 50

51

Distributional Semantics

“meaning

is its use”L.Wittgenstein

(Austrian philosopher)

Use Case: Semantics

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

52

ExampleUse Case: Semantics

What is Serengeti?

Pass me a Serengeti! I like Serengeti

Football and Serengeti, what a perfect Saturday!

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

53

ExampleUse Case: Semantics

What is Peroni?

Pass me a Peroni! I like Peroni

Football and Peroni, what a perfect Saturday!

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

54

ExampleUse Case: Semantics

Pass me a Peroni! I like Peroni

Football and Peroni, what a perfect Saturday!

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

55

ExampleUse Case: Semantics

What is Serengeti?

Pass me a Serengeti! I like Serengeti

Football and Serengeti, what a perfect Saturday!

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

56

ExampleUse Case: Semantics

A famous beer from Tanzania

Pass me a Serengeti! I like Serengeti

Football and Serengeti, what a perfect Saturday!

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

by analyzing large corpora of textual data it is possible to infer information about the

usage (about the meaning) of the terms

Insight

similar meaning

co-occurrence co-occurrence

co-occurrence co-occurrence(*) Firth, J.R. A synopsis of linguistic theory 1930-1955. In Studies in Linguistic Analysis, pp.

1-32, 1957.

57

Distributional SemanticsUse Case: Semantics

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

58

Use Case: Artificial Intelligence

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

“Artificial Intelligence is the ability of a computer to perform functions and typical reasoning of the human mind.”

59Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Use Case: Artificial Intelligence

(Very basic) application - Face Recognition

60Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Use Case: Artificial Intelligence

(Basic) application - Statistical Machine Translation

61Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Use Case: Artificial Intelligence

(Very challenging) application - Google Self-Driving Car

62

Use Case: Artificial Intelligence

Common Problem: training is very difficult Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

63

Thanks to Big Data, AI algorithms can learn!

?Faces

Dog

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Use Case: Artificial Intelligence

64

Overall sentiment: :-(

Use Case: Brand Analysis

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

65

Use Case: Brand Analysis

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Use Case: Recommender Systems

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 66

Use Case: Recommender Systems

“People who bought…”on Amazon

“Discover”on Spotify

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 67

Use Case: Recommender Systems

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 68

Use Case: Recommender Systems

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 69

Use Case: Recommender Systems

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 70

Use Case: Recommender Systems

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 71

Use Case: Recommender Systems

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Success Stories: Netflix

72

Use Case: Recommender Systems

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Success Stories: Netflix

73

Use Case: Recommender Systems

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 74

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

The Dark Side of Big Data

75

The Dark Side of Big Data

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

What about the privacy?

76

The Dark Side of Big Data

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Smart Cities-related privacy issues

77

The Dark Side of Big Data

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016 78

The “Target” case

The Dark Side of Big Data

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

What about the privacy?

79

The Dark Side of Big Data

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

What about the privacy?

80

The Dark Side of Big Data

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Some Stories - The Filter Bubble

Eli Parisier“How the New Personalized Web Is Changing What We Read and How We Think” (TED Talk)

81

The Dark Side of Big Data

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Some Stories - The Filter Bubble

Who controls the gatekeepers?

82

The Dark Side of Big Data

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Some Stories - Facebook Emotional Contagion

83

The Dark Side of Big Data

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Some Stories - Facebook Emotional Contagion

84

The Dark Side of Big Data

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Ethical Issues

How to balance the right to privacy with public access to information?

85

The Dark Side of Big Data

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Ethical Issues

What is the role of government in Big Data revolution? e.g. How to deal with workers losing their jobs?

86

The Dark Side of Big Data

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Theory of control - NSA

87

The Dark Side of Big Data

Cataldo Musto - La (ir)ragionevole efficacia dei dati - FuoriCorso@Melkweg (Terlizzi) - 9 Marzo 2016

Theory of control

Project of a prison, designed by Jeremy Bentham in 1871 Internet like a Panopticon?

88

Take-Home Messages

Big data are wonderful and terrible. At the same time.

Take-Home Messages

Big data are wonderful and terrible. At the same time.Luddites is not the solution.

Take-Home Messages

Big data are wonderful and terrible. At the same time.Luddites is not the solution.

Control and Awareness, it is.

Cataldo Musto, PhD cataldo.musto@uniba.it

@cataldomustohttp://www.di.uniba.it/~swap

Grazie!