Scale di misura delle variabili

• Qualitative: nominali o ordinali– l’unico parametro valutabile è la

proporzione

• Quantitative: intervalli o rapporti – possono essere eseguiti dei calcoli, i

parametri valutabili sono molti (statistiche descrittive numeriche: misure di posizione e di dispersione)

– possono essere discrete o continue.

Richiami di statistica descrittiva

•Dati univariati

•Dati bivariati

•Dati multivariati

Descrivere e sintetizzare i dati osservati attraverso grafici (es. distribuzioni di frequenza), indici di

posizione e dispersione

Indici di posizione

Indicano la tendenza centrale di un insieme di dati

n

iixn

x1

1Media aritmetica

Proprietà della media aritmetica:

n

ii xx

1

0 0)(..)()(1

21

xnxxxxxxxn

iin

la sommatoria degli scarti di ogni dato dalla media (momento di 1° ordine) è nulla.

n

ii xx

1

2min

la sommatoria del quadrato degli scarti (momento di 2° ordine) è minima

(ovvero non esiste alcun altro punto che sostituito alla media dia un valore inferiore

Indici di posizione

i

n

iii

f

xfx 1

Se i dati sono espressi come frequenze:

Se i dati sono espressi come proporzioni:

n

iiixpx

1

media aritmetica

media aritmetica ponderata

Moda: è il valore della classe a cui corrisponde la maggiore frequenza.

Media armonica: è il reciproco della media dei reciproci, idonea a mediare rapporti tra 2 variabili.

Media geometrica: è la radice ennesima del prodotto di n dati. Idonea per mediare tassi.

Indici di posizione Mediana: divide la serie ordinata in due parti di uguale numerosità

Indici di tendenza centrale resistenti

Trimmed mean: media aritmetica nella quale non vengono considerate le code della distribuzione (es. il 5% dei dati)

M-estimators (Maximum likelihood estimators): media aritmetica pesata con peso funzione della distanza dal valore centrale. Si differenziano per la funzione di assegnazione dei pesi.

Quantili: misure di posizione non centrale. Sono valori che dividono

la serie ordinata in un certo numero di parti di uguale numerosità.

Percentili: dividono la serie ordinata in 100 parti uguali. Il p-esimo

percentile di una distribuzione è quel valore con p% dei valori inferiori

ad esso. In statistica inferenziale sono interessanti il 1, 2.5, 5, 95,

97.5 e 99 esimo percentile

Quartili dividono la serie ordinata in 4 parti uguali. Sono il 25 esimo, il

50 esimo (è la mediana) e il 75 esimo percentile

L’intervallo tra il 25 esimo e il 75 esimo percentile si chiama distanza

interquartile.

Decili: dividono la serie ordinata in 10 parti uguali. Sono il 10, 20 30

…80, 90 percentile.

Indici di dispersione

Indici di dispersione

Campo di variazione (Range): Xmax - Xmin

Devianza (Sum of Squares)

n

ii xxSS

1

2

Varianza (o Quadrato Medio o Mean Square)

n

xn

ii

1

2

2

1

1

2

2

n

xxs

n

ii

i

n

iii

f

xf1

2

2

Se i dati sono in frequenze:

Scarti dalla media

n

iii xp

1

22 Se i dati sono in proporzioni:

Deviazione standard (standard deviation)

1

1

2

n

xxs

n

ii

Indici di dispersione

Coefficiente di variazione (CV)

100x

sCV

n

xn

ii

1

2

Indici di dispersione

Teorema di Tchebysheff: indipendentemente dalla distribuzione,

fissata una costante K, l’intervallo contiene almeno

[1-(1/K2)] dati. (s è la dev.standard)

Es. K = 2 l’intervallo contiene almeno il 75% dei dati

K = 3 l’intervallo contiene almeno l’ 89% dei dati

Approssimativamente, se una distribuzione è simmetrica e a campana:

l’intervallo contiene il 68% dei dati

l’intervallo contiene il 95% dei dati

l’intervallo contiene quasi il 100% dei dati

Ksx

sxsx 2sx 3

Indici di forma

Asimetria (Skewness)

Curtosi (Kurtosis)

negativapositiva

341

4

n

xxn

ii

31

3

n

xxn

ii

platicurticaleptocurtica

Cambio di scala dei dati

Se trasformo una variabile:

bYaX

ybax

a = cambio di origine

b = cambio di scala

La media e la varianza vengono trasformate nel modo seguente:

222yx sbs

Aggiungere una costante ai dati non ha effetto sulla loro varianza

Analisi esplorativa dei dati Tra i più comuni strumenti grafici (oltre ai bar charts e histograms)

della EDA sono i diagrammi stem and leaf e box plot

diagramma stem and leaf

2.2 , 2.2, 3.1, 3.1, 3,3, 3,4, 4.2, 4,6, 4,7, 4.8, 5 5.1

Si considerano le prime 2 cifre significative ( in questo caso l’intero

numero). la prima cifra costituisce lo stem, la seconda le leaf.

2 22

3 1134

4 2678

5 01

si ottiene una specie di distribuzione di frequenza

Stem-and-Leaf Plot

Frequency Stem & Leaf

7,00 2 . 0224688 13,00 3 . 0022444466668 14,00 4 . 00002244466888 7,00 5 . 0244688 9,00 6 . 000224446 1,00 7 . 6 ,00 8 . 3,00 9 . 444 2,00 10 . 26 8,00 Extremes (>=10,8)

Stem width: 1,0 Each leaf: 1 case(s)

Box plot

17N =

VAR00001

50

40

30

20

10

0

-10

16

17

mediana1° quartile

3° quartile

1,5 * diff. interquartile

La mediana e il box indicano asimmetria nella parte centrale della distribuzione, i bracci presenza di “code”

Outlayer (<3*diff int)

Outlayer (>3*diff int)

Inferenza statistica

POPOLAZIONE: insieme di tutte le manifestazioni relative a un certo fenomeno. Può essere finita o infinita. In genere ci si occupa di popolazioni molto grandi.

CAMPIONE: sottoinsieme della popolazione. Se estratto casualmente rappresenta la popolazione in esame.

Popolazione e campione

Obiettivi dell’inferenza statistica

POPOLAZIONE descritta da PARAMETRI

Campionamento Inferenza

CAMPIONE -> funzione campionaria -> STIME

1. Test delle ipotesi

2. Stima dei parametri della popolazione

Probabilità: definizioni

Spazio campione: insieme di tutti i possibili risultati o realizzazioni ottenibili.

Realizzazione (outcome): risultato specifico ottenuto.

Evento: combinazione di realizzazioni, che ha caratteristiche specifiche di interesse.

Esempispazio campione del lancio di un dado: 1, 2, 3, 4, 5, 6

spazio campione del lancio di 2 dadi:(1,1), (2,1), (3,1), (4,1), (5,1), (6,1), (1,2), (2,2), (3,2), (4,2), (5,2), (6,2), (1,3), (2,3), (3,3), (4,3), (5,3), (6,3), (1,4), (2,4), (3,4), (4,4), (5,4), (6,4), (1,5), (2,5), (3,5), (4,5), (5,5), (6,5), (1,6), (2,6), (3,6), (4,6), (5,6), (6,6),

Probabilità: definizioni

La probabilità di un evento A è indicata da P(A) ed è sempre compresa tra 0 e 1

Se due eventi si escludono l’un l’altro, sono detti mutualmente esclusivi.

La somma delle probabilità di tutti gli eventi mutualmente esclusivi deve essere = 1

Il complemento di un evento è il non verificarsi di tale evento. Il complemento di A è indicato con Ā

P(Ā) = 1 - P(A)

Due eventi A e B sono detti indipendenti se la probabilità che si verifichi A non è influenzata dal fatto che si sia verificato B o viceversa.

Regole per combinare le probabilità

Per combinare le probabilità di più eventi valgono le seguenti regole

Se due eventi sono indipendenti, la probabilità che entrambi si verifichino è:

P(A and B)= P(A)P(B)

La probabilità che si verifichi almeno uno dei due eventi è:

P(A or B)= P(A)+P(B)

Se i due eventi non sono mutualmente esclusivi:

P(A or B)= P(A)+P(B) - P(A and B)

Distribuzioni di probabilità

Variabile casuale: numero che viene assegnato a ciascuna realizzazione di un esperimento

Distribuzione di probabilità: probabilità associate a ciascun valore della variabile casuale

La variabile casuale può essere discreta o continua

1. Distribuzioni di probabilità discrete (di VC discrete)

2. Distribuzioni di probabilità continue (di VC continue)

La distribuzione di probabilità è la distribuzione teorica della popolazione, i cui parametri si intendono indagare

La media di una distribuzione di probabilità è detta valore atteso della variabile casuale

Distribuzioni di probabilità della somma di due dadi da gioco ERRORE NEL

GRAFICO DATI TRUCCATI!

0

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

0.18

2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

NORMALI

TRUCCATI

Distribuzioni di probabilità discrete

1

0

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

0.18

0

2 3 4 5 6 7 8 9 10 11 12

0 p(y) 1

p(y) = 1

Valore medio (valore atteso):

= y p(y)

Varianza:

2= (y- )2p(y)

y

p(y)

Distribuzioni di probabilità continue

1

Sono descritte da funzioni. Di queste ci interessa solo l’integrale

L’area sottesa dalla curva è = 1

L’area sottesa dalla curva tra due valori (es. a-b) è la probabilità che la variabile casuale assuma valori compresi tra a e b

a b

1)( dxxy

x

y

x

y

Distribuzioni di probabilità di interesseDistribuzione binomiale

Distribuzione normale

Distribuzione del t di Student

Distribuzione di F di Fisher

Distribuzione del 2

Distribuzione di Poisson

Distribuzione del Q

Distribuzione binomiale negativa

Distrib Gamma, beta, Cauchy, Gumbel, Weibull, Log-normale ecc…

Popolazione binomiale

Il caso più semplice di popolazione con variabili qualitative è la popolazione binomiale. Viene detta binomiale perché sono contemplate solo due possibilità, due possibili realizzazioni.

Vengono quindi analizzate le proporzioni delle due realizzazioni contemplate, dove:

p è la proporzione di individui che presentano una certa caratteristica

(1-p) è la proporzione di individui che non la presentano.

Convenzionalmente ad una delle due realizzazioni possibili viene assegnata l’etichetta di “successo” e viene indicata con 1. L’altra (“insuccesso”) viene indicata con 0.

Si indicano:P(1) = pP(0) = q = (1 - p)

La distribuzione binomiale descrive la distribuzione di una variabile casuale Y che è il numero di successi in un campione di numerosità n, composto cioè da n realizzazioni indipendenti dell’evento elementare.

Distribuzione binomiale

La variabile casuale Y (numero di successi in un campione di numerosità n) è una variabile discreta che ha possibili realizzazioni: 0, 1, 2, …, n

Si tratta in sostanza di associare una probabilità a ciascuna di queste realizzazioni.

La formula è la seguente:

)()1()!(!

!)( yny pp

yny

nyp

Distribuzione binomiale

Dove y è una delle possibili realizzazioni di Y

Ho un sacco con 40 palline bianche e 60 nere. L’evento “successo” è dato dalla estrazione di una pallina bianca. Estraggo, con reimmissione, 5 palline. Quale probabilità di estrarre 2 palline bianche?

p=0.4 q=0.6

n=5 y=2

- Se i successi sono 2, gli insuccessi saranno 5-2=3

- Poiché le realizzazioni sono indipendenti: P = 0.4*0.4*0.6*0.6*0.6 = 0.420.63=0.03456

cioè: p2q3 = p2(1-p)3 = py(1-p)(n-y)

Questa è la probabilità di una sola possibile sequenza di estrazioni con 2 successi. (prime 2 estrazioni successo, ultime 3 insuccesso)

Origine distribuzione binomiale

)()1()!(!

!)( yny pp

yny

nyp

1 1 1 0 0 02 1 0 1 0 03 1 0 0 1 04 1 0 0 0 15 0 1 1 0 06 0 1 0 1 07 0 1 0 0 18 0 0 1 1 09 0 0 1 0 1

10 0 0 0 1 1

Non avendo definito la sequenza di successi ed insuccessi a priori, per avere la probabilità di ottenere 2 successi in 5 realizzazioni devo considerare tutte le possibili combinazioni delle possibili estrazioni con 2 successi e applicare la regola additiva delle probabilità.

Il numero delle combinazioni possibili si può ottenere dal calcolo combinatorio:

10)123(12

12345

)!25(!2

!5

)!(!

!

yny

n

Origine distribuzione binomiale

Quindi la probabilità di estrarre due palline bianche estraendone 5 da una popolazione con p=0,4 è:

p(2) = 10 x 0.03456 = 0.3456

p = 0.5 q= 1-p 0.5

d1 d2 d3 n succ P Probab.0 0 0 0 q*q*q 0.125 0.1251 0 0 1 p*q*q 0.1250 1 0 1 q*p*q 0.125 0.3750 0 1 1 q*q*p 0.1251 1 0 2 p*p*q 0.1251 0 1 2 p*q*p 0.125 0.3750 1 1 2 q*p*p 0.1251 1 1 3 p*p*p 0.125 0.125

}

}

00.05

0.10.15

0.20.25

0.30.35

0.4

1 2 3 4

0 successi 1 successo 2 successi 3 successi

Campione di numerosità 3 da popolazione con p=0.5

p = 0.1 q= 1- p 0.9

d1 d2 d3 n succ P Probab.0 0 0 0 q*q*q 0.729 0.7291 0 0 1 p*q*q 0.0810 1 0 1 q*p*q 0.081 0.2430 0 1 1 q*q*p 0.0811 1 0 2 p*p*q 0.0091 0 1 2 p*q*p 0.009 0.0270 1 1 2 q*p*p 0.0091 1 1 3 p*p*p 0.001 0.001

}

}

00.10.20.30.40.50.60.70.8

1 2 3 4

0 successi 1 successo 2 successi 3 successi

Campione di numerosità 3 da popolazione con p=0.1

)()1()!(!

!)( yny pp

yny

nyp

Caratteristiche della distribuzione binomiale

Dove y è una delle possibili realizzazioni di Y

Se i dati sono espressi come frequenze:

Valore medio (valore atteso): =np

Varianza: 2= np(1-p)

È descritta da un solo parametro: p

Distribuzione normale

Tra le varie distribuzioni di probabilità, una ha ruolo fondamentale in statistica: la distribuzione normale o Gaussiana

2

2

1

2

1

x

ey

E’ simmetrica intorno alla media ed è a forma di campana

Ha il massimo in x= e 2 flessi in

E’ completamente definita da 2 parametri (media e varianza – ovvero dev. St.) e viene sinteticamente indicata con N(; )

La variabile x (variabile casuale) può avere valore da - a +

Tra le proprietà della Gaussiana ricordiamo:

0

0,1

0,2

0,3

0,4

0,5

0,6

0 5 10 15

N(6;2)

N(6;3,5)

N(8;0,5)

N(11;1)

Distribuzione normale

Esistono infinite curve normali (per ogni possibile media & dev. st.)

Le probabilità (superfici sottese) sono in relazione alle distanze dalla media misurata in numero di deviazioni standard

la normale standardizzata

Tra le curve normali, si fa spesso riferimento alla cosiddetta “Normale standardizzata” che è N(0;1) e quindi ha:

media = 0

deviazione standard = 1

Tutte le normali possono essere ricondotte alla normale standardizzata, sottraendo a ogni dato la media e dividendo per la deviazione standard.

La distribuzione normale standardizzata si chiama distribuzione di Z

x

z

la normale standardizzata

Data una normale qualsiasi e un punto x, l’area compresa

tra il punto x e + è la stessa di quella compresa tra il

corrispondente z e +

L’integrale della normale N(, ) tra x e + è calcolabile, ma

con notevole difficoltà; l’integrale di z è invece tabulato.

(l’integrale della normale N(, ) tra x e + ci dà la probabilità che

un’unità sperimentale abbia un valore superiore a x)

Distribuzione binomiale -> normale

0

0,1

0,2

0,3

0,4

0,5

0,6

0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30

n=2

n=3

n=5

n=10

n=20

n=30

p=0,7

all’aumentare della numerosità campionaria la distribuzione binomiale tende alla normale.

L’approssimazione è accettabile quando np5 e n(1-p)5

Uno stimatore è una statistica ottenuta da un campione che stima un parametro della popolazione.

Gli stimatori si indicano con lettera latinaI parametri della popolazione si indicano con lettera greca

Stimatori

x

22s

s

Lo strumento per valutare l’attendibilità di uno stimatore si basa sullo studio della probabilità

Media stimatore di

Varianza stimatore di

Dev. St. stimatore di

Stimatori e distribuzioni campionarie

Proprietà di uno stimatore

Non distorsione (accuratezza): la media di tutti i possibili valori dello stimatore è uguale al valore del parametro della popolazione.

Consistenza: all’aumentare della dimensione del campione lo stimatore tende al valore del parametro

Efficienza (precisione): è più efficiente, tra tutti gli stimatori non distorti, quello che ha minore varianza campionaria

Il miglior stimatore della media di una popolazione è la media del campione.

Il miglior stimatore della varianza di una popolazione è:

Se si divide per n invece che per n-1 lo stimatore è distorto

Non vi sono stimatori non distorti della deviazione standard, è per questo che si usa molto la varianza.

Stimatori di media e varianza

1

1

2

2

n

xxs

n

ii

un universo: 2 3 5 6

media = 4dev.st= 1,6varianza= 2,5

Possibili campioni di numerosità 2 ottenibili per estrazione casuale con reimmissione:

x1 x2 media var (/n) var (/(n-1) dev st (/n) dev st (/(n-1)2 2 2 0,00 0,00 0,00 0,002 3 2,5 0,25 0,50 0,50 0,712 5 3,5 2,25 4,50 1,50 2,122 6 4 4,00 8,00 2,00 2,833 2 2,5 0,25 0,50 0,50 0,713 3 3 0,00 0,00 0,00 0,003 5 4 1,00 2,00 1,00 1,413 6 4,5 2,25 4,50 1,50 2,125 2 3,5 2,25 4,50 1,50 2,125 3 4 1,00 2,00 1,00 1,415 5 5 0,00 0,00 0,00 0,005 6 5,5 0,25 0,50 0,50 0,716 2 4 4,00 8,00 2,00 2,836 3 4,5 2,25 4,50 1,50 2,126 5 5,5 0,25 0,50 0,50 0,716 6 6 0,00 0,00 0,00 0,00

medie stimatori 4 1,25 2,50 0,88 1,24Varianze stimatori 1,25 1,844 7,375 0,484 0,969Dev. St stimatori 1,118 1,358 2,716 0,696 0,984

Campioni Statistiche

Teorema del limite centrale

Una variabile che derivi dalla somma di altre tende a essere

distribuita normalmente. Tante più variabili concorrono alla

somma tanto più l’approssimazione è buona

Le medie campionarie, anche se i campioni sono tratti

da popolazioni con distribuzioni diverse dalla normale,

tendono ad essere distribuite normalmente.

L’approssimazione è tanto maggiore quanto maggiore è

la numerosità campionaria

Distribuzione campionaria delle medie

media = (stimatore non distorto)

deviazione standard =n

n

2varianza =

la distribuzione campionaria della media di un campione di numerosità n estratto casualmente da una popolazione di media e varianza 2 ha:

Inoltre, per il teorema del limite centrale, se n (numerosità del campione) è sufficiente, la distribuzione delle medie campionarie è normale

nx

100% x

e x

Errore standard della media

Errore percentuale:

Errore standard:

La deviazione standard della distribuzione delle medie campionarie, più piccola di di un fattore

, si chiama errore standard o deviazione standard della media o errore di campionamento della media.

n1

La distribuzione binomiale (popolazione) descrive la probabilità di Y (numero di successi) in un campione di numerosità n. Se ci si riferisce alle proporzioni di successi, è caratterizzata da:

Media (valore atteso): =p

Varianza: 2= p(1-p)

L’estrazione di un campione casuale di numerosità n fornirà una proporzione campionaria di successi.

La proporzione di successi del campione, se n è sufficiente, è una variabile casuale con distribuzione approssimativamente normale e:

Media = p

Varianza = p(1-p)/n

Distribuzione campionaria di una proporzione

La distribuzione del t di Student

Ve ne sono infinite, in funzione della dimensione campionaria.

In altri termini l’unico parametro della distribuzione sono i GL di s.

Per n= la distribuzione del t diviene quella di z.

s

xt

xs

xt

n

ssxcon:

Nella distribuzione delle medie campionarie:

La distribuzione del t di Student

-5 -3 -1 1 3 5

n= 2

n= 5

norm ale n-> inf.

E’ tabulata per il n° di gradi di libertà (n-1) con cui si stima la deviazione standard

E’ simmetrica, più appiattita della normale (è tanto più platicurtica tanto

più piccola è la dimensione campionaria).

La distribuzione F

Serve a descrivere la distribuzione del rapporto di due stime della varianza.

Dati due campioni indipendenti, estratti da popolazioni con distribuzione normale e varianze 2

1 22

22

22

21

21

s

s

F

È una variabile casuale con la distribuzione F

La distribuzione F ha due parametri: 1 e 2 che sono i gradi di libertà con cui sono calcolate le varianze stimate s2. Si indica con F(1, 2)

Definita solo per valori non negativi

Asimmetrica

Per ogni combinazione di gradi di libertà esiste una distribuzione

Bisogna scegliere quale varianza mettere a numeratore. Per convenzione si mette sempre la varianza più grande.

La distribuzione F

22

21

s

sF Se 2

1= 22

Distribuzione del X2

E’ data dalla sommatoria di n variabili indipendenti z2.

n x

12

22 )(

E’ sempre positiva.

E’ composta da n quote additive a ciascuna delle quali compete 1 grado di libertà (GL).

I GL sono quindi dati dal numero di variabili z2 sommate.

Per 1 GL, X2=z2

Distribuzione del X2

Può essere usata per descrivere la distribuzione della varianza campionaria.

2

2)1(

sn

Ha la distribuzione di X2 con (n-1) GL.

Infatti:

Ovvero:2

2)(

xx