FLN nov 2007 1

Statistica 4 – inferenza– test di ipotesi

Statistica per Tossicologia dell’Ambiente

AA 2007/08

FLN nov 2007 2

Teoria statistica della stima

Popolazione (sconosciuta, almeno in parte)

Campione │parametri campionari│ad es. media, varianza,| porzioni percentuali

(inferenza statistica) Parametri popolazione (in certi casi un par. della pop. può essere

noto ad es. la σ)

Stime corretteµ(popolazione) = x media campionariaσ2(popolazione) = N/(N-1)s2 varianza campionariadove N è l’ampiezza del campione

Stima di un parametro di pop.: valore assegnato a partire dal valore della corrispondente statisticacampionaria, detta stimatore.

FLN nov 2007 3

Teoria statistica della stima/2

• Stime efficienti (minor varianza)media mediana

σx = σ/√N σmed =σ√(π/2N) > σx• Stima puntuale (valore della statistica campionaria

usata per stimare un par. di pop.), ad es. x = 5.28 cm – a questo va aggiunto il margine di errore della misura, una o più σx, ad es. x = (5.28±0.03) cm -errore (piccolo) ↔ affidabilità (grande) della misura

• Stima per intervallo, si definisce un intervallo di valori centrato sulla stima puntuale x e si associa a questo una probabilità (livello di confidenza, CL) che in esso sia contenuto il par. di pop. µ - per es. l’intervallo (5.25cm,5.31cm) contiene µ al 68.3% diCL, se σx = 0.03cm

FLN nov 2007 4

Intervalli di confidenza

• dati µS, σS della statistica S• se S è normale (grandi campioni, N≥30) si

aspetta cheµS-σS < S < µS+σS nel 68.27% degli esperimenti

limiti di confidenza al 68.27% di livello di confidenza

µS ± 1.96σS limiti di conf. al 95% µS ± 2.58σS “ “ “ al 99%

valori critici zc

FLN nov 2007 5

Nota sugli intervalli di confidenza

• normalmente un’affermazione di confidenza ha la forma: “al 90% l’intervallo di confidenza per µ (per es.) è a,b” –cioè siamo confidenti al 90% che µ giaccia nell’intervalloa,b – l’intervallo di confidenza è a,b ed il livello diconfidenza è 0.90

• l’affermazione “siamo confidenti al 90% che µ giaccianell’intervallo a,b” non significa che la probabilità che µgiaccia nell’intervallo a,b sia 0.90 – significa che se estraiamo un grande numero di campioni dallapopolazione e troviamo un intervallo di confidenza per µper ciascun campione, circa 90% degli intervalli a,bconterrebbero µ (ciascun intervallo di confidenza puòessere trovato con le formule appropriate per µ)

• con le relative formule appropriate si possono dare intervalli di confidenza per σ

FLN nov 2007 6

Livelli di confidenza (a due code)

Valori più usati di CL e relativi zc

Liv. di conf. 99.73% 99% 98% 95.45% 95% 90% 68.27%zc 3 2.58 2.33 2 1.96 1.645 1

Stima della media x ± zc σ/√N

Somma/differenza (campioni indipendenti)S1-S2 ± zcσS1-S2 = S1-S2 ± zc√(σ2

S1+σ2S2) [diff/som: - ↔ +]

x1-x2 ± zc√(σ21/N1+σ2

2/N2)

Intervallo di confidenza per lo sqms±zcσs = s±zcσ/√(2N)

sempre +

FLN nov 2007 7

Livelli (aree) e intervalli di confidenza/2

CL

1-CL=αCL – confidence level

-zc +zc

α/2 α/2

G(z)

0z

FLN nov 2007 8

Test statistici

• Cominciamo con un es. ~300 pazienti con tonsillite, studio dell’effetto di un farmaco(antibiotico) – randomizzazione: ~50% farmaco ~50% placebo –campioni grandi 150/150(popolazione ancora più grande!)

• vista la grandezza dei campioni posso assumere distribuzioni normali (uso distrib. normali per fare i conti)

• in questo caso posso conoscereµj,σj delle gaussiane, cioè tj,sj

• N pazienti guariti entro t giorni{con a. j=1; senza a. j=2}

0

10

20

30

40

50

60

1 2 3 4 5 6 7 8 9 10

con a.

senza a.

significativo?∆t

quanto?

N pazienti

t(g)

FLN nov 2007 9

Es. antibiotico, differenza delle medie

∆t = t2-t1 = 3.20 ± 0.16 giorni21

tempo in g guarigioni con a.

guarigioni senza a.

1 0 02 25 03 40 04 53 105 20 206 10 307 0 398 0 309 0 10

10 0 10totale Σfi = n 148 149

t = Σfiti/Σfi = 3.662 6.866

s2 = Σfi(ti-t)2/(Σfi-1) = 1.246 2.414

st2 = s2/n = 0.0084 0.0162

∆t/δ(∆t) = 20.4 deviaz. standard!→ probabilità trascurabile di trovare, in un successivo esperimento (con 300 pazienti!), ∆t = 0 : ∫∞20.4G(x)dx molto piccolo (Excel dà p = 6 10-93!)→ ∆t è significativamente ≠ 0→ l’effetto dell’a. è significativo

... però non basta, domande lecite per il singolo paziente:• P2(t<4.5) = Φ2(4.5) = ∫-∞4.5G2(t)dt = 0.064 = 6.4% (guarire entro 4.5 gg senza prendere farmaci)• P1 = 1-Φ1(4.5) =1- ∫-∞4.5G1(t)dt = 0.226 = 22.6% (non guarire entro 4.5 gg pur prendendo farmaci)

FLN nov 2007 10

Es. antibiotico/3 (per calcolare le probabilità si usano le gaussiane corrispondenti, grandi campioni)

• intuitivamente, se l’a. /f. non facesse effetto mi aspetterei (a./f. non mirato) → ∆t ≈(zero±errore) giorni

• in realtà quello che contaper il singolo paziente èP2(t<tc) – guarire senza – e P1(t>tc) – non guarire con

• valore critico tc per es. uguale a t2 – zcs2 (possospostare il valore critico per fare la valutazione, il cheequivale a cambiare zc)

con a.senza a.

tc

probabilità di non guarire con a. (comunque)

probabilità diguarire senzaa. (comunque)

FLN nov 2007 11

Es. antibiotico/4

• ancora meglio, dal punto di vista del singolo paziente la domanda può essere: qual’èl’effetto del farmaco F, rispetto a non usarlo, H0: F non fa effetto (ipotesi nulla)? –(NB a scopo operativo una hp. statistica è sempre formulata in modo da poter essere rigettata)

• H1: F è efficace (ipotesi alternativa), ∆t≠0

• scelgo un livello di significatività, per es. α = 0.05 = 5% (probabilità massima di accettazione per l’errore di tipo I o α) → tc (da zc = 1.645)

• somministro F a 1 (o +) pazienti e misuro t’ (o t’)

senza a.

senza a.

H0

test ad una coda

t1’: mantengo H0

t2’: rigetto H0 e scelgo H1

LS 5% tc

regione diaccettazione

regione di rifiuto

FLN nov 2007 12

Es. antibiotico/5

• tc = t2-zcs2 = t2-1.645s2 = 6.87 – 1.645x1.55 ~ 4.32 g ( 1.645 dev.st. ↔ 5% LS ad unacoda)

• se il paziente (la media dei p.) guarisce entro tc rigetto H0(quindi accetto H1): 5% è la probabilità che H0 sia giusta –fluttuazione di tipo I (anche α)

• se non guarisce entro tcaccetto H0 (quindi rigetto H1) –errore diverso detto di tipo II (anche β) – probabilità che H1sia giusta, ma fluttuazione →rigetto (bisogna conoscere G1)

con a.

tc

∫tc∞G1(t)dt = 27.8%errore di tipo II o β

FLN nov 2007 13

Hp. nulla e hp. alternativa

• conclusione: al 5% di LS rigetto H0 (prendendo ad es. t per un paziente = media di 148 p. = 3.66 g < 4.32 g)

• potrei abbassare LS al 2% (o al 1%) – attenzione, di conseguenza cresce ∫tc∞G1(t)dt l’errore di tipo II6.87-2.055x1.55 = 3.68 g6.87-2.325x1.55 = 3.27 g=► nel primo caso rigetto H0, nel secondo no [NB se confrontassi media con media rigetterei sempre H0]

• nei casi in cui rigetto H0, ci sono 5(2) possibilità su 100 di rifiutare H0 quando invece dovrebbe essere accettata =► cioè siamo fiduciosi al 95%(98%) di livello di confidenza (CL) di aver preso la decisione giusta

• LS α determina il valore dell’errore di tipo IP(rigettare H0|H0 vera)

• LS β determina il valore dell’errore di tipo IIP(accettare H0|H0 falsa)

FLN nov 2007 14

Statistica non parametrica – test del χ2 –preliminari

• supponiamo di avere solo una predizione “teorica”tabulata Ti (questo va bene anche se dal campione non posso estrarre µ,σ: ad es. il colore degli occhi di chi ha capelli scuri/chiari &tc.) – nell’ esempio dell’antibiotico, se l’antib. non facesse effetto mi aspetterei la stessa distrib. di tempi di guarigione per pazienti trattati con a. e non (H0)

• posso confrontare la distrib. “osservata” Oi con quella teorica intervallo per intervallo (giorno per giorno)

• se è vera H0: sarà per tutti gli i, Oi ~ Ti

FLN nov 2007 15

χ2

• valutazione della distanza globale fra i risultati sperimentali e le previsioni teoriche (ipotesi H0)χ2 = Σn

i=1 (Oi-Ti)2/TiOi, Ti ≡ frequenza osservata, aspettata per l’intervallo i-esimo

• se χ2 è grande (rispetto a ~n, in effetti a nD,, gradi dilibertà) l’osservazione non è compatibile con H0

• χ2 è una variabile aleatoria con una distribuzionef(z,nD) = f0(nD) z½(nD-3) e-z/2

con f0 costante che dipende da nD in modo da normalizzare ad 1 l’integrale di f(z,nD)

• si usa P(χ2) = ∫χ2oss∞f(z,nD)dz che dà la prob. di osservare

un valore di χ2 > di quello osservato in un successivo esperimento (in un gran numero di esperimenti)

FLN nov 2007 16

x2

0

0.5

1

1.5

2

2.5

0 5 10 15 20 25

nD=3

57

χ2 3 5 7 nD1 0.606531 0.606531 0.6065312 0.367879 0.735759 1.4715183 0.22313 0.66939 2.0081714 0.135335 0.541341 2.1653655 0.082085 0.410425 2.0521256 0.049787 0.298722 1.7923347 0.030197 0.211382 1.4796728 0.018316 0.146525 1.1722019 0.011109 0.099981 0.89982910 0.006738 0.067379 0.67379511 0.004087 0.044954 0.49449912 0.002479 0.029745 0.3569413 0.001503 0.019545 0.25408114 0.000912 0.012766 0.17872915 0.000553 0.008296 0.12444416 0.000335 0.005367 0.08587817 0.000203 0.003459 0.05880218 0.000123 0.002221 0.03998519 7.49E-05 0.001422 0.02702220 4.54E-05 0.000908 0.01816

f(z,nD) = f0(nD) z^[0.5(nD-3)] exp(-z/2)

nD – gradi di libertà

f(z,nD)/f0(nD)

normalizzazione

χ2

FLN nov 2007 17

P(Χ2) vs nD

P(χ2) 1 3 5 7 9 11 13 nD

1 0.317311 0.801252 0.962566 0.994829 0.999438 0.99995 0.9999962 0.157299 0.572407 0.849145 0.95984 0.991468 0.998496 0.9997743 0.083265 0.391625 0.699986 0.885002 0.964295 0.990726 0.9979344 0.0455 0.261464 0.549416 0.779777 0.911413 0.969917 0.9911915 0.025347 0.171797 0.41588 0.659963 0.834308 0.931167 0.9751936 0.014306 0.11161 0.306219 0.539749 0.739918 0.873364 0.9461537 0.008151 0.071898 0.22064 0.42888 0.637119 0.799084 0.9021528 0.004678 0.046012 0.156236 0.332594 0.534146 0.713304 0.84369 0.0027 0.029291 0.109064 0.252656 0.437274 0.621892 0.772944

10 0.001565 0.018566 0.075235 0.188573 0.350485 0.530387 0.69393411 0.000911 0.011726 0.05138 0.138619 0.275709 0.443263 0.61081812 0.000532 0.007383 0.034788 0.100559 0.213309 0.363643 0.52764413 0.000311 0.004637 0.023379 0.072108 0.162606 0.293325 0.44781214 0.000183 0.002905 0.015609 0.051181 0.122325 0.232993 0.37384415 0.000108 0.001817 0.010362 0.035999 0.090936 0.182497 0.30735316 6.33E-05 0.001134 0.006844 0.025116 0.066882 0.141131 0.2491317 3.74E-05 0.000707 0.0045 0.017396 0.048716 0.107876 0.19930418 2.21E-05 0.00044 0.002946 0.01197 0.035174 0.081581 0.15751919 1.31E-05 0.000273 0.001922 0.008187 0.025193 0.061094 0.12310420 7.74E-06 0.00017 0.00125 0.00557 0.017912 0.045341 0.09521

χ2

es. con 7 g.d.l.P(χ2>7)=0.4288

P(χ2) = = ∫χ2

∞f(z,nD)dz

FLN nov 2007 18

P(X2) vs nD

0

0.2

0.4

0.6

0.8

1

1.2

0 5 10 15 20 25

nD=135791112

P(χ2)

χ2

FLN nov 2007 19

Test del χ2

t(g)

guarigioni

con

antibiotico

guarigioni

senza

antibiotico

nessun

effetto

nessun

effetto

∆ con ∆ senza χ2 con χ2 senza

1 0 0 0.0 0.0 0.0 0.0 0.0 0.02 25 0 12.5 12.5 12.5 -12.5 12.6 12.53 40 0 19.9 20.1 20.1 -20.1 20.2 20.14 53 10 31.4 31.6 21.6 -21.6 14.9 14.85 20 20 19.9 20.1 0.1 -0.1 0.0 0.06 10 30 19.9 20.1 -9.9 9.9 4.9 4.97 0 39 19.4 19.6 -19.4 19.4 19.4 19.38 0 30 14.9 15.1 -14.9 14.9 14.9 14.89 0 10 5.0 5.0 -5.0 5.0 5.0 4.9

10 0 10 5.0 5.0 -5.0 5.0 5.0 4.9Σ 148 149 148.0 149.0 0.0 0.0 97.0 96.3

193.3P(χ2) 2.31727E-30

0

10

20

30

40

50

60

1 2 3 4 5 6 7 8 9 10

con a.

senza a.

nD = 9+9-1 = 17

P(χ2) << 1‰ → l’hp H0èrigettata a CL = 1-P(χ2) >> 99.9%

2.32

FLN nov 2007 20

nota

• L’es. del confronto delle due distribuzioni con l’hp che provengano da una stessa popolazione è servito ad introdurre il test del χ2. Se si guardano le prob., non sembra il test più sensibile che si possa fare. Il test sulla differenza delle medie sembra più sensibile (a rigore si riferisce alla prob. di un ulteriore esperimento con 150+150 pazienti).

• In ogni caso, per costruzione, nella zona dove le due distribuzioni si intersecano, i contributi al χ2 sono quasi nulli – non si tiene conto quindi del fatto che per una distribuzione si tratta della coda decrescente e per l’altra di quella crescente.

FLN nov 2007 21

Test del χ2 - statistica ridotta

t(g)

guarigioni

con

antibiotico

guarigioni

senza

antibiotico

nessun

effetto

nessun

effetto

∆ con ∆ senza χ2 con χ2 senza

1 0 0 0.0 0.0 0.0 0.0 0.0 0.02 3 0 1.5 1.5 1.5 -1.5 1.5 1.53 5 0 2.5 2.5 2.5 -2.5 2.5 2.54 7 1 4.0 4.0 3.0 -3.0 2.3 2.35 2 3 2.5 2.5 -0.5 0.5 0.1 0.16 1 4 2.5 2.5 -1.5 1.5 0.9 0.97 0 4 2.0 2.0 -2.0 2.0 2.0 2.08 0 4 2.0 2.0 -2.0 2.0 2.0 2.09 0 1 0.5 0.5 -0.5 0.5 0.5 0.5

10 0 1 0.5 0.5 -0.5 0.5 0.5 0.5Σ 18 18 18.0 18.0 0.0 0.0 12.3 12.3

24.5P(χ2) 0.221233

012345678

1 2 3 4 5 6 7 8 9 10

con a.

senza a.

nD = 9+9-1 = 17

P(χ2) = 22% → l’hp H0 è rigettata con CL = 1-P(χ2) = 78%in effetti la statistica è troppo bassa per usare un test del χ2 (<5 per intervallo)

Riduciamola statistica

0.221

FLN nov 2007 22

nota

• Se si ripete adesso il calcolo della differenza delle medie fra le due distribuzioni con statistica ridotta si ottengono ancora 7.1 dev. st. ed una p = 7 10-13 che, in un successivo esperimento con 18+18 pazienti, la differenza possa risultare ≤ 0. La statistica è stata ridotta per un fattore 18/150 = 0.12; le forme delle distribuzioni e quindi le loro dev. st. sono le stesse di prima → n.o di dev. st. della differenza aspettate ~ 20.4 √0.12 = 7.1

FLN nov 2007 23

Il test t di Student

• supponiamo ora di avere un campione molto ridotto di pazienti (di ampiezza << 30, non posso usare distr. norm.) da cui estraggo t e s: come posso stabilire se il risultato è compatibile con una hp. µ?

• si usa il parametro campionario t di Student t =(x-µ)/[s/√(n-1)]dove x indica ora la media campionaria in generale (per non confondersi con t!) e s la dev. stand. campionaria, mentre σ = s··√n/√(n-1) è la stima della dev. stand. della popolazione (ignota)

• t è una variabile aleatoria la cui distribuzione è nota → può essere integrata per trovare le probabilità (i CL)f(t,nD) = f0 (nD)/[1+t2/nD](nD+1)/2

dove f0 è una costante dipendente da nD per normalizzare ad 1 l’integrale di f(t,nD)

• la distribuzione di t è più piatta di una gaussiana e diventa indistinguibile da una g. per ampiezze grandi

FLN nov 2007 24

Il test t di Student/2

• accade più spesso di dover confrontare fra loro due risultati x1. x2tratti da piccoli campioni n1, n2 (<<30) con dev. stand. s1, s2 (come nel ns. es. dell’a.)

• in questo casot = (x1-x2)/

/√[(s12+s2

2)/(n1+n2-2)]

test t a due code

nD\P 0.40 0.25 0.10 0.05 0.025 0.010 0.005 0.00051 1.376382 2.414214 6.313752 12.7062 25.4517 63.65674 127.3213 1273.2392 1.06066 1.603567 2.919986 4.302653 6.205347 9.924843 14.08905 44.704593 0.978472 1.422625 2.353363 3.182446 4.176535 5.840909 7.453319 16.326334 0.940965 1.344398 2.131847 2.776445 3.495406 4.604095 5.597568 10.306255 0.919544 1.300949 2.015048 2.570582 3.163381 4.032143 4.773341 7.9756536 0.905703 1.273349 1.94318 2.446912 2.968687 3.707428 4.316827 6.788347 0.89603 1.254279 1.894579 2.364624 2.841244 3.499483 4.029337 6.0817568 0.88889 1.240318 1.859548 2.306004 2.751524 3.355387 3.832519 5.6174119 0.883404 1.229659 1.833113 2.262157 2.685011 3.249836 3.689662 5.290654

10 0.879058 1.221255 1.812461 2.228139 2.633767 3.169273 3.581406 5.04897311 0.87553 1.21446 1.795885 2.200985 2.593093 3.105807 3.496614 4.86333312 0.872609 1.208853 1.782288 2.178813 2.560033 3.05454 3.428444 4.71645913 0.870152 1.204146 1.770933 2.160369 2.532638 3.012276 3.372468 4.59746114 0.868055 1.20014 1.76131 2.144787 2.509569 2.976843 3.325696 4.49915515 0.866245 1.196689 1.75305 2.13145 2.48988 2.946713 3.286039 4.416613

probabiltà

gradi di libertà

t

FLN nov 2007 25

Il test t di Student/3

nD\P 0.40 0.25 0.10 0.05 0.025 0.010 0.005 0.00051 0.32492 1.00000 3.07768 6.31375 12.70620 31.82052 63.65674 636.619252 0.28868 0.81650 1.88562 2.91999 4.30265 6.96456 9.92484 31.599053 0.27667 0.76489 1.63774 2.35336 3.18245 4.54070 5.84091 12.923984 0.27072 0.74070 1.53321 2.13185 2.77645 3.74695 4.60409 8.610305 0.26718 0.72669 1.47588 2.01505 2.57058 3.36493 4.03214 6.868836 0.26483 0.71756 1.43976 1.94318 2.44691 3.14267 3.70743 5.958827 0.26317 0.71114 1.41492 1.89458 2.36462 2.99795 3.49948 5.407888 0.26192 0.70639 1.39682 1.85955 2.30600 2.89646 3.35539 5.041319 0.26096 0.70272 1.38303 1.83311 2.26216 2.82144 3.24984 4.78091

10 0.26018 0.69981 1.37218 1.81246 2.22814 2.76377 3.16927 4.5868911 0.25956 0.69745 1.36343 1.79588 2.20099 2.71808 3.10581 4.4369812 0.25903 0.69548 1.35622 1.78229 2.17881 2.68100 3.05454 4.3177913 0.25859 0.69383 1.35017 1.77093 2.16037 2.65031 3.01228 4.2208314 0.25821 0.69242 1.34503 1.76131 2.14479 2.62449 2.97684 4.1404515 0.25789 0.69120 1.34061 1.75305 2.13145 2.60248 2.94671 4.07277

test t a una coda probabiltà

gradi di libertàt

Il numero di gradi di libertà ènD = n1+n2-2

Supponendo di osservare un certo valore di t vado acercare la probabilità, ad es. interpolando nelle tabelle –1) medie diverse fra loro: test a due code2) media1 < media2: test ad una coda

FLN nov 2007 26

Il t test di Student/4

t

nD

giallo CL=0.99rosa CL=0.975blu CL=0.95

0

1

2

3

4

5

6

7

8

0 5 10 15 20 25 30 35

test t a una coda

t in g G con a G senza a1 0 02 3 03 4 04 5 15 2 26 1 37 0 48 0 39 0 1

10 0 115 15

es con un campione di ampiezza 15x1 =3.60; s1 =1.14; x2 =6.87; s2 =1.55 t = |3.60-6.87|/√[(1.142+1.552)/(15+15-2)] = 9.0⇒ con 28 gradi di libertà l’hp nulla ha una probabilità << 0.5‰ (vedi figura del test a una coda) ed è scartata al > 99.95% di CL, ossia ritengo l’hp alternativa, che l’a. è efficace

FLN nov 2007 27

test t – altri esempi, piccoli campioni

• es. 1t(g) G con a G senza a1 - -2 2 -3 2 1 4 - 1

x1 = 2.5 s1 = 0.5 x2 = 3.5 s2 = 0.5t = 2.83 nD = 4+2-2 = 4 P(t) = 0.024 rigetto H0 al 97.5% di CL• es. 2

t(g) G con a G senza a1 - -2 2 13 2 -4 - -5 - 1

tutto uguale a parte s2 = 1.5t = 1.26 nD = 4+2-2 = 4 P(t) = 0.137 rigetto H0 al 86% di CL

FLN nov 2007 28

Esercizio1: test sulla media di popolazioni assunte gaussiane

• Si raccolgono 2 campioni di foglie da 2 querce con i segg. risultati (tabella, dove sono riportati i numeri medi di galle per foglia nei 2 camp. e le dev.stand.)

• assumendo distrib. normali, i dati mostrano evidenza per differenti medie delle popolaz. al 5% di livello di significatività oppure no?H0: µA non differente da µBH1: µA differente da µB

Albero A Bn – elem. nel camp. 60 80

media 11.4 10.7dev.std. 2.6 3.1

NO

risposta:

FLN nov 2007 29

Esercizio 1 – regioni di accettazione e di rifiuto

-zc +zc

α/2 α/2regione diaccettazione

regione dirifiuto

regione dirifiuto

µ

1.96σ per α = 5%

FLN nov 2007 30

Soluzione dell’esercizio1

Calcolo le dev.std. delle medie σµA=σA/√nA=0.336 (galle) e σµB=σB√nB=0.347 (galle); se vale H0 µA non è differente da µB al 5%; ora al 5% diLivello di Significatività [95% di Livello di Confidenza, CL] ho zc = 1.96 per un test a due code; confrontiamo per es. µB=10.7 con µA-1.96*σµA=11.4-0.66=10.74 che risultaappena maggiore di µB; se invece confrontiamo µA=11.4 con µB+1.96*σµB=10.7+0.68=11.38 esso risultaleggeremente inferiore a µA – se però faccio i confronticoerentemente con lo stesso numero di cifre significative(3), i due numeri sono uguali in entrambi i casi e possoaccettare H0 al 5% – ripetendo l’esercizio all’1% di LS [zc=2.58] posso di nuovo a maggiore ragione accettareH0, cioè rigettare H1

FLN nov 2007 31

Esercizio2: test sulla media di popolazioni assunte gaussiane

M F

n 120 160

Σh(m) 198 248

Σh2(m2) 327 385

• Si misurano le altezze (in m) di due popolazioni indipendenti, studenti maschi e femmine ottenendo la tabella

a) trovare µM,µF, σ2M, σ2Fb) trovare la P che una F a caso sia più

alta di un M a caso (assumere distr. norm. con µ, σ trovati sopra)

c) assum. solo distr. norm., verificare la H0 µM eccede µF di meno di 0.08 m H0: µM-µF ≤ 0.08 mH1: µM-µF > 0.08 m

risposte:

a)µM=1.65m; µF=1.55m; σ2M=0.0025m2; σ2F=0.00375m2

b) P=0.103c) si può rigettare H0 al 5% e all’1% di livello di significatività

FLN nov 2007 32

Soluzioni di alcune parti dell’esercizio2

• a) media popolaz. µi=Σhi/ni; varianza popolaz. = σ2i=(Σh2

i-niµi2)/ni

• b) faccio la differenza fra le due variabili aleatorie normali F e M ed ottengo un’altra var. aleat. norm. F-M (la varianza della differenza èla somma della varianze)

µ(F-M) = µF - µM = 1.55-1.65 = -0.10 mσ2(F-M) = σ2

F + σ2M = 0.00625 = (0.079 m)2

l’area della distribuzione di F-M per F-M>0 è la prob. cercata P(F-M > 0) = ∫0∞G’(x)dx = 0.103

dove G’(x) ha media -0.10 m e dev.st. 0.079 m [oppure ∫1.265∞G(z)dz

con G(z) gaussiana standardizzata, µ=0 e σ=1, z=(x+0.10)/0.079]• c) calcolo le dev.std. delle medie σµM=σM/√nM=0.00456 m e

σµF=σF√nF=0.00484 m; se vale H0 µM-µF=0.08 m al massimo, quindiµM-0.08=1.57 m che risulta > di µF+0.00796=1.558 m [zc=1.645 per il 5% di LS ad una coda] e di µF+0.01128=1.561 m [zc=2.33 per l’1%]; quindi H0 può essere rigettata in entrambi i casi

FLN nov 2007 33

Esercizio 2 – regioni di accettazione e di rifiuto

+zc

αregione diaccettazione

regione dirifiuto

µ

1.645σ per α = 5%

FLN nov 2007 34

Nota – tabelle di contingenza

• tabelle di contingenza a due vie: in generale n1·n2 celle dove n1(2) sono i possibili valori della variabile V1(2), ad es. V1 = M,F sesso; V2 = insuff, suff, buono, ottimo risultato di una prova

• le celle centrali danno la frequenza delle due V (divise per le frequenze marginali danno le prob. condizionate, ad es. P(b|F) = 18/101 = 17.8%) – l’ultima riga (colonna) contiene i totali per riga (colonna) o frequenze marginali (divise per l’ampiezza del campione danno le prob. marginali o semplici, ad es. P(o) = 12/193 = 6.2%):

i s b o totM 31 43 11 7 92F 22 56 18 5 101tot 53 99 29 12 193

ampiezza delcampione

FLN nov 2007 35

Tabelle di contingenza – test del χ2

• Tabelle di contingenza a due vie –considero un altro es.: 50 malati, stessa patologia, divisi a caso in 2 gruppi di 25

• gruppo V trattato con farmaco vecchio • gruppo N trattato con farmaco nuovo• si registrano i G(uariti), n(on)G dopo un

certo periodo di tempo• si ottengono i risultati in tabella in alto• si valuti con un test del χ2 al 95% di CL

la hp che il farmaco nuovo sia piùefficiente del vecchio

• si aspetta (H0, hp nulla) che non vi sia differenza, tabella in basso (distribuisco i G, nG in modo uniforme fra V e N, visto che tot(V) e tot(N) sono uguali)

G nG totV 11 14 25

N 19 6 25

tot 30 20 50

G nG totV 15 10 25N 15 10 25tot 30 20 50

FLN nov 2007 36

Tabelle di contingenza – test del χ2/2

G nG tot

V a 25-a 25

N 30-a a-5 25

tot 30 20 50

• χ2 = (11-15)2/15 + (14-10)2/10 + (19-15)2/15 + (6-10)2/10 = 5.33

• quanti sono i gradi di libertà (nD)?• il n. di pazienti nei due gruppi è fisso

(25) → se chiamo a il n. di G nel gruppo V avrò la tabella (è fissato anche il n. di pazienti in tutta la sperimentazione) =► posso scegliere a e tutto il resto segue, 1 grado di libertà

• con un CL del 95% si aspetta al massimo 3.84 per H0 =►il nuovo farmaco è più efficace del vecchio, ho scelto H1

FLN nov 2007 37

esercizio 3: test di criteri col χ2

Colore degli occhi (criterio 1) vs colore dei capelli (criterio 2)

L'ipotesi da verificare è che i due criteri di classificazione siano indipendenti -ossia che il colore degli occhi non sia legato al colore dei capelli e viceversa.L'ipotesi alternativa è che i due criteri non siano indipendenti.

Biondo Castano Nero Rosso TotaliBlu 60 40 60 40 200Grigio 20 50 20 10 100Nocciola 10 50 10 30 100Castano 10 160 10 20 200Totali 100 300 100 100 600

Biondo Castano Nero RossoBlu 33.33 100.00 33.33 33.33 200Grigio 16.67 50.00 16.67 16.67 100Nocciola 16.67 50.00 16.67 16.67 100Castano 33.33 100.00 33.33 33.33 200

100 300 100 100 600

Si - somma riga, Sj - somma colonna

Tij - aspettati =i - riga, j - colonna

Si*Sj/SSOij - osservati

Oij dati sperimentali

Tij ipotesi nulla H0

l’hp nulla si costruisce sommando su colonne e righe, ossia ignorando i criteri 1 e 2 rispettivamente

FLN nov 2007 38

esercizio 3 - soluzione

Biondo Castano Nero Rosso21.33 36.00 21.33 1.330.67 0.00 0.67 2.672.67 0.00 2.67 10.67

16.33 36.00 16.33 5.3341 72 41 20 174

chi-square

nD = (nr-1)x(nc-1) = (4-1)x(4-1) = 9

ci sono 4x4=16contributi al χ2, ma solo 9

indipendenti, perchè i totali(-1) sono fissi

calcolo del χ2

e di nD

9.05051E-33 1740.005000641 23.5890.049999641 16.919

o, in altri termini, 174 >> chi20.05(9) = 16.92 (chi20.005(9) = 23.59) => rigetto H0, accetto H1

fissiamo il livello α = 0.05 (0.005)con nD = 9 si ha una probabilità del 5% (5‰) che chi2 ecceda 16.92 (23.59)

il valore osservato eccede ambedue i valori → H0 è rigettata al >99.5% di CL

P(chi2(n,chi2oss)) =

FLN nov 2007 39

esercizio 3’ – statistica ridotta

Colore degli occhi (criterio 1) vs colore dei capelli (criterio 2)

Oij Biondo Castano Nero Rosso TotaliBlu 6 4 6 4 20Grigio 2 5 2 1 10Nocciola 1 5 1 3 10Castano 1 16 1 2 20Totali 10 30 10 10 60

Tij Biondo Castano Nero RossoBlu 3.33 10.00 3.33 3.33 20Grigio 1.67 5.00 1.67 1.67 10Nocciola 1.67 5.00 1.67 1.67 10Castano 3.33 10.00 3.33 3.33 20

10 30 10 10 60

L'hp da verificare è sempre che i due criteri di classificazione siano indipendenti -ossia che il colore degli occhi non sia legato al colore dei capelli e viceversa.L'ipotesi alternativa è che i due criteri non siano indipendenti.La statistica è ridotta di un fattore 10 rispetto all'es. precedente.

FLN nov 2007 40

esercizio 3’ – statistica ridotta - soluzione

Biondo Castano Nero Rosso2.13 3.60 2.13 0.130.07 0.00 0.07 0.270.27 0.00 0.27 1.071.63 3.60 1.63 0.534.1 7.2 4.1 2 17.4

0.042808 17.40.005001 23.589

0.05 16.919

P(chi2(n,chi2oss)) =

o, in altri termini, 17.4 > chi20.05(9)=16.92 (<chi20.005(9)=23.59) => nel I caso accetto H1, nel II rigetto H1

nD = (nr-1)x(nc-1) = (4-1)x(4-1) = 9

fissiamo il livello α = 0.05 (0.005)con nD = 9 si ha una probabilità del 5% (5‰) che chi2 ecceda 16.92 (23.59)

il valore osservato eccede il primo dei valori, per cui si può dire che H0 è rigettata al 95% di CL

chi-square

N.B. A stretto rigore non si può usare il chi2 se Ncella<5