1

Regressione

X=altezza Y=peso180 85160 50172 60155 40165 53

0

40

80

120

150 155 160 165 170 175 180 185

altezza

peso

Regressione

Cerchiamo una funzione che spieghi la Y in funzione della XCerchiamo una funzione che spieghi la Y in funzione della X

2

Regressione

La funzione può essere una funzione nota nella’analisi matematica(retta, parabola, esponeziale…)

La funzione può essere una funzione nota nella’analisi matematica(retta, parabola, esponeziale…)

0

40

80

120

150 155 160 165 170 175 180 185

altezza

peso

Regressione

Se scegliamo una funzione lineare di equazione Y=a+bX, occorre stimare i parametri a e b, cioè trovare tra tutte le rette possibili quella che interpola meglio la nuvola di punti

Se scegliamo una funzione lineare di equazione Y=a+bX, occorre stimare i parametri a e b, cioè trovare tra tutte le rette possibili quella che interpola meglio la nuvola di punti

0

40

80

120

150 155 160 165 170 175 180 185

altezza

peso

3

Regressione

Se la retta interpolasse i dati in modo perfetto avremmo che yi=a+bxi per ogni i, in realtà i punti non sono tutti allineati e si ha che yi=a+bxi+ei dove ei è una componente di errore.

Il punto individuato dalla funzione lineare è

y*i=a+bxi

Se la retta interpolasse i dati in modo perfetto avremmo che yi=a+bxi per ogni i, in realtà i punti non sono tutti allineati e si ha che yi=a+bxi+ei dove ei è una componente di errore.

Il punto individuato dalla funzione lineare è

y*i=a+bxi

0

40

80

120

150 155 160 165 170 175 180 185

altezza

peso

xi

yi

y*i ei

Regressione

Noi vorremmo individuare i valori dei parametri a e b tali che i valori ei siano i piùpiccoli possibili.

Quindi:

Noi vorremmo individuare i valori dei parametri a e b tali che i valori ei siano i piùpiccoli possibili.

Quindi:

( )2

*

1min!

n

i ii

y y=

− =∑ei=residui

0

40

80

120

150 155 160 165 170 175 180 185

altezza

peso

xi

yi

y*i ei

4

Metodo dei minimi quadrati

Il problema di minimo si risolve derivando D rispetto al paramero a e rispetto al parametro b e uguagliando a 0 le derivate parziali. Il sistema che si ottiene è UN SISTEMA LINEARE IN DUE EQUAZIONI IN DUE INCOGNITE, HA UN’UNICA SOLUZIONE

Il problema di minimo si risolve derivando D rispetto al paramero a e rispetto al parametro b e uguagliando a 0 le derivate parziali. Il sistema che si ottiene è UN SISTEMA LINEARE IN DUE EQUAZIONI IN DUE INCOGNITE, HA UN’UNICA SOLUZIONE

( )

( )

2*

12

1

m in!

m in!

n

i ii

n

i ii

D y y

D y a b x

=

=

= − =

= − − ⋅ =

∑

∑

0

0

DaDb

∂ = ∂∂ = ∂

* *2 ; -xy

xb a y bx

σ

σ= =

Regressione X=altezza Y=peso (x-M(x)) (y-M(y)) x-M(x))*(y-M(y)

180 85 13.6 27.4 372.64160 50 -6.4 -7.6 48.64172 60 5.6 2.4 13.44155 40 -11.4 -17.6 200.64165 53 -1.4 -4.6 6.44832 288 641.8

covarianza 128.360M(x) M(y) correlazione 0.961166.4 57.6

b= 1.649a= -216.798

V(x) V(y)77.84 229.04

medie

varianze

5

Regressione

y = 1.649x - 216.8

0

40

80

120

150 155 160 165 170 175 180 185

altezza

peso

Regressione X=Anzianità Y=Salario ni xini yini xi2ni yi2ni xiyini

10 2000 4 40 8000 400 16000000 8000012 2800 5 60 14000 720 39200000 16800014 3200 6 84 19200 1176 61440000 26880014 3100 7 98 21700 1372 67270000 30380013 3000 2 26 6000 338 18000000 7800016 3400 1 16 3400 256 11560000 54400

25 324 72300 4262 213470000 953000

covarianza12.96 2892 2.5184 175136 639.68

correlazione1.586947 418.49253 0.963191639

b= 254.00254a= -399.8729

medie varianze

sqm

639.68/2.5184

2892-254.00254*12.96

6

Bontà di Adattamento

( ) ( ) ( )2 2 2

* *

1 1 1

1 1 1n n n

i i i i i ii i i

y y y y y yn n n= = =

− = − + −∑ ∑ ∑

2 2 2 y y eσ σ σ= +

Varianza di Y Varianza dovuta alla Regressione

Varianza dei Residui

SCOMPOSIZIONE DELLA VARIANZA DI Y

La varianza di Y può essere scomposta in una parte che il modello di regressione riesce a spiegare e in una parte che invece il modello non riesce a cogliere, cioè la

varianza dei residui di regressione ei

SCOMPOSIZIONE DELLA VARIANZA DI Y

La varianza di Y può essere scomposta in una parte che il modello di regressione riesce a spiegare e in una parte che invece il modello non riesce a cogliere, cioè la

varianza dei residui di regressione ei

Bontà di Adattamento22

2 22 2( ) 1 ye

y yR D

σσσ σ

= = − =

Indice di adattamento: misura quanta parte di variabilità totale di Y il modello di regressione riesce a spiegare

Indice di adattamento: misura quanta parte di variabilità totale di Y il modello di regressione riesce a spiegare

20 1R≤ ≤

Se R2 vale 0 significa che la varianzaspiegata dal modello di regressione è 0. La

varianza dei residui coincide con la varianza di Y

NESSUN ADATTAMENTO

Se R2 vale 1 significa che la varianza dei residui è 0. La varianzaspiegata dal modello di regressione

coincide con la varianza di Y

ADATTAMENTO PERFETTO

7

Bontà di AdattamentoSi può verificare che l’indice di adattamento R2 coincide

esattamente con il coefficiente di correlazione lineare ρ2 (ciò semplifica notevolmente i calcoli)

Si può verificare che l’indice di adattamento R2 coincide esattamente con il coefficiente di correlazione lineare ρ2 (ciò

semplifica notevolmente i calcoli)

NOTA: Tale equivalenza vale solo se la funzione interpolante è una retta. Dal momento che ρ misura la dipendenza lineare di X e Y, una retta (funzione lineare)

spiegherà Y in funzione di X in misura di quanto esse solo linearmente legate

NOTA: Tale equivalenza vale solo se la funzione interpolante è una retta. Dal momento che ρ misura la dipendenza lineare di X e Y, una retta (funzione lineare)

spiegherà Y in funzione di X in misura di quanto esse solo linearmente legate

2 2R ρ=Se c’è una dipendenza lineare perfetta sia positiva (ρ=1) che negativa

(ρ=-1) allora ρ2=1, se c’è incorrelazione (ρ=0) allora anche ρ2=0

20 1ρ≤ ≤

Bontà di Adattamento

R2=0.93 indica un buon adattamento, il 93% della varianza del SALARIO può essere spiegata da una funzione lineare dell’ANZIANITA’

R2=0.93 indica un buon adattamento, il 93% della varianza del SALARIO può essere spiegata da una funzione lineare dell’ANZIANITA’

X=Anzianità Y=Salario ni xini yini xi2ni yi2ni xiyini yi* ei eini ei2*ni10 2000 4 40 8000 400 1,6E+07 80000 2140,15 -140,15 -560,61 78570,8712 2800 5 60 14000 720 3,9E+07 168000 2648,16 151,84 759,21 115280,6314 3200 6 84 19200 1176 6,1E+07 268800 3156,16 43,84 263,02 11530,2814 3100 7 98 21700 1372 6,7E+07 303800 3156,16 -56,16 -393,14 22079,7013 3000 2 26 6000 338 1,8E+07 78000 2902,16 97,84 195,68 19145,2916 3400 1 16 3400 256 1,2E+07 54400 3664,17 -264,17 -264,17 69784,59

25 324 72300 4262 2,1E+08 953000 17666,96 -166,96 0,00 316391,36

covarianza13 2892 2,52 175136 639,68

correlazione1,59 418,49 0,96

b= 254,00a= -399,87

ρ2

0,93

regressione

12655,65

R2

medie varianze

sqm

0,93

ARIANZA DEI RESID

QuickTime™ e undecompressore

sono necessari per visualizzare quest'immagine.

LA MEDIA DEI RESIDUI E' =0!!!

8

*i i ie y y= −

Analisi dei Residui

I residui del modello lineare ottenuto sostituendo ad a e b i valori di a* e b* hanno media zero e varianza minima (cioè più piccola di quella di qualsiasi altro modello

lineare)

I residui del modello lineare ottenuto sostituendo ad a e b i valori di a* e b* hanno media zero e varianza minima (cioè più piccola di quella di qualsiasi altro modello

lineare)

( )

( ) ( )( ) ( )1

22 *

1 1

1 0

1 1 min!

n

i ii

n n

i i i i ii i

M e en

V e e M e y yn n

=

= =

= =

= − = − =

∑

∑ ∑

Gli scostamenti positivi e negativi si compensano

Il minimo che otteniamo con il metodo dei minimi quadrati coincide con la varianza dei residui

Il minimo che otteniamo con il metodo dei minimi quadrati coincide con la varianza dei residui

Cov(ei,e j ) = 0 ∀i ≠ j

Inoltre i residui risultano tra loro incorrelati, cioè il residuo j-esimo non dipende dal residuo i-esimo per ogni i diverso da j

Inoltre i residui risultano tra loro incorrelati, cioè il residuo j-esimo non dipende dal residuo i-esimo per ogni i diverso da j

Proprietà degli stimatori dei minimi quadrati

ˆ ˆ: al variare del campione produce una stima di ˆˆ: al variare del campione produce una stima di

A a a

B b b

Stimatori correttiˆ ˆ( ) e ( )E A a E B b= =

( )

( )

22 2ˆ 2

1

22ˆ 2

1

A varianza m in im a

1ˆ( )

ˆ( )

A ni i

B ni i

xV ar An x x

V ar Bx x

=

=

σ = = σ +

− ∑ σ

σ = =−∑

Teorema di Gauss Markov

Teorema di Gauss Markov

9

Proprietà degli stimatori dei minimi quadrati

( )

2

22 21 1

La varianza deg li errori σè stim ata in m odo corretto da

1 1ˆ2 2

n ni ie i i is y y e

n n= == − =∑ ∑− −

( )

( )

22 2ˆ 2

1

22ˆ 2

1

per cu i

1eA n

i i

eB n

i i

xs sn x x

ssx x

=

=

= +

− ∑

=−∑

Proprietà degli stimatori dei minimi quadrati

2 2ˆ ˆ

allo raˆ ˆ( , ) e ( , )BAA N a B N b≈ σ ≈ σ

Ipotesi ulteriore sui residuiIpotesi ulteriore sui residui

e ≈ N 0,σ 2( )

Tale risultato ci consente di costruire intervalli di confidenza e statistiche per la verifica d’ipotesi per a e b

Tale risultato ci consente di costruire intervalli di confidenza e statistiche per la verifica d’ipotesi per a e b

ˆ ˆ

l e q u a n t i t à ˆ ˆ

e

s i d i s t r i b u i s c o n o c o m e u n a v .c . d i S t u d e n t c o n - 2 g r a d i d i l i b e r t à

a bBA

A a B bT TS S

t n

− −= =

10

Intervalli di confidenza

P ˆ A − S ˆ A ⋅ t

n − 2;1−α2

≤ a ≤ ˆ A + S ˆ A ⋅ t

n − 2;1−α2

= 1 − α

ˆ a − s ˆ A ⋅ t

n − 2;1−α2

; ˆ a + s ˆ A ⋅ t

n − 2;1−α2

P ˆ B − S ˆ B ⋅ t

n − 2;1−α2

≤ a ≤ ˆ B + S ˆ B ⋅ t

n − 2;1−α2

= 1 − α

ˆ b − s ˆ B ⋅ t

n − 2;1−α2

; ˆ b + s ˆ B ⋅ t

n − 2;1−α2

Verifica d’ipotesi0 0 0 0

1 0 1 0

: : e

: :H a a H b bH a a H b b

= = ≠ ≠

Normalmente si pongono a0=0 e b0=0, cioè ci si chiede se a e b esistono nel modello.Si chiamano infatti ipotesi di significatività dei coefficienti.

Normalmente si pongono a0=0 e b0=0, cioè ci si chiede se a e b esistono nel modello.Si chiamano infatti ipotesi di significatività dei coefficienti.

0 0

ˆ ˆ ˆ ˆ

s i calco lano le quan tità ˆ ˆˆ ˆ

e a bB BA A

a a b ba bt ts s s s− −

= = = =

Per il coefficiente b rifiutare l’ipotesi nulla significa affermare che la variabile X influenza la Y

Per il coefficiente b rifiutare l’ipotesi nulla significa affermare che la variabile X influenza la Y

0

2 ;1 2 ;12 2

si rifiu ta H se e a bn n

t t t tα α− − − −

≥ ≥