1

Corso di ECONOMETRIA

A.A. 2011-2012

Dispensa n.2

2

Il nome “normale” deriva dalla convinzione che molti fenomeni fisico-biologici, si distribuiscono con frequenze più elevate nei valori centrali e con frequenze progressivamente minori verso gli estremi della variabile. E’ anche detta curva degli errori accidentali, in quanto, soprattutto nelle discipline fisiche, la distribuzione degli

errori commessi nel misurare ripetutamente la stessa

grandezza, e molto bene approssimata da questa curva. Per comprendere la formulazione

teorica della distribuzione normale, può risultare utile un esempio:

Questi dati si riferiscono al diametro in millimetri della testa di n = 500 bottoni, classificati in k = 15 intervalli, ognuno dell'ampiezza di h = 0.05 mm. Le

frequenze riportate nella tabella si riferiscono al numero di misurazioni che rientrano nell'intervallo indicato dal corrispondente valore nella prima colonna. Il lotto dei 500 bottoni può essere considerato un semplice campione casuale preso da una distribuzione di probabilità. La distribuzione normale è simmetrica intorno alla sua media . La distribuzione è più alta in corrispondenza della media, e decade agli estremi. Guardando la figura, diremo che la probabilità che un bottone abbia un diametro di 13.77 mm. è molto bassa.

diametro frequenza

13.07 113.12 413.17 413.22 1813.27 3813.32 5613.37 6913.42 9613.47 7213.52 6813.57 4113.62 1813.67 1213.72 213.77 1

3

DISTRIBUZIONI IMPORTANTI

La distribuzione Normale

La curva cosiddetta normale venne sviluppata nel 1733 da DeMoivre, come un'approssimazione alla distribuzione binomiale. I suoi scritti vennero persi fino al 1924, quando Karl Pearson li ritrovò. Laplace utilizzò la curva normale nel 1783 per descrivere la distribuzione degli errori. Nel 1809, Gauss la impiegò nell'analisi di dati astronomici. La curva normale viene spesso chiamata "distribuzione gaussiana”. La normale è la distribuzione statistica più famosa ed utilizzata.

4

Approssimativamente il 68% dell’area sotto la curva normale si trova tra i valori , circa il 95% dell’area si trova tra , e il 99.7% dell’area si trova tra .Per notazione convenzionale, la distribuzione normale viene così denotata.

2 3

2,X N

5

dove significa si distribuisce, N significa distribuzione normale, e le due quantità dentro la parentesi sono i parametri della distribuzione, chiamati: media, o valore atteso () e varianza .

La distribuzione Normale Standardizzata

Ogni distribuzione normale è a se stante perché dipende dai valori della V.C di riferimento. Ma come è possibile comparare due distribuzioni normali diverse tra loro? Volendo una distribuzione normale standardizzata, ossia che non dipenda dall’unità di misura della variabile, si può trasformare quest’ultima mediante la relazione:

2

xi

x

XZ

6

La variabile Z ha .

La ditribuzione tConosciuta anche come distribuzione t di Student. Si è visto in precedenza che se ad una variabile gaussiana (x) sottraiamo la media () e dividiamo tale differenza per la deviazione standard (σ) otteniamo una deviata gaussiana standard (z) con media 0 e varianza 1:

Poiché le medie campionarie ( ), calcolate su campioni tratti dalla variabile x ~ N (, 2), hanno distribuzione gaussiana con media e varianza 2/n, se standardizziamo la variabile media campionaria otteniamo una deviata gaussiana standard z con media 0 e varianza 1:

Quando il parametro 2 è ignoto, possiamo sostituirlo con la sua stima campionaria s2, ed ottenere il rapporto

Qual è la distribuzione di tale rapporto ?

2 =0 e varianza 1media

se x ~ N (, 2), z ~ N (0, 1) dove

x

z

x

2

~ ( , ) , (0,1)/

xse x N z N dove z

n n

/

x

ts n

7

Si può dimostrare che, per campioni tratti da una variabile gaussiana, il rapporto "t" è una variabile casuale la cui distribuzione è descritta da una funzione simmetrica la cui forma dipende da i gradi di libertà della stima campio-naria della varianza ed è nota con il nome di "t" di Student.x

s/ n

~ t di Student (con =n-1 g.d.l.)

all' aumentare dei gradi di libertà la distribuzione "t" di Student tende

rapidamente alla Gaussiana standard.

0

0.1

0.2

0.3

0.4

-8 -6 -4 -2 0 2 4 6 8

f(t)

t di Student (n=2)

l l

1.891.28 t

gaussiana

p=0.1

p=0.1

8

La distribuzione Chi-quadrato 2

Date X1 ,..., Xn variabili aleatorie indipendenti ciascuna con distribuzione normale standard N(0,1), diciamo variabile aleatoria chi-quadro con n gradi di libertà la variabile aleatoria

2 2

1

, indicata con Yn

i

Y X n

La distribuzione F di Fisher

Se da una popolazione normale N( ) estraiamo due campioni indipendentiotteniamo due stime s1 ed s2 della deviazione standard . Se operiamo infinite volte l'estrazione di coppie di campioni e ogni volta misuriamo la quantita

otteniamo la variabile casuale F di Fisher, con ni1 gradi di liberta al numeratore (relativi ad s1) e ni2 gradi di liberta al denominatore (relativiad s2). La distribuzione F e fortemente asimmetrica, con mediana pari ad1.Viene impiegata nell'analisi della varianza e in generale per l'omonimo test F.

2,

1

2

SF

S

9

Introduzione al modello di regressione lineare (da deterministico a stocastico)

Modello di regressione lineare semplice (ipotesi di base, stima OLS dei parametri, stimatori BLUE, test, intervalli di confidenza, previsione, scomposizione devianza, coeff. determinazione

MODELLO DI REGRESSIONE

LINEARE SEMPLICE

10

RELAZIONI TRA VARIABILI

VARIABILE DIPENDENTE

VARIABILI ESPLICATIVE O INDIPENDENTI

SE IL LEGAME È DI TIPO LINEARE ED IL NUMERO DELLE ESPLICATIVE È PARI AD UNO, IL MODELLO DIVIENE:

CHE IN UN SISTEMA DI ASSI CARTESIANI RAPPRESENTA UNA RETTA CON COEFFICIENTE ANGOLARE ED INTERCETTA (ORDINATA ALL’ORIGINE)

Y

1( ,..., )KY f X X

1,..., nX X

XY

• DI TIPO DETERMINISTICO

UNA VOLTA ESPLICITATO IL LEGAME FUNZIONALE, SI DETERMINA IL VALORE DELLA VARIABILE DAI VALORI DELLE VARIABILI ESPLICATIVE

y1, , nX XK

11

X1 X2y

= X

Y1

Y2

BISETTRICE 1° e 3°

QUADRANTE

0

1

X1 X2 X3 X4

X

y X

}

y X

y X

}}

Y5

Y4

Y3

Y2

Y1

Y

12

SE SI CONOSCONO E , AD OGNI VALORE DI X CORRISPONDE UN SOLO VALORE DI Y;

PUÒ DARSI PERÒ CHE E NON SIANO NOTI E CHE SI CONOSCANO ALCUNI VALORI DELLE VARIABILI X ED Y.

µ µi iy x $Y

y 1 1,x y

2, 2x y

3 3,x y

4 4,x y

5 5,x y

6 6,x y

iy

ˆiy

ˆ( )i iy y

RIPORTANDO TALI VALORIIN UN PIANO CARTESIANO SI NOTA CHE ESSI POSSANO NON SEGUIRE UN ANDAMENTO LINEARE. A TALE ANDAMENTO, PERALTRO SI PUÒ SE LO SI DESIDERA, GIUNGERE SEGUENDO ALCUNI CRITERI, TRA CUI QUELLO NOTO DEI MINIMI QUADRATI ORDINARI (OLS) BASATO SULLA MINIMIZZAZIONE DELLA FUNZIONE AUSILIARIA: 22ˆ( )i i i iy y y x

13

CON

ˆˆ Y X

2 2

ˆ i i i i

ii

X X Y Y x y

xX X

1

1

i i

i i

i

i

x X X

y Y Y

X Xn

Y Yn

CHE PORTA ALLA DETERMINAZIONE DEI PARAMETRI

E IN BASE ALLE RELAZIONI:

1414

RELAZIONI TRA VARIABILI

( )P

X

YERRORE

i i iy x

COMPONENTE DETERMINISTIC

A

COMPONENTE STOCASTICA

X

Y y X

iy 11y

1x

1y 2y

2

TERMINE DI ERRORE

• DI TIPO STOCASTICO (LINEARE CON UNA SOLA VARIABILE

INDIPENDENTE)

15

UN MODELLO DI TIPO STOCASTICO SI ADEGUA MOLTO MEGLIO DI UN MODELLO DETERMINISTICO AL TIPO DI REALTÀ RAPPRESENTATA DA n COPPIE DI OSSERVAZIONI Xi E Yi NON ESATTAMENTE ALLINEATE SU DI UNA RETTA. OVVIAMENTE L’INTRODUZIONE DI PROVOCA NOTEVOLI COMPLICAZIONI, MA ANCHE RISULTATI FORTEMENTE PIÙ UTILI E DENSI DI SIGNIFICATO.

PRIMA CONSIDERAZIONE:È LEGITTIMO INTRODURRE UNA COMPONENTE

STOCASTICA IN UN LEGAME FUNZIONALE DI TIPO DETERMINISTICO?

-SI PER TRE ORDINI DI MOTIVI:

1. PRESENZA DI ERRORI NEL MODELLO 1.1 LIMITATEZZA NEL NUMERO DELLE

VARIABILI ESPLICATIVE (REGRESSORI); 1.2 CASUALITÀ DERIVANTE

PREVALENTEMENTE DALLA RILEVAZIONE CAMPIONARIA DELLE OSSERVAZIONI EMPIRICHE;

2. PRESENZA DI ERRORI DI MISURA

16

SECONDA CONSIDERAZIONE:

L’INTRODUZIONE DI PROVOCA LA RIDEFINIZIONE DI Y IN TERMINI DI VARIABILE CASUALE (V.C.) LASCIANDO INVECE INALTERATA LA NATUTA DETERMINISTICA DI X. NON SOLO, MA OGNI VALORE ESPRESSO IN FUNZIONE DI Y, DIVIENA ANCH’ESSO V.C. QUESTO, APPARENTEMENTE COMPLICANDO LE COSE, HA INVECE IMPORTANTI CONSEGUENZE SUL PIANO DELLA COSTRUZIONE DEI MODELLI, SULLA LORO VERIFICA E SULLA LORO INTERPRETAZIONE.

TERZA CONSIDERAZIONE:

DEVONO ESSERE INTRODOTTE ALCUNE ASSUNZIONI, TALUNE INVERO POCO REALISTICHE, E CIOÈ:

1. LINEARITÀ DELLA RELAZIONE FUNZIONALE

2. NATURA DETERMINISTICA DEI REGRESSORI

3. NORMALITÀ DELLA DISTRIBUZIONE DEI TERMINI DI ERRORE

4. VALORE ATTESO NULLO DI TALI ERRORI:

5. OMOSCHEDASTICITÀ DEI MEDESIMI:

i

i

2iVAR

0iE

6. INDIPENDENZA TRA GLI STESSI 0i jCOV

17

210

1

2

1

)ˆˆ()ˆ( i

n

iii

n

ii XYYY

Per questo si adotta il METODO DEI MINIMI QUADRATI ORDINARI (Ordinary Least Square-OLS) BASATO SULLA MINIMIZZAZIONE DELLA FUNZIONE AUSILIARIA:

Il minimo della funzione ausiliaria si ottiene derivando rispetto ai parametri incogniti e ponendo pari a zero le due equazioni e risolvendo il sistema. Le soluzioni che si ottengono sono:

2 2

ˆ i i i i

ii

X X Y Y x y

xX X

ˆˆ Y X

A questo punto l’obiettivo è determinare l’equazione della retta che meglio approssima i punti di coordinate (X, Y). Per determinare l’equazione della retta

è sufficiente stimare I parametri intercetta coefficiente angolare

XY 10ˆˆˆ

18

CON

1

1

i i

i i

i

i

x X X

y Y Y

X Xn

Y Yn

Se ad esempio Y fosse il numero di sigarette fumate al giorno e X l’età dell’individuo, è plausibile che, nel campione osservato, per ogni valore di X (per ogni età) vi siano molti valori di Y (numero di sigarette fumate al giorno). Quando, per questo esempio, si specifica un modello probabilistico è come se si assumesse che ogni età, il consumo di sigarette varia in ‘modo casuale’.

19

SI CONSIDERINO GLI STIMATORI OLS

ˆˆ Y X 2ˆ i i

i

x y

x

TEOREMA DI GAUSS-MARKOV :

Date le assunzioni 1., 2., 4., 5., 6.

gli stimatori OLS

sono i MIGLIORI (più efficienti)

STIMATORI LINEARI e CORRETTI

(BLUE – BEST LINEAR

UNBIASED ESTIMATOR) dei

parametri

Il senso del teorema è che tali

stimatori sono quelli a varianza

minima nella classe degli stimatori

lineari e corretti.

20

DISTRIBUZIONE DEGLI STIMATORI OLS

e

2

2ˆ ,

i

Nx

:

22

2ˆ , i

i

XN

N x

:

Poiché è una media pesata di y e le y sono normalmente distribuite, ha una distribuzione normale

analogamente

OLS = ML

OLS SONO MIGLIORI, LINEARI, CORRETTI E ASINTOTICAMENTE CONSISTENTI

21

STIMA DELLA VARIANZA DELL’ERRORE

L’analisi non è ancora completa, resta da stimare la varianza del termine stocastico del modello.

Riportiamo direttamente lo stimatore varianza residua

2

2

)ˆˆ(

2

ˆˆ

2222

n

XY

ns iii

ii YYi

ˆˆ rappresenta il residuo

La varianza residua è uno stimatore corretto e consistente della varianza del termine di errore.

22

STANDARD ERROR DEGLI STIMATORI OLS

Avendo ottenuto una stima della varianza del termine stocastico del modello di regressione si sostituisce nell’espressione della varianza degli stimatori OLS per ottenere gli errori standard (standard error)

22

ˆ 2i

ss

x

22 2

ˆ 2

i

i

Xs s

n x

2

2ˆˆ,

i

XsCOV

x

Gli errori standard FORNISCONO UNA MISURA DELLA DISPERSIONE DELLE STIME INTORNO ALLE RISPETTIVE MEDIE.

23

INFERENZA NEL MODELLO DI

REGRESSIONE LINEARE SEMPLICE

• E’ necessaria l’ipotesi di normalità dei termini stocastici

• Interpretazione dell’intervallo di confidenza, fissato il livello di significatività (ad esempio per ).Se estraessi più campioni; ognuno fornirebbe valori diversi della stima OLS di e quindi diversi intervalli di confidenza; l’(1-)% di questi intervalli includerebbe , mentre solo nell’ % dei casi devierebbe da per più di un certo .

24

•Verifica d’ipotesi, fissato il livello di significatività (ad esempio per ).

Sia data una congettura (ipotesi nulla), che si assume vera, attraverso la verifica d’ipotesi si valuta l’entità della discrepanza tra quanto osservato nei dati campionari e quanto previsto sotto ipotesi nulla. Se, fissato il livello di significatività , la “discrepanza” è significativa l’ipotesi nulla viene rifiutata, altrimenti l’ipotesi nulla non può essere rifiutata.

25

INTERVALLI DI CONFIDENZA

SICCOME

0,1N:

2

2n :

OVVERO:

2ˆ

ˆnts

:

2

2

ˆ

2

2

ix

n s

n

/g.l.

T-Student con (n-2) g.l.

2

2ˆ ,

i

Nx

:

)1,0(:ˆ

2

N

xi

standardizza

ndo

26

1Prob 2/22/ ttt n

Quindi l’intervallo di confidenza per

all’(1-)% si determina nel seguente modo:

1ˆˆProb ˆ2/ˆ2/ stst

Limite inferiore

Limite superior

e

In sostanza l’intervallo di confidenza fornisce il range di valori in cui verosimilmente cade il vero valore del parametro

27

VERIFICA DI IPOTESI

• Fissato il livello di significatività

• Ipotesi nulla• Ipotesi alternativa• Statistica test

Regione di Accettazione o di Rifiuto del test

28

VERIFICA DI IPOTESI:

SIGNIFICATIVITA’ di

0 : 0H : 0AH

NON ESISTE RELAZIONE LINEARE TRA X ED Y

STATISTICA TEST

SI RESPINGE L’IPOTESI NULLA SE:

REGOLA D’ORO

QUANDO n è grande, t-student ad una Normale, quindi se fissiamo il 5% come livello di significatività, possiamo adottare la “regola d’oro”: se

0 : 0H

ALLORA SI RIFIUTA L’IPOTESI NULLA:

ˆ

ˆ2

s

2ˆˆ

ˆ0ˆ

ntss

2,2/ˆ

ˆ nt

s

REGIONE CRITICA

29

VERIFICA DI IPOTESI H0: = 0

• Se 0 è una costante si può verificare:

H0: = 0

01 : H

2ˆ

0ˆ

nts

STATISTICA TEST

SI RESPINGE L’IPOTESI NULLA SE:

2,2/ˆ

0ˆ

nts

N.B. ancora una volta se n è grande la distribuzione t-Student si approssima alla distribuzione normale standardizzata

30

Significato del coefficiente

esprime di quanto varia mediamente Y in conseguenza di una variazione unitaria di X.

• Se >0, al crescere di X cresce anche Y (relazione lineare diretta)

• Se <0, al crescere di X, Y decresce (relazione lineare inversa)

31

PROPRIETÀ DEI RESIDUI

• •

•

••

••

••

•

•••••

••

Y

XS

R

Q

P(xi,yi)

ˆ ˆi iQR Y Y y i iPR Y Y y

Y

X

RESIDUO

ˆ 0ie ˆˆ ˆi i i i ie y y y x

ˆ ˆi i iPQ Y Y e

XY ˆˆˆ

xy ˆ

0ˆˆ iii xye

Sono somme degli scarti dalla media, quindi sono zero

32

ˆ 0i ie X ˆ ˆ ˆi i i i ie X e x e x 0

222

ˆ 0i ii i i i i i

i

x yx y x x y x

x

)ˆ( iii xyx

33

SCOMPOSIZIONE DELLA DEVIANZA

• Dal precedente grafico:

)ˆ()ˆ( YYYYYY iiii

)ˆ)(ˆ(2)ˆ()ˆ(

)(22

2

YYYYYYYY

YY

iiiiii

i

0)ˆˆ(

ˆ)ˆ(

ii

iiiii

Xe

eYYeYYe

222 )ˆ()ˆ()( YYYYYY iiii

DEVIANZA DEVIANZA DEVIANZA

TOTALE RESIDUASPIEGATA

TSS = RSS + ESSTotal Sum = Residual Sum + Explained Sum Square Square

Square

34

1RSS ESS

TSS TSS

Si definisce COEFFICIENTE DI DETERMINAZIONE

TSS

RSS

TSS

ESSR 12

Dividendo tutto per TSS si ottiene:

Tale coefficiente rappresenta la proporzione di devianza totale spiegata dal modello di regressione lineare di Y su X.Dato che

MAX ESS TSS 10 2 R

Quando il modello non spiega niente della variabilità di Y

Tutta la variabilità di Y è spiegata dal modello

35

SE R²=0 SIGNIFICA CHE IL CONTRIBUTO ESPLICATIVO ALLA DEVIANZA COMPLESSIVA APPORTATO DAL MODELLO È IDENTICAMENTE NULLO; LA DEVIANZA COMPLESSIVA È SOLO SPIEGATA DALLA COMPONENTE CASUALE (RESIDUO).

SE R²=1 TUTTI GLI N VALORI EMPIRICI OSSERVATI GIACCIONO ESATTAMENTE SULLA RETTA DI REGRESSIONE; IL CONTRIBUTO ALLA DEVIANZA COMPLESSIVA È SOLO FORNITO DAL MODELLO.

NEI CASI INTERMEDI, QUANTO PIÙ R² È PROSSIMO AD UNO O A ZERO, TANTO PIÙ/MENO LA VARIABILITÀ COMPLESSIVA È SPIEGATA DAL MODELLO PRESCELTO. AD

ESEMPIO, UN VALORE r²=0.80 SIGNIFICA CHE IL MODELLO PRESCELTO RIESCE A SPIEGARE L’80 PER CENTO DELLA VARIABILITÀ COMPLESSIVA.

36

PREVISIONE• Il modello di regressione

stimato spesso viene utilizzato a fini previsivi, ovvero per stimare il valore della variabile dipendente che corrisponde ad un determinato valore della variabile indipendente00

ˆˆˆ XY

Lo standard error di tale valore previsto è

2

20

0 )(

)(11)ˆ.(.

XX

XX

nsYes

i

Pertanto i limiti dell’intervallo di confidenza per il valore previsto, fissato un livello di confidenza pari a 1-

37

)ˆ.(.ˆ0)2/,2(0 YestY n

Si osservi che il valore dello s.e. aumenta al crescere della distanza tra X0 e il valor medio di X, pertanto la qualità della previsione diverrà sempre peggiore.

Inoltre può accadere che la linearità della relazione tra Y e X sia limitata alla nuvola di punti osservati e che fuori tale relazione non sia valida, pertanto può essere totalmente fuorviante prevedere un valore di Y partendo da un valore di X che è al di fuori del range dei valori osservati

38

ESEMPIO NUMERICO

ANNI Y X1947 166 3521948 153 3731949 177 4111950 201 4411951 216 4621952 208 4901953 227 5291954 238 5771955 268 6411956 268 6921957 274 743

Copiare su un foglio Excel i seguenti dati. Salvar eil file col nome ESEMPIO.Aprire il programma GRETL.

39

Modello 1: OLS, usando le osservazioni 1-11Variabile dipendente: Y coefficiente errore std. rapporto t p-value ------------------------------------------------------------- const 55,8527 14,4913 3,854 0,0039 *** X 0,311963 0,0271466 11,49 1,11e-06 ***

Media var. dipendente 217,8182 SQM var. dipendente 41,97575Somma quadr. residui 1124,168 E.S. della regressione 11,17621R-quadro 0,936198 R-quadro corretto 0,929109F(1, 9) 132,0614 P-value(F) 1,11e-06Log-verosimiglianza -41,05629 Criterio di Akaike 86,11259Criterio di Schwarz 86,90838 Hannan-Quinn 85,61095Note: SQM = scarto quadratico medio; E.S. = errore standard

0.01;1.9

0

132, 10.56

: 0; ;

F F

H F F RESPINTA

40

2

2

ˆ 2.262 11.18ˆ 0.312411.7

t s

x

INTERVALLO DI CONFIDENZA 0.0252

t t

95 VOLTE SU 100 IL VALORE DI β È COMPRESO TRA 0.25 E 0.37

ES della regressione

VERIFICA D’IPOTESI DISGIUNTA PER β

ˆ

ˆ 0.31210.4

0.03t

s

0 : 0H È RESPINTA

0.025;9 2.262t t

41

Avrete sicuramente notato che tra i risultati del metodo dei minimi quadrati ordinari prodotti da GRETL vi sono alcuni test come il criterio di Akaike, il criterio di Schwarz, il criterio di Hannan-Quinn.Questi test sono molto utili perché ci aiutano a trovare il modello migliore.•Il criterio di Akaike - A.I.C. (Akaike Information Criterion) è una statistica che permette di scegliere il modello con la somma degli errori al quadrato più piccola (cioè con l’A.I.C. più piccolo)•Il criterio di Schwarz - B.I.C. (Bayesian Information Criterion): tra due modelli dobbiamo preferire con il valore dell’B.I.C. più piccolo.•Il criterio di Hannan-Quinn è simile ai due criteri precedenti e, in quanto tale, va interpretato nello stesso modo: la migliore specificazione di un modello empirico sarà quella per cui il criterio di Hannan-Quinn è minimizzato.•Log-verosimiglianza è il logaritmo della funzione di

verosimiglianza: come criterio di scelta della specificazione migliore dovremmo preferire il modello che massimizza la Log-verosimiglianza.

42

Cliccando su Test nella finestra dove sono i risultati delle stime si ha l’opportunità di condurre altri test.Uno dei test più utilizzati è il Lagrange multiplier test o ancheil test LM.Ci sono due test LM, uno per verificare l’omoschedasticità deiresidui, l’altro per verificare la presenza di autocorrelazione deiresidui (anche di ordine superiore a uno).Se l’ipotesi di omoschedasticà è violata, nel senso che lavarianza degli errori dipende - ad esempio - dal livello dellavariabile esplicativa, le stime OLS dei parametri produconodelle varianze dei coefficienti distorte: saremo portati arifiutare o ad accettare l’ipotesi nulla relativa a ciascuncoefficiente troppo spesso.Tra i vari test disponibili c’è il test di normalità degli errori.Questo test, test di Jarque-Bera (JB), aggrega le informazionicontenute nei dati circa la normalità degli errori grazie alle duestatistiche di asimmetria (skewness) e di curtosi (kurtosis).

43

Cerchiamo di riassumere la lista di cose da controllare dopo aver effettuato una stima.Si può partire dalla significatività dei coefficienti stimati: levariabili considerate vanno tutte tenute all’interno delmodello? Un metodo da seguire è quello di partire con pochevariabili e via via aggiungerne altre verificandone gli effetti suicoeff stimati e sui valori dell’R2 e di R2.Il segno dei coefficienti è coerente con la teoria o con ivalori attesi?Quali conclusioni posso trarre sulla specificazione del modellosulla base dei vari test Akaike, B.I.C., ecc.?Le stime sono influenzate dall’autocorrelazione dei residui? E dalla eteroschedastictà?

44

MULTICOLLINEARITÀ

UNA DELLE ASSUNZIONI DEL MODELLO LINEARE CLASSICO POSTULA CHE NESSUN REGRESSORE SIA PERFETTAMENTE CORRELATO CON UN ALTRO REGRESSORE O CON NESSUNA COMBINAZIONE LINEARE DI ALTRI REGRESSORI. SE TALE ASSUNZIONE È VIOLATA SI PARLA DI PRESENZA DI MULTICOLLINEARITÀ.

ALLORA SE L’ASSUNZIONE È RISPETTATA SI È IN CONDIZIONI DI ASSENZA DI MULTICOLLINEARITÀ.

EVIDENTEMENTE TRA QUESTI DUE CASI ESTREMI SI POSSONO TROVARE SITUAZIONI DI VARI GRADI DI MULTICOLLINEARITÀ A SECONDA DELL’INTENSITÀ DEI LEGAMI LINEARI TRA I REGRESSORI.

È IMPORTANTE CHIARIRE SUBITO CHE LA MULTICOLLINERITÀ NON È TANTO UN PROBLEMA DI SPECIE QUANTO DI GRADO. INFATTI È BEN DIFFICILE INCORRERE IN PRATICA NEI CASI ESTREMI MENTRE È MOLTO FACILE CHE I REGRESSORI POSSEGGANO UN QUALCHE GRADO DI LEGAME LINEARE. PERTANTO NON SI PROCEDE A VERIFICARE IPOTESI STATISTICHE DI PRESENZA/ASSENZA DI MULTICOLLINEARITÀ QUANTO SI TENTA DI MISURARE L’EVENTUALE GRADO DI ESISTENTE MULTICOLLINEARITÀ TRA I REGRESSORI PERCHÈ, COME VEDREMO IN CASO DI ELEVATA MULTICOLLINEARITÀ, LA QUALITÀ DELLE STIME È SERIAMENTE INFICIATA.

45

ANALISI DELLA REGRESSIONE

Cosa succede se le variabili esplicative sono tra loro correlate?

Consideriamo un semplice esempio

Y (quantità)

X2 (prezzo)

X3

(reddito settimanale)

X4 (guadagni

settimanali)

49 1 298 297.5

45 2 296 294.9

44 3 294 293.5

39 4 292 292.8

38 5 290 290.2

37 6 288 289.7

34 7 286 285.8

33 8 284 284.6

30 9 282 281.1

29 10 280 278.8

46

Nella precedente tabella vengono presentati due tipi di reddito Stimati da due diversi ricercatori.A questo punto possiamo scrivere le due diverse funzioni di domanda

(1)

(2)

Eseguiamo ora la regressione sulla equazione (1). Noteremo subito comenon sia possibile stimare la regressione. Analizziamo il grafico di X2 e reddito X3 abbiamo il seguente risultato:

1 2 2 3 3i i i iY A A X A X u

1 2 2 3 4i i i iY B B X BX u

X3=300-2X21

47

Cercando di regredire X3 su X2 ecco cosa otteniamo:

(3)

In altre parole X2 e X3 sono perfettamente collineari.Visto i risultati avuti nella (3), non è possibile stimare la regressione (1),Se sostituiamo l’equazione (3) nella (1), otteniamo:

(4)

I risultati della regressione (4) sono:

(5)

In caso di perfetta multicollinearità, la stima e i test di ipotesi su di una regressione individuale non è possibile. Come abbiamo visto nella regressione (4), possiamo ottenere stime da una combinazione lineare (ossia la somma, o la differenza) dei coefficienti originali, ma non individualmente.

23 2300 2 1i iX X R

1 2 2 3 2

1 3 2 3 2

1 2 2

300 2

300 2

i i i i

i i

i i

Y A A X A X u

A A A A X u

C C X u

2

2

ˆ 49.667 2.1576

(0.746) (0.1203)

66.538 17.935 0.9757

iY X

se

t R

4848

ELEVATA MULTICOLLINEARITÀ

MODELLO A 2 REGRESSORI

RELAZIONE LINEARE

TRA I REGRESSORI

COSTANTI

RESIDUI NON STOCASTICI TALI CHE

SIA:

ALLORA:

SI VERIFICA IN PRESENZA DI MULTICOLLINERITÀ PERFETTA

SI VERIFICA IN ASSENZA DI MULTICOLLINERITÀ

INOLTRE:

2 3i i iX a bX

3 0i i iX

2 iM

0 M

22 M M

3 33 3

23 2 2

3 33 3

33

233 33

i i i

i i i

a bX a bX X Xr

a bX a bX X X

bM

b M M M

4949

ED:

SE

; E SE

INOLTRE, DALLA

CON

PER CUI LE EQUAZIONI OLS NORMALI SONO:

CHE PORTANO A STIME INDETERMINATE PER (E QUINDI PER ).

LE STIME DEI PARAMETRI ESISTONO PER TUTTI I VALORI DI

RICORDANDO CHE:

22 33

23 233

b Mr

b M M

2230 1 Var r 2

22 23; 0 0M M b r

2 3

222 33

23 33

Y Y YM bM M

M b M M

M bM

Y i iM Y Y

23 2 33 3 33

3 2 33 3 33

ˆ ˆ

ˆ ˆ

Y Y

Y

bM M b M M bM

M bM M

0M YM

0M

2 2

33 222 32 2

22 33 23 22 33 23

ˆ ˆ;M M

VAR VARM M M M M M

5050

NELLA FATTISPECIE AVREMO:

PERTANTO SE È PROSSIMO AD UNO LE VARIANZE DEI PARAMETRI SARANNO MOLTO ELEVATE.

QUINDI UN’ELEVATA MULTICOLLINEARITÀ RENDE LE STIME OLS QUALITATIVAMENTE POCO BUONE PERCHÈ MOLTO INSTABILI

MISURE DI MULTICOLLINEARITÀ

SICCOME LA QUALITÀ DELLE STIME PEGGIORA ALL’AUMENTARE DEL GRADO DI MULTICOLLINEARITÀ, SAREBBE IMPORTANTE POTER DISPORRE DI UNA MISURA DI TALE GRADO. CIÒ È ABBASTANZA DIFFICILE DA OTTENERE PERCHÈ NON ESISTONO MISURE UNIVOCHE. UNA MISURA TALORA USATA È DATA DAL DETERMINANTE DELLA MATRICE “CROSS-PRODUCT”, PERCHÈ IN CASO DI ELEVATA MULTICOLLINEARITÀ TALE DETERMINANTE DOVREBBE ESSERE PROSSIMO A ZERO, DAL MOMENTO CHE È PRECISAMENTE ZERO IN CASO DI PERFETTA MULTICOLLINEARITÀ.

2 2

2 32 222 23 33 23

ˆ ˆ;1 1

VAR VARM r M r

223r

51

UNA TECNICA USATA PER MISURARE IL GRADO DI MULTICOLLINEARITÀ CONSISTE NEL COSIDDETTO “ RIMOSSO”, CHE SI OTTIENE APPUNTO RIMUOVENDO VIA VIA UNA VARIABILE DOPO L’ALTRA E CALCOLANDO OGNI VOLTA IL RELATIVO . IL GRADO DI MULTICOLLINEARITÀ DOVREBBE ESSERE ELEVATO SE LA DIFFERENZA TRA COMPLESSIVO ED IL MASSIMO VALORE DEGLI RIMOSSI È PICCOLA. QUESTO PERCHÈ SE ALMENO UNA VARIABILE INDIPENDENTE È MULTICOLLINEARE LA SUA VARIABILITÀ DOVREBBE FORTEMENTE VARIARE INSIEME A QUELLE DELLE ALTRE VARIABILI E QUINDI L’INTRODUZIONE DELLA STESSA NEL MODELLO DOVREBBE INCREMENTARE DI POCO COMPLESSIVO.

COME IDENTIFICARE LA MULTICOLLINEARITA’.

1.ELEVARO R2 E ALCUNI T-RATIOS SIGNIFICANTI

2.ALTA CORRELAZIONE TRA LE VARIABILI ESPLICATIVE

UN INDICATORE DI MULTICOLLINEARITA’ SPESSO UTILIZZATO NELLA PRATICA E’ IL VARIANCE INFLATION FACTOR (FATTORE DI INFLAZIONE DELLA VARIANZA) O VIF. IL VIF E’ CALCOLATO PER CIASCUNA VARIABILE DEL MODELLO IN BASE ALL’ESPRESSIONE:

2r

2r

2r2r

2r

2

11i

i

VIFR

52

DUNQUE UN VIF ELEVATO COMPORTERÀ UNA MINORE SIGNIFICATIVITÀ DEL COEFFICIENTE , ANDANDO A RIDURRE IL VALORE DELLA STATISTICA t DI STUDENT ASSOCIATA. UN ELEVATO È INDICE DI DIPENDENZA LINEARE TRA LA COLONNA I-ESIMA E LE RESTANTI COLONNE DELLA MATRICE , OSSIA È UN INDICE DI MULTICOLLINEARITÀ. NON ESISTE, TUTTAVIA, UN PARTICOLARE VALORE SOGLIA DEL VIF CHE DETERMINA INEQUIVOCABILMENTE LA MULTICOLLINEARITÀ; STA ALLA SENSIBILITÀ DEL RICERCATORE VALUTARE, CON L'AUSILIO DELL'INDICAZIONE DEL VIF, SE SUSSISTA O MENO MULTICOLLINEARITÀ, NEL QUAL CASO È OPPORTUNO RIMUOVERE IL REGRESSORE I-ESIMO (COLONNA I-ESIMA DELLA MATRICE SULLA QUALE SI È RISCONTRATA MULTICOLLINEARITÀ).

I RIMEDI:1. ELIMINARE UNO O PIÙ VARIABILI CHE CAUSANO MULTICOLLINEARITÀ;2.TRASFORMARE LE VARIABILI CHE CAUSANO MULTICOLLINEARITÀ: FORMARE UNACOMBINAZIONE LINEARE DELLE VARIABILI MULTICOLLINEARI; 3.TRASFORMARE L’EQUAZIONE IN DIFFERENZE PRIME. SE AD ESEMPIO X2 E X3 SONOMULTICOLLINEARI SI SOSTITUISCONO CON UNA NUOVA VARIABILE X4 COMBINAZIONE LINEARE DELLE DUE (X4 = K1X1 + K2X2.4.AUMENTARE LA DIMENSIONE DEL CAMPIONE.

53

1 2 2 3 3 ...i i i K Ki iY X X X PARAMETRI

ERRORI

VARIABILE DIPENDENTE REGRESSORI

ASSUNZIONI PER OLS

- REGRESSORI: • NON STOCASTICI

• ASSENZA DI MULTICOLLINEARITÀ

(già visto)

- ERRORI: • INDIPENDENTI

• DISTRIBUITI NORMALMENTE

• MEDIA ZERO

• VARIANZA COSTANTE

SE NON → AUTOCORRELAZIONE

SE NON → ETEROSCHEDASTICITÀ

SE NON → CONSEGUENZE DI LIMITATO INTERESSE ECONOMETRICO, INFATTI:

- CON ERRORI NON NORMALI GLI STIMATORI OLS SONO BLUE E SEBBENE NON SIA LEGITTIMO USARE I TEST STANDARD SI PUÒ DIMOSTRARE VIA TEOREMA DEL LIMITE CENTRALE CHE CON NUMEROSITÀ CAMPIONARIE RAGIONEVOLMENTE ALTE I TEST t ED F SONO ANCORA UTILIZZABILI.

5454

- SE LA MEDIA DEGLI ERRORI È ≠ 0 I PARAMETRI DI PENDENZA NON CAMBIANO E PERTANTO, SICCOME IL PARAMETRO DI INTERCETTA HA SCARSO SIGNIFICATO INTERPRETATIVO, I SUOI CAMBIAMENTI NON INTERESSANO GRAN CHE.

QUINDI CI OCCUPEREMO IN ORDINE DELLE SEGUENTI PROBLEMATICHE DI VIOLAZIONE DI IPOTESI:

ETEROSCHEDASTICITÀ → SE COSI’ NON FOSSE, SI RIENTREREBBE NEL CONCETTO DI OMOSCHEDASTICITA’ CHE E’ UN’ASSUNZIONE POCO REALISTICA IN CASO DI DATI CROSS-SECTION

ESEMPIO: CROSS-SECTION DI IMPRESE È PROBABILE CHE LE IMPRESE

MINORI ABBIANO VARIANZA DI ERRORI PIÙ RIDOTTA DI QUELLA DI IMPRESE PIÙ GRANDI.

ESEMPIO: CROSS-SECTION DI REDDITI È PROBABILE CHE I REDDITI BASSI SIANO PIÙ VARIABILI DI QUELLI PIÙ ALTI NELLE COMPONENTI DI ERRORE

AUTOCORRELAZIONE → ASSUNZIONE POCO REALISTICA IN CASO DI DATI TEMPORALI (SERIE STORICHE).

GLI ERRORI POSSONO CUMULARSI NEL TEMPO O COMUNQUE RIPETERSI CON LE STESSE MODALITÀ.

0i jCOV

5555

DIVERSA PER OGNI i

LO STIMATORE È ANCORA CORRETTO (LA VARIANZA NON COSTANTE NON GIOCA ALCUN RUOLO NELLA DIMOSTRAZIONE).

=0

QUINDI È CORRETTO SE E

2 2

2 2 2

2

ˆ

ˆ

i i i

i i i i i i i

i i i

i i

i

VAR E

x y x x x

x x x

E xE

x

ˆ

ˆ

i i

i i i i i

i i i i i

aY

E E aY a X

a a X a

0ia 1i ia X

22

2 2

2 2

ˆ

2

ˆ

i i i i i i i

i i i i j ji j

i i

VAR E aY E aY E a Y E Y

E a E a a

VAR a

ETEROSCHEDASTICITÀ

5656

QUESTO PERCHÈ

PER MINIMIZZARE SI DEVONO TROVARE QUEI VALORI PER CUI TALE ESPRESSIONE È MINIMA. RICORRENDO ALLA MINIMIZZAZIONE VINCOLATA, LA FUNZIONE

DEVE ESSERE DERIVATA PARZIALMENTE RISPETTO AD D E POI DEVE ESSERE RISOLTO IL SISTEMA DI N+2 EQUAZIONI OTTENUTO UGUAGLIANDO A ZERO LE DERIVATE PARZIALI. RISOLVENDO SI TROVA (K MENTA, page 252)

CON

E PERTANTO:

2 2

0

i i

i j

E

E

ˆVAR 1 2, ,..., na a a

2 21 2 1i i i i if a a a X

1 2 1 2, ,..., ; ,na a a

22

ˆ i i i i i i i i

i i i i i

w w X Y w X wY

w w X w X

2

1i

i

w

2 2ˆ i

i i i i i

wVAR

w w X w X

5757

2

2ˆ

i

VARx

CHE È DIFFERENTE DALL’ESPRESSIONE DI

PER IL CASO OLS ORTODOSSO (SENZA ETEROSCHEDASTICITÀ).

SI PUÒ DIMOSTRARE CHE COMUNQUE GLI STIMATORI SONO CONSISTENTI ANCHE IN CASO DI ERRORI ETEROSCHEDASTICI. MA NON SONO ASINTOTICAMENTE EFFICIENTI.

COMUNQUE LA MOSTRA CHE NON È COSTANTE E PERTANTO NON È CORRETTO APPLICARE I TEST E COSTRUIRE GLI INTERVALLI DI CONFIDENZA CHE INVECE RICHIEDONO VARIANZA COSTANTE. INFATTI:

COSTANTE

CORREZIONI PER LA ETEROSCHEDASTICITÀ

(MINIMI QUADRATI PONDERATI)

SI SUPPONGA DI CONOSCERE LE SINGOLE VARIANZE DI OGNI ERRORE (CASO MOLTO IRREALE), CIOÈ:

NOTA PER OGNI I

SE SI RISCRIVE IL MODELLO LINEARE COME:

ˆVAR

1ˆ

ˆnts

2i iVAR

* * * * *1 1 2 2 ...i i i K Ki iY X X X

5858

DOVE:

CIOÈ SE SI USA LA TRASFORMAZIONE DI VARIABILI ORIGINARIE:

LA RIVIENE COSTANTE SICCOME:

E PERTANTO SI RIENTRA IN CONDIZIONI DI OMOSCHEDASTICITÀ.

SICCOME NOTO PER OGNI i È IRREALISTICA, VEDIAMO CHE SUCCEDE SE ALMENO SI CONOSCE

CIOÈ UN QUALCHE LEGAME TRA LA E UN REGRESSORE. RISCRIVENDO IL MODELLO COME:

SI VEDE CHE: (1) (2)

* * *; ;iji ii ij i

i i i

XYY X

21 2

1...i i Ki i

Ki i i i i

Y X X

*iVAR

2

*2 2

11i i

i ii i i

VAR VAR VAR

2i iVAR

2i ijVAR CX

iVAR

31 2 3

2 2 2 2 2

1...i i Ki i

Ki i i i i

Y X X

X X X X X

22 2

1ii

i i

VAR VAR CX X

5959

CHE È COSTANTE E PERTANTO CI RIPORTA AL CASO DI OMOSCHEDASTICITÀ. TALE TRASFORMAZIONE IMPLICA CHE L’INTERCETTA ORIGINARIA (1) DIVENTA UN REGRESSORE MENTRE DIVIENE L’INTERCETTA (2).

ACCERTAMENTO DELLA ETEROSCHEDASTICITÀ

TEST BARTLETT

TEST GOLDFELD & QUANDT

TEST PARK – GLEJSER

AUTOCORRELAZIONE

2

1 2 1 3 2 ...

0,t t t K Kt t

t s

Y X X X

COV t s

METODI DI GENERAZIONE DI AUTOCORRELATI

MODELLO AUTOREGRESSIVO DI PRIMO ORDINE

COEFFICIENTE DI ERRORE

AUTOCORRELAZIONE “ORTODOSSO”

t

1t t t t

6060

AUTOCORRELAZIONE

SICCOME

SE

→ AUTOCORRELAZIONE

DATI “CROSS-SECTION” →FACILMENTE REALIZZABILE

DATI SERIE STORICHE →DIFFICILE DA REALIZZARSI

0,i jE u u i j

0

0

i j

i j

E u E u

COV u u

0i jCOV u u

0i jCOV u u

0i jCOV u u

f t

t

6161

SCHEMA AUTOREGRESSIVO DI PRIMO ORDINE

COEFFICIENTE DI CORRELAZIONE TRA

VARIABILE CASUALE,

ALLORA

1 , 1t t tu u

1,t tu u

t 20, ; , 0t t t sN E :

1

2 1

23 2 1

3 23 2 1

2 31 2 3

0

..........................................

......

t t t

t t t

t t t t

t t t t

t t t t

rt r

r

u u

u

u

u

0 0

0r rt t r t r

r r

E u E E

6262

22 22

0 0

22 2 2 2 4 2

20

1 ...1

r rt t t r t r

r r

ru

r

VAR u E u E E

1 1

2 21 2 1 2 3

22 2

1 2 3 1 2 3

2 2 2 4 2 21 2 3 1 2 1 3

2 2 2 4 2

... ...

... ...

0 ... 2 2 ...

...

t t t t

t t t t t t

t t t t t t t

t t t t t t t

COV u u E u u

E

E E

E

2 22

1

1 u

ANALOGAMENTE SI VEDE CHE:

QUINDI IN GENERALE:

2 22t t uE u u

2 , 0st t s uE u u s

6363

QUINDI SE LA È GENERATA DA UNO SCHEMA AUTOREGRESSIVO DI PRIMO ORDINE, ED

.

VEDIAMO COSA SUCCEDE NEL MODELLO LINEARE CONSIDERANDO PER SEMPLICITÀ UNA SOLA VARIABILE ESPLICATIVA. SICCOME LE IPOTESI SU E NON CAMBIANO, LE STIME OLS SARANNO ANCORA

E TALI STIME SARANNO ANCHE CORRETTE. VEDIAMO SE SONO ANCHE BLUE. PER FAR CIÒ CONSIDERIAMO LA STIMA LINEARE QUALSIASI

CHE È CORRETTA SE:

E LA CUI VARIANZA RISULTA:

tu 20,t uu N :

2 st s uE u u

tE u tVAR u

0 1b Y b X 1 2

t t

t

x yb

x

1 t tb aY

0

1

t

t t

a

a X

2 2

1

2 2

2 2 2

ˆ

2

2

t t t t t t

t t t t s t t s

st t t s

VAR b E a X E a X E a u

a E u E u u a a

a a a

6464

IL MODELLO È:

MOLTIPLICANDO PER E SOTTRAENDOLA ALL’ALTRA, SI HA:

CHE RICORDANDO L’ASSUNTO PER NELLO SCHEMA AUTOREGRESSIVO DI PRIMO ORDINE, DIVIENE:

VARIABILE PARAMETRI VARIABILE DIPENDENTE INDIPENDENTE

CHE È UNA RELAZIONE LINEARE PER CUI VALGONO TUTTE LE IPOTESI OLS, A MENO CHE SI PERDE UNA OSSERVAZIONE INIZIALE (→ STIME QUASI BLUE)

0 1

1 0 1 1 1

t t t

t t t

Y X u

Y X u

1 0 1 1 11t t t t t tY Y X X u u

tt

1 0 1 11t t t t tY Y X X

6565

ALLORA:

DOVE:

QUINDI OCCORRE CONOSCERE IL PARAMETRO .

1 11 2

1

1 10

ˆ

1ˆ1

t t t t

t t

Y Y x xb

x x

b Y Y X X

2 2

1 11 12 2

1 1;

1 1

1 1;

1 1

n n

t tt t

n n

t tt t

Y Y X Xn n

Y Y X Xn n

6666

ACCERTAMENTO DELL’AUTOCORRELAZIONE

ANALISI GRAFICA DEI RESIDUI

AUTOCORRELAZIONE AUTOCORRELAZIONE

NEGATIVA POSITIVA

AUTOCORR. AUTOCORR.POSITIVA NEGATIVA

NO AUTOCORR.

ˆt t te Y Y

te te

te te

t t

1te 1te

te

1te

6767

TEST DI DURBIN – WATSON

SOLO SCHEMA AUTOREGRESSIVO DI PRIMO ORDINE

TEST:

SE n → GRANDE, ALLORA:

QUINDI

CON:

1t t tu u

0 : 0

: 0A

H

H

212

2

n

t tt

t

e ed

e

2 2 21 1 1 1

2 2 22 2 2

2 21

n n n

t t t t t t tt t t

t t t

e e e e e e e

e e e

1t te er

2 2 21

1 2 2

n n n

t t tt t t

e e e ; ;

1

22

22 2 2 2 1

n

t tt

t

e ed r r

e

;

1

12 2 2

1

t t

t t

e er

e e

CONSISTE NEL SOTTOPORRE A TEST L’IPOTESI NULLA DELLO

SCHEMA AUTOREGRESSIVO

DEL PRIMO ORDINE

6868

ALLORA, SE:

QUINDI SE È UNO STIMATORE DI ,

→ NO AUTOCORRELAZIONE

→ AUTOCORRELAZIONE POSITIVA

→ AUTOCORRELAZIONE NEGATIVA

NEI CASI INTERMEDI OCCORREREBBE CONOSCERE LA DISTRIBUZIONE DI , COSA QUESTA IMPOSSIBILE PERCHÈ . DURBIN & WATSON HANNO PERÒ RICAVATO I LIMITI SUPERIORE ED INFERIORE PER LIVELLI DI SIGNIFICATIVITÀ DI CHE POSSONO CONSENTIRE DI VERIFICARE LE IPOTESI DI AUTOCORRELAZIONE NULLA. ESISTE UNA TABELLA DI TALI VALORI AL 5% ED ALL’11%.

TEST INCONCLUDENTE

AUTOCORR. AUTOCORR. POSITIVA NEGATIVA

NO AUTOCORRELAZIONE

0; 2

1; 0

1; 4

r d

r d

r d

r 2

0

4

d

d

d

;

;

;

d d f X

d

0 Ld Ud 2 4 Ud 4 Ld