1

22

REGRESSIONE LINEARE MULTIPLA____

22.1 Introduzione

Per una più agevole lettura di questo capitolo, si consiglia lo studio preliminare della re-gressione lineare semplice, argomento trattato nel Capitolo 21. Infatti, la regressione li-neare multipla è una estensione della regressione lineare semplice al caso in cui si impie-gano due o più variabili esplicative per dar conto del comportamento della variabile ri-sposta. L’esposizione seguirà lo schema utilizzato nel capitolo precedente: dopo aver in-trodotto il modello di regressione lineare multipla ed esposto le assunzioni di base, ver-ranno presentati gli stimatori dei minimi quadrati dei coefficienti di regressione e se ne indicheranno le proprietà; si presenteranno, poi, i problemi di inferenza relativi a singoli coefficienti di regressione o a loro combinazioni lineari; seguiranno, infine, le tecniche di inferenza sul valore atteso o sul livello della variabile risposta e l’analisi dei residui per l’accertamento della validità delle assunzioni di base.

L’esposizione si avvarrà dell’algebra delle matrici: a beneficio dei lettori che non hanno dimestichezza con tale strumento, le nozioni principali sui vettori e sulle matrici sono richiamate nell’appendice di questo capitolo.

22.2 Modello di regressione multipla

Si supponga che la variabile risposta, Y, possa essere messa in relazione con p variabili esplicative o predittive in base al seguente modello

,22110 εββββ +++++= pp xxxY K (22.1)

dove pβββ ,,, 10 K sono costanti numeriche non note, dette coefficienti di regressione,

pxxx ,,, 21 K sono i valori assunti dalle variabili esplicative ,,,, 21 pXXX K mentre ε è una v.c. con valore atteso 0 e varianza .2σ Ne segue che Y è una v.c. con valore atteso e varianza dati, rispettivamente, da:

,),,,|(E 2211021 ppp xxxxxxY ββββ ++++= KK

.),,,|(Var 221 σ=pxxxY K

Come si può osservare, la varianza di Y non dipende dai valori assunti dalle variabili e-splicative.

Siano, ora,

,1112211101 εββββ +++++= pp xxxY K

,2222221102 εββββ +++++= pp xxxY K

… (22.2)

2

nnppnnn xxxY εββββ +++++= K22110

le espressioni del modello (22.1) corrispondenti a n distinte specificazioni delle variabili esplicative. Nel seguito, si assumerà l’indipendenza delle v.c. .,,, 21 nYYY K

Definiti i vettori

,2

1

=

nY

Y

Y

MY ,

1

0

=

pβ

β

β

Mβ

=

nε

ε

ε

M

2

1

ε

e la matrice

,

1

1

1

21

22221

11211

=

npnn

p

p

xxx

xxx

xxx

K

MKMMM

K

K

X

le equazioni (22.2) possono essere compendiate nel modo seguente

.εXβY += Esempio 22.1 ______________________________________________________

Nella Tabella 22.1 sono riportati i dati relativi a tre caratteristiche (volume, diametro e altezza) di un campione casuale di piante della tipologia specificata. Tabella 22.1 Volume, Y (in metri cubi), diametro, X1 (espresso in centimetri) e altezza, X2 (e-

spressa in metri) di 30 esemplari di cedro nero

Unità

Y

X1

X2

Unità

Y

X1

X2

1 0,33 21,1 21,3 16 2,43 52,3 26,5 2 0,32 22,4 19,2 17 0,33 21,8 19,8 3 0,59 27,2 24,7 18 0,52 26,7 21,9 4 0,49 27,9 20,1 19 0,62 27,4 25,3 5 0,71 28,2 24,4 20 0,57 27,9 22,9 6 0,76 28,7 24,1 21 0,63 28,4 22,9 7 0,68 29,0 23,2 22 0,66 29,0 23,2 8 0,60 30,5 22,9 23 0,67 29,7 21,0 9 1,07 32,8 25,9 24 0,70 32,8 22,6

10 0,81 34,8 21,6 25 0,87 33,8 26,2 11 1,09 35,6 23,8 26 0,79 35,1 19,5 12 1,15 36,8 22,6 27 1,00 36,1 24,4 13 1,35 41,4 23,5 28 1,21 40,6 21,9 14 1,76 44,5 25,0 29 1,75 43,9 24,7 15 1,63 45,7 24,4 30 1,84 45,5 24,4

Ci si può chiedere se il modello di regressione lineare sia idoneo a rappresentare il lega-me di dipendenza del volume degli alberi (indicativo della resa in legno) dai rispettivi diametri e altezze. In altre parole, la domanda è: la conoscenza del diametro e dell’altezza di una pianta è sufficiente per poter predire (stimare) il suo volume? In que-

3

sto esempio, il volume è la variabile risposta, mentre il diametro e l’altezza sono le va-riabili esplicative.

Un’utile analisi preliminare è rappresentata dalla cosiddetta matrice dei diagrammi di di-spersione, che consiste nella presentazione congiunta dei diagrammi di dispersione otte-nuti abbinando la variabile risposta con ciascuna variabile esplicativa e la singola varia-bile esplicativa con ciascuna delle altre.

La lettura dei grafici consente di accertare visivamente la sussistenza di eventuali associazioni di tipo non lineare tra la variabile risposta e le variabili esplicative, nonché di valutare, sempre visivamente, la correlazione tra le coppie di variabili esplicative. I grafici sono utili anche per l’individuazione di eventuali dati anomali.

Esempio 22.2 ______________________________________________________

Si voglia costruire la matrice dei diagrammi di dispersione per i dati riportati nella Tabel-la 22.1. Soluzione

I possibili diagrammi di dispersione dedotti dall’incrocio tra la singola variabile e cia-scuna delle altre sono riportati nella Figura 22.1.

Figura 22.1 Matrice dei diagrammi di dispersione per i dati dell’Esempio 22.1.

22.3 Stima dei parametri del modello con il metodo dei minimi quadrati

Per la stima dei coefficienti di regressione si utilizza, come nella regressione lineare semplice, il metodo dei minimi quadrati. Con questo metodo si assegnano a

pβββ ,,, 10 K quei valori, pbbb ,,, 10 K che rendono minima la quantità (ai fini della sti-ma si usano i simboli nyy ,,1 K per indicare i valori osservati della variabile Y)

4

,)( 222110

1ippii

n

iiq xbxbxbbyS −−−−−= ∑

=

K (22.3)

funzione delle 1+p variabili .,,, 10 pbbb K Il problema di minimo si risolve derivando

pS rispetto a pbbb ,,, 10 K e uguagliando a zero le derivate prime. I risultati di questa o-perazione sono sintetizzati nella Proposizione 22.1. Proposizione 22.1 Si considerino il vettore dei valori osservati della variabile risposta

=

ny

y

y

M

2

1

y

e la matrice

=

npnn

p

p

xxx

xxx

xxx

K

MKMMM

K

K

21

22221

11211

1

1

1

X

dei valori osservati delle variabili esplicative. Allora, la stima dei minimi quadrati del vettore ],,,[ 10 ′= pβββ Kβ dei coefficienti di regressione del modello (22.1) è data da .yXX)X(b 1 ′′= − (22.4)

Dimostrazione Derivando parzialmente la (22.3) rispetto a pbbb ,,, 10 K e uguagliando a 0 le derivate, si ottiene il sistema di equazioni lineari indicate di seguito:

=−−−−−

=−−−−−

=−−−−−

∑

∑

∑

=

=

=

0))((2

0))((2

0)1)((2

1101

11101

1101

ipippiini

iippiini

ippiini

xxbxbby

xxbxbby

xbxbby

K

K

K

K

da cui si ottiene il sistema equivalente

=+++

=+++

=+++

∑∑ ∑∑

∑∑ ∑∑

∑∑ ∑

== ==

== ==

== =

ni iip

ni

ni ippipi

ni ip

ni ii

ni

ni ipipi

ni i

ni i

ni

ni ippi

yxxbxxbxb

yxxxbxbxb

yxbxbnb

11 12

1110

1 11 1 12111 10

11 1110

K

K

K

K

(22.5)

Considerato che

=′

∑∑∑

∑∑∑

∑∑

===

===

==

ni ip

ni ipi

ni ip

ni ipi

ni i

ni i

ni ip

ni i

xxxx

xxxx

xxn

12

1 11

1 11211 1

11 1

K

MMMM

K

K

XX

5

e che

,

1

1 1

1

=′

∑

∑∑

=

=

=

n

i iip

n

i ii

n

i i

yx

yx

y

MyX

il sistema (22.5) può essere espresso come

.yXXbX ′=′

Da qui, premoltiplicando primo e secondo membro per ,)( 1−′XX si ottiene la (22.4).

Una volta determinati i coefficienti di regressione, il modello di regressione stimato è e-spresso da

.ˆ 22110 pp xbxbxbby ++++= K

Geometricamente, è l’equazione di un iperpiano nello spazio a 1+p dimensioni. In par-ticolare, se ,2=p l’espressione precedente è l’equazione di un piano nello spazio tridimensiona-le.

Sostituendo a pxxx ,,, 21 K i valori osservati delle variabili esplicative, si ottengono i cosiddetti valori teorici. Il vettore dei valori teorici ]ˆ,,ˆ,ˆ[ˆ 21 ′= nyyy Ky è dato da .ˆ Xby = (22.6)

Esempio 22.3 _______________________________________________________

Con riferimento ai dati dell’Esempio 22.1, si vogliano determinare i coefficienti del modello di regressione del volume delle piante sul diametro e l’altezza. Soluzione

Conviene presentare la soluzione per passi successivi. A questo fine, si prendono le ma-trici

,

4,245,451

2,194,221

3,211,211

=MMM

X

=′

4,242,193,21

5,454,221,21

111

K

K

K

X

e il vettore

.

84,1

32,0

33,0

=M

y

Tramite Excel o altro programma, si calcolano i prodotti:

6

,

350,162.16890,300.23900,693

890,300.23140,928.346,997

900,693600,99730

=′XX

.

293,663

668,040.1

930,27

=′yX

L’inversa della prima matrice è

,

01202,000155,022635,0

00155,000077,001026,0

22635,001026,092785,4

)( 1

−−

−

−

=′ −XX

da cui si ricava, infine,

.

03404,0

05938,0

83104,1

293,663

668,040.1

930,27

01202,000155,022635,0

00155,000077,001026,0

22635,001026,092785,4

−

=

−−

−

−

=′′= − yXX)X(b 1

Il modello di regressione (piano di regressione) è

21 03404,005938,083104,1ˆ xxy ++−=

ed è rappresentato nella Figura 22.2.

Figura 22.2 Piano di regressione stimato per i dati dell’Esempio 22.1. Quanto al significato dei coefficienti di regressione, il primo, −1,83104, è il valore teori-co della variabile risposta che si ottiene quando entrambe le variabili esplicative assumo-no il valore 0; il secondo, 0,05938, è la variazione che presenta la variabile risposta quando il diametro, ,1X aumenta di 1 centimetro, mentre l’altezza, ,2X rimane costante; il ter-

7

zo, 0,03404, è la variazione che presenta la variabile risposta quando l’altezza aumenta di 1 metro, fermo restando il diametro, .1X

I valori teorici nyyy ˆ,,ˆ,ˆ 21 L si determinano sostituendo nella equazione del modello di regressione stimato i valori assunti dalle variabili esplicative nella prima, nella secon-da, …, nella n-esima osservazione. Si può anche ricorrere al calcolo matriciale,ottenendo

.

70148,1

15271,0

14700,0

03404,0

05938,0

83104,1

4,245,451

2,194,221

3,211,211

=

−

=MMMM

Xb

Proposizione 22.2 La devianza totale della variabile risposta può essere scomposta nel modo seguente

∑∑∑===

−+−=−n

iii

n

ii

n

ii yyyyyy

1

2

1

2

1

2 )ˆ()ˆ()( (22.7)

dove y è la media aritmetica dei valori osservati di Y. Il primo addendo a destra dell’u-guale è la cosiddetta devianza spiegata, mentre il secondo è la cosiddetta devianza resi-dua.

Dimostrazione Si scriva la somma dei quadrati delle osservazioni su Y come ,ˆˆˆˆ)ˆ()ˆ()ˆˆ()ˆˆ( eeyeeyyyeyeyyyyyyyyy ′+′+′+′=+′+=−+′−+=′ (22.8)

dove y è il vettore dei valori teorici, già definito in precedenza, ed e è il vettore dei resi-dui e quello dei residui, espresso da

.

ˆ

ˆ

ˆ

22

11

−

−

−

=

nn yy

yy

yy

Me

Poiché, per la (22.6),

,ˆ,ˆ My)y(yeHyXby =−===

avendo posto XX)XX(H ′′= −1 e ,HIM −= si ha

,0ˆ =′=′ HMyyey

in quanto 0HM = (la matrice H è simmetrica e idempotente). In base alla (22.8), ne se-gue che

.ˆˆ eeyyyy ′+′=′

Tale equazione è equivalente alla

,ˆˆ 22 eeyyyy ′+−′=−′ yy

8

da cui, essendo (per una nota scrittura della devianza) ,2y−′yy la devianza totale di Y e

2ˆˆ y−′yy la devianza spiegata, si perviene alla (22.7).

Sulla base della Proposizione 22.2, è ora possibile definire una misura della bontà dell’adattamento del modello di regressione lineare ai punti osservati. Si ha

.)(

)ˆ(1

)(

)ˆ(

12

12

12

12

2

∑

∑

∑

∑

=

=

=

=

−

−−=

−

−=

ni i

ni ii

ni i

ni i

yy

yy

yy

yyR

La formula, detta indice di determinazione, è un indicatore dell’idoneità del modello di regressione lineare a rappresentare la relazione statistica tra la variabile risposta e le va-riabili esplicative. Essa assume valori nell’intervallo [0, 1]: prende il valore 0 quando

,ˆ yyi = per qualsiasi i, cioè quando la conoscenza dei valori delle variabili esplicative non dà alcun contributo alla previsione del valore della variabile risposta; è uguale a 1 quando ,ˆ

ii yy = per qualsiasi i, cioè quando la variabile risposta presenta una relazione lineare perfetta con le variabili esplicative. Naturalmente, un valore elevato di 2R denota un buon adattamento del modello ai dati; viceversa, un valore dell’indice vicino allo 0 indica che il modello è inadeguato a rappresentare i dati osservati.

Una forma modificata dell’indice è data da

.1

)1(~ 222

−−

−−=

pn

RpRR

La ragione per cui si ricorre all’indice 2~R sta nel fatto che, quando n è piccolo e il nume-

ro delle variabili esplicative è relativamente elevato rispetto a n, 2R tende a sopravvalutare

l’adattamento del modello ai dati. Esempio 22.4 _______________________________________________________

Si voglia calcolare l’indice di determinazione per il modello di regressione stimato nell’Esempio 22.2.

Soluzione

Poiché

∑=

=−n

ii yy

1

2 ,2331,7)ˆ( ,4143,0)ˆ( 2

1

=−∑=

ii

n

i

yy

l’indice 2R è dato da

,0,956474,7

2331,72 ==R

valore che denota un buon adattamento del piano di regressione ai punti osservati.

Il caso della retta

Quando si ha una sola variabile esplicativa, il modello di regressione lineare multipla (22.1) si riduce a una retta. Ne segue che con la (22.4) si ottengono le stesse formule già esaminate nel Capitolo 21 – formule (21.4). Infatti, la matrice X diviene

9

,

1

1

1

1

21

11

=

nx

x

x

MMX

da cui

=′XX

11211

111

nxxx K

K=

1

21

11

1

1

1

nx

x

x

MM.

1211 1

1 1

∑∑

∑

==

=

ni i

ni i

ni i

xx

xn

Si ha, inoltre,

.)(

1)(

1 1

1 1121

1 12

121

1

−

−

−=′

∑∑∑

∑ ∑ =

==

= =

−

nx

xx

xxnn

i i

n

i in

i i

n

i

n

i ii

XX

Infine, sostituendo la precedente espressione nell’equazione (22.4), si ottiene

,111

)(

1 2

1

121111 1

1 1121

1 12

121

−

−

−=

∑∑∑

∑ ∑ =

==

= =

n

nn

i i

n

i in

i i

n

i

n

i ii

y

y

y

xxxnx

xx

xxn MK

Kb

Da cui, dopo alcuni passaggi algebrici, si ottengono le (21.4). 22.3.1 Proprietà degli stimatori dei minimi quadrati

Nell’esposizione del metodo dei minimi quadrati, le quantità nyyy ,,, 21 K sono state considerate come numeri dati. In una visione predittiva, si considerino, in luogo dei nu-meri ,,,, 21 nyyy K altrettante v.c., ,,,, 21 nYYY K come indicato con le (22.2). Con que-sto cambiamento di prospettiva, conviene riscrivere la (22.4), utilizzando la lettera maiu-scola anche per il vettore dei coefficienti di regressione stimati:

.)( 1 YXXXB ′′= −

Nella formula, Y e B sono vettori di v.c. In particolare, le v.c. componenti del primo vettore sono indipendenti e omoschedastiche (con la stessa varianza), mentre quelle del secondo, come combi-nazioni lineari di ,,,, 21 nYYY K sono tra loro correlate1. Il vettore B è lo stimatore dei mi-nimi quadrati del vettore dei parametri .β Nella Proposizione 22.3 sono indicate le proprietà dello stimatore .B Proposizione 22.3 Lo stimatore B è non distorto. Inoltre, nell’ipotesi che le v.c. ,, 21 YY

nY,K siano indipendenti e omoschedastiche, B è lo stimatore più efficiente nell’insieme de-

gli stimatori non distorti espressi da combinazioni lineari delle v.c. .,,, 21 nYYY K La varianza di B è data da

.)()(Var 12 −′= XXB σ (22.9)

1 Il vettore B è il prodotto della matrice XXX ′′ −1)( per il vettore Y, pertanto la singola componente di B

(come prodotto dell’appropriato vettore riga di XXX ′′ −1)( per il vettore colonna Y) è una combinazione li-neare delle v.c. .,,, 21 nYYY K

10

Dimostrazione Quanto alla non distorsione di B, si può scrivere

],)()(E[])(E[)(E 11εXβXXXYXXXB +′′=′′= −−

da cui

,)(E)()(E)])()(E[)(E 111βεXXXβIεXXXXβXXXB =′′+=′′+′′= −−−

essendo IXXXX =′′ −1)( e .)(E 0ε = Ciò significa che ciascun jB è uno stimatore non distorto di jβ per ogni pj ,,1,0 K= .

Per quanto riguarda la (22.9), si ha

}.])E([)]E(E{[)Var( ′−−= BBBBB

Poiché ),(E)()(E 1 YXXXB ′′= − l’espressione precedente può essere posta nella forma

},)()E{(})(])E([)]E([)E{()Var( 1111 ---- XXXεεXXXXXXYYYYXXXB ′′′′=′′−−′′= da cui si ricava

,)()()(E)()Var( 1211 −−− ′=′′′′= XXXXXεεXXXB σ

essendo .)'E( 2Iεε σ= La dimostrazione che lo stimatore B è efficiente tra gli stimatori non distorti espressi

da una combinazione lineare delle v.c. nYYY ,,, 21 K può essere trovata in Piccolo (1998), p. 877.

Dalla (22.9) si evince che la varianza della generica componente jB del vettore B è data da

,)(Var 1,12

++= jjj cB σ

dove 1,1 ++ jjc è l’elemento della diagonale di 1)( −′XX individuato dalla riga 1+j e dalla colonna .1+j

Come si è visto nel Capitolo 21, le tecniche di inferenza sul modello di regressione coinvolgono lo stimatore della varianza .2σ Tale stimatore viene presentato nella Propo-sizione 22.4.

Proposizione 22.4 Uno stimatore non distorto della varianza 2σ della componente di errore ε del modello (22.1) è dato da

.1

)ˆ(ˆ 1

22

−−

−=∑ =

pn

YYn

i iiσ (22.10)

Dimostrazione Indicata con RD la devianza residua − numeratore del rapporto al secondo membro della (22.10), bisogna dimostrare che

.)1()(E 2σ−−= pnDR

11

Per fare ciò, è conveniente sfruttare la relazione2

,Mεe = in base alla quale si può scrivere

).(tr)(tr εMεMεεMεεMMεεee ′=′=′=′=′=RD

Da cui

)].(tr)([tr)][tr)tr()](Etr[)(E 12122 XX)XX(IXX)XX(IMεεM ′′−=′′−==′= −− σσσRD

Poiché, per una proprietà della traccia (vedi l’appendice di questo capitolo),

1][tr][tr]tr[ )1()1(11 +==′′=′′

+×+−−

pppIX)XX(XXX)XX( ,

si ha

)],1([)(E 2 +−= pnDR σ come volevasi dimostrare.

22.4 Stima dei parametri con il metodo della massima verosimiglianza

Se nel modello (22.1) si assume che la componente di erroreε sia distribuita normalmen-te con media 0 e varianza ,2σ la stima dei parametri pβββ ,,, 10 K e 2σ può essere effet-tuata con il metodo della massima verosimiglianza. I risultati sono indicati nella Proposi-zione 22.5. Proposizione 22.5 Nell’ipotesi di normalità della componente di erroreε del modello

(22.1), le stime di massima verosimiglianza dei parametri pβββ ,,, 10 K e 2σ sono date, rispettivamente, da

,yXX)X(b 1 ′′= − ,)ˆ(~ 1

22

n

YYn

i ii∑ =−

=σ

dove y è il vettore dei valori osservati della variabile risposta e X è la matrice dei valori osservati delle variabili esplicative.

Dimostrazione Se la componente di errore del modello (22.1) ha distribuzione normale le quantità nyyy ,,, 21 K sono determinazioni delle v.c. nYYY ,,, 21 K distribuite nor-malmente con media

,,,2,1,)(E 22110 nixxxY ippiii KK =++++= ββββ

2 Infatti, vale la catena di identità

MεεXβXX)X(X'IYXX)X(X'YXBYYYe 11 =+′−=′−=−=−= −− )]([ˆ

dove l’ultima equazione deriva dal fatto che .][ 0XβXX)X(X'XβXβXX)X(X'I 11 =′−=′− −−

12

e varianza .2σ Ne segue che la funzione di verosimiglianza del campione osservato è da-ta da

.)2(

1

2

1),(

)()(2

1

2/1

)(2

12 2

21102

XbyXby

b−′−−

=

−−−−−

== ∏ σσ

σπσπσ eeL

nn

n

i

xbxbby ippii K

Per ogni dato valore di ,2σ la funzione ),( 2σbL è massima quando è minima la funzio-ne )()( XbyXby −′− , da cui si evince che lo stimatore di massima verosimiglianza di β coincide con lo stimatore dei minimi quadrati (22.4).

In quanto alla stima di massima verosimiglianza di ,2σ è necessario risolvere il problema di massimo della funzione ),( 2σbL rispetto a .2σ A questo fine, assumendo come noto il vettore b, conviene massimizzare rispetto a 2σ la funzione di log-verosimiglianza, ).,(log),( 22 σσ bb Ll = Si ha, pertanto,

da cui si trae che lo stimatore di massima verosimiglianza di 2σ è

.)()(~2

n

D

n

R=−′−

=XbyXby

σ

Lo stimatore di massima verosimiglianza di 2~σ è distorto; asintoticamente la distorsione tende a zero.

22.5 Inferenza sul modello di regressione multipla

Le tecniche di inferenza che saranno presentate da qui in avanti richiedono l’assunzione che la componente di errore ,ε che appare nel modello (22.1), abbia distribuzione norma-le ).,0(N~ 2σε Ciò implica che le v.c. nYYY ,,, 21 K (indipendenti e omoschedastiche), che appaiono nella (22.2), siano normali. Da questa assunzione scaturiscono i risultati di calcolo delle probabilità che sono indicati nella Proposizione 22.6. Proposizione 22.6 Nell’ipotesi di normalità della componente di errore ε del modello (22.1) vale quanto di seguito indicato:

� il vettore ,B stimatore dei minimi quadrati (e di massima verosimiglianza) di ,β ha distribuzione normale multipla

);)(,(N~ 121

−+

′XXβB σp

� la singola componente jB del vettore B di cui al punto precedente ha distribuzione normale

;,,1,0),,N(~ 1,12

pjcB jjjj K=++σβ

� la v.c. 22

1 /)ˆ( σ∑ = −ni ii YY ha distribuzione chi-quadrato con 1−− pn gradi di libertà;

� se nel modello (22.1) ,021 ==== pβββ K la v.c. 21

2 /)ˆ( σ∑ = −ni i YY ha distribuzione

chi-quadrato con p gradi di libertà;

� le v.c. jB e 2

1 )ˆ(∑ = −ni ii YY sono indipendenti;

� le v.c. 2

1 )ˆ(∑ = −ni ii YY e ∑ = −n

i i YY12)ˆ( sono indipendenti.

−′−−−−=

22

22

2 2

)()()log(

2)2log(

2),(

σσπ

σσ

σ

XbyXbyb

nn

d

dl

d

d

,02

)()(

2 42=

−′−+−=

σσ

XbyXbyn

13

Dimostrazione La dimostrazione della proposizione esula dai limiti della presente tratta-zione. Si rinvia a Graybill F. A., Theory and Application of Linear Model, Duxbury, North Scituate, Mass., 1976.

Inferenza sui singoli coefficienti di regressione

Come conseguenza della normalità della distribuzione di jB e del fatto che la v.c.

∑=

−n

iii YY

1

22/)ˆ( σ ha distribuzione chi quadrato, il rapporto

,ˆ

jB

jjBt

σ

β−=

essendo ,ˆˆ 1,1 ++= jjB c

j

σσ ha distribuzione t di Student con 1−− pn gradi di libertà. È così possibile costruire intervalli fiduciari o verificare ipotesi sui singoli .jβ

I limiti fiduciari al livello α−1 per i singoli coefficienti del modello di regressione sono dati da: .ˆ,ˆ 2/22/1 jj BjBj tBLtBL σσ αα +=−= (22.11)

Se, invece, si vuole sottoporre a verifica l’ipotesi jjH ββ =:0 , dove jβ è un valore pre-fissato di ,jβ contro l’alternativa ,:1 jjH ββ ≠ la statistica test da impiegare è data da

.ˆ

jB

jjBt

σ

β−= (22.12)

È facile stabilire che la zona di rifiuto del test è }.||:{ 2αtttR ≥= Un altro modo di pro-cedere è quello che consiste nell’utilizzo del livello di significatività osservato. Se l’ipotesi alternativa è unidirezionale, la zona di rifiuto deve essere modificata opportu-namente.

Verifica della significatività dell’intero modello

Si voglia sottoporre a verificare l’ipotesi ,0: 210 ==== pH βββ K contro l’alternativa che almeno uno dei coefficienti sia non nullo. Si tratta in realtà di confrontare il modello nel suo complesso con il modello nullo, cioè quello che contiene solo l’intercetta. Un test appropriato per verificare la significatività dell’intero modello è dato dal rapporto

,)1(/

/

−−=

pnD

pDF

R

S (22.13)

rapporto che sotto H0 ha distribuzione F con p e 1−− pn gradi di libertà. La zona di ri-fiuto del test è pertanto }.:{ αFffR ≥= Questo problema viene in genere presentato tramite lo schema della tabella dell’analisi della varianza, che è strutturata come segue.

Tabella 22.2 Tabella dell’analisi della varianza

Fonte di variabilità

Devianza Gradi di libertà

Stima della varianza

F

Regressione SD p pDS /

)1(/

/

−−=

pnD

pDF

R

S

Errore RD 1−− pn )1(/ −− pnDR

Totale YD 1−n

14

La statistica test (22.13) può essere espressa in funzione di .2R Notando che

YS DRD2= e ,)1( 2

YR DRD −= si può scrivere

.)1(/)1(

/2

2

−−−=

pnR

pRF

Esempio 22.5 _______________________________________________________

Si voglia effettuare l’inferenza sui coefficienti di regressione del piano di regressione visto nell’Esempio 22.3. Soluzione

Nella Tabella 22.3, ottenuta con lo strumento “Analisi dati” di Excel, sono riportati: i test t per la verifica dell’ipotesi nulla ,0:0 =jH β ;2,1,0=j i relativi livelli di significatività osservati; i limiti fiduciari al 95% per i singoli coefficienti di regressione. Tabella 22.3 Test di significatività e intervalli fiduciari per i singoli coefficienti

di regressione

Coefficienti

Errore standard

Statistica t

Signif. osservata

Limite inferiore al 95%

Limite superiore al 95%

− 1,8310 0,2750 − 6,6584 3,8076E-07 − 2,3953 − 1,2668 0,0594 0,0034 17,2757 4,0232E-16 0,0523 0,0664 0,0340 0,0136 2,5068 0,0185 0,0062 0,0619

Sulla base delle (22.9) e (22.10), l’errore standard stimato del singolo coefficiente di re-gressione si ottiene prendendo la radice quadrata del prodotto tra la stima della varianza

2σ e l’appropriato elemento della diagonale della matrice .)( 1−′XX Così, l’errore stan-dard stimato di 0B è dato da

,2750,092785,427

4143,0ˆ

0==Bσ

dove 0,4143 è la devianza residua calcolata nell’Esempio 22.4 e 4,92785 è l’elemento che si trova nella prima riga e nella prima colonna della matrice .)( 1−′XX La statistica test t viene impiegata per sottoporre a verifica l’ipotesi nulla .0:0 =jH β Essa si deter-mina rapportando la stima del singolo coefficiente di regressione al rispettivo errore standard stimato, secondo la formula (22.12) con .0=jβ Ad esempio, − 6,6584 si ottie-ne dal rapporto tra − 1,8310 e 0,2750. Nella Tabella 22.3, nella colonna successiva a quella della statistica test t, sono riportati i livelli di significatività osservati. Dalla loro lettura si evince che tutti e tre i coefficienti di regressione sono significativamente diversi da 0: il livello di significatività osservato è quasi nullo per quanto riguarda i primi due coefficienti, mentre è al di sotto del 2% per il terzo coefficiente; ciò vuol dire che l’ipotesi nulla 0: 20 =βH viene rifiutata a un livello di significatività del 2%, ma non lo sarebbe a un livello di significatività del 1%.

Nelle ultime due colonne della tabella, vengono dati i limiti fiduciari al 95% per i tre coefficienti di regressione, ottenuti applicando la (22.11) con 2,0518025,0 =t (i gradi di libertà sono 27).

Per la verifica dell’ipotesi sulla validità dell’intero modello con la statistica test (22.13), i calcoli necessari vengono presentati nella Tabella 22.4 (ottenuta adattando quella generata con lo strumento “Analisi dati” di Excel).

15

Tabella 22.4 Tabella dell’analisi della varianza per i dati di cui all’Esempio 22.1

Fonte di variabilità

Devianza

Gradi di libertà

Stima della varianza

F

Significatività osservata

Regressione 7,2331 2

3,6166 235,6688 8,0694E-18

Errore 0,4143 27

0,0153

Totale 7,6475 29

Come si vede, l’ipotesi 0: 210 == ββH viene rifiutata a un livello di significatività molto basso. Si può, pertanto, affermare che va esclusa la non linearità della relazione statistica del volume dal diametro del tronco e dall’altezza delle piante a cui i dati si riferiscono.

Test per il confronto tra modelli

Si supponga di voler porre a confronto due modelli stimati sugli stessi dati, uno dei quali “nidificato” (nested) nell’altro, ovvero un modello costituisce una versione vincolata del modello più generale ottenuto imponendo che i coefficienti di un determinato sottoinsie-me siano nulli. Formalmente possiamo scrivere:

,)(E : 221100 kk xxxYH ββββ ++++= K

.)(E : 11221101 ppkkkk xxxxxYH ββββββ +++++++= ++ KK

Si osservi che il modello sotto l’ipotesi nulla si ottiene imponendo la condizione di ugua-glianza a zero dei coefficienti nel modello generale. In tal senso si parla di modello “ni-dificato”. Indicando la somma dei quadrati dei residui con 0,RD per il modello sotto l’ipotesi nulla e con 1,RD la stessa quantità per il modello generale, si può dimostrare che, sotto l’ipotesi nulla, la statistica

)1/(

)/()(

1,

1,0,

−−

−−=

pnD

kpDDF

R

RR (22.14)

ha distribuzione F di Fisher con kp − e 1−− pn gradi libertà. La zona di rifiuto del test è data da }.:{ αFffR >=

Esempio 22.6 _______________________________________________________

Si consideri, ora, il problema del confronto tra il modello di regressione studiato nell’esempio precedente e quello basato sulla sola variabile esplicativa 1X (il diametro del tronco). Si assuma un livello di significatività pari a 0,01. Soluzione

Formalmente, l’ipotesi nulla da sottoporre a verifica è

,)(E: 1100 xYH ββ += contro l’alternativa

.)(E: 221101 xxYH βββ ++=

16

La statistica test idonea allo scopo è la (22.14), dove 1,RD è la devianza residua che deri-va dall’applicazione del modello completo, quello contemplato dall’ipotesi alternativa, e

0,RD è la devianza residua connessa all’applicazione del modello ridotto, quello contem-plato dall’ipotesi nulla. La prima devianza (calcolata nell’Esempio 22.4) è pari a

.4143,01, =RD

La seconda si desume dall’applicazione del metodo dei minimi quadrati al modello ridot-to. I calcoli danno (si è fatto uso anche qui dello strumento “Analisi dati” di Excel)

.5108,00, =RD

Ne segue che

.2889,627/4143,0

1/)4143,05108,0(=

−=F

La zona di rifiuto è }.6767,7:{ 01,0 =≥= FffR Essendo ,6767,7<f l’ipotesi nulla non viene rifiutata. Ciò equivale a dire che il modello ridotto è sufficiente a spiegare la varia-bile Y.

Va osservato che, nel caso in esame, il problema poteva essere risolto in modo equi-valente con la statistica test t per la verifica dell’ipotesi nulla ,0: 20 =βH contro l’al-ternativa ,0: 20 ≠βH test già considerato nell’Esempio 22.5.

Inferenza su combinazioni lineari dei coefficienti di regressione

In certe situazioni, capita di dover verificare l’ipotesi che i coefficienti di regressione di un dato sottoinsieme, oppure una o più combinazioni lineari degli stessi, assumano de terminati valori. Questi vincoli si prestano a essere espressi come

,hCβ =

dove C è la matrice )1( +× pk che esprime le k combinazioni lineari dei 1+p coeffi-cienti di regressione ( 1+≤ pk ) e h è un vettore di k numeri assegnati. Un’appropriata scelta delle righe della matrice C consente di formulare una o più equazioni lineari su .,,, 10 pβββ K Nella tabella che segue sono riportati alcuni esempi di equazioni di inte-resse pratico.

Tabella 22.5 Esempi di vincoli su combinazioni lineari di coefficienti di regressione

Matrice C Vettore h Prodotto hCβ =

]0 0 1 0 0 0[ KK=C 0=h 0=jβ

]0 0 1 1 0 0 0[ KK -=C 0=h 01 =− +jj ββ

=

0 0 1 0 0 0 0

0 0 0 1 0 0 0

KK

KKC

=

0

0h 0,0 1 == +jj ββ

17

Continua Tabella 22.5

Matrice C Vettore h Prodotto hCβ =

=+×

100000

01000

00100

00010

1K

MMMMMM

K

K

Cpp

=×

0

0

0

0

1Mh

p

0,,0,0 21 === pβββ K

=+×−

10000

01000

001000

000100

1)(

MK

MK

MMMMKMM

K

K

Cpkp

=×−

0

0

0

0

1)(Mh

kp

0,,0,0 21 === ++ pkk βββ K

È facile osservare che le ipotesi nulle dei problemi di verifica di ipotesi fin qui esaminati – statistiche test (22.11), (22.12) e (22.13) – si possono porre nella forma generale

hCβ =:0H

e sottoporre a verifica tramite la statistica test indicata nella Proposizione 22.7. Proposizione 22.7 Sia hCβ =:0H l’ipotesi nulla da sottoporre a verifica. Allora, sotto le usuali assunzioni sulla componente di errore ε del modello (22.1), la statistica test

)1(/

/)(])([)( 11

−−

−′′′−=

−−

pnD

kF

R

hCBCXXChCB (22.15)

ha distribuzione F di Fisher con k e 1−− pn gradi di libertà.

Dimostrazione Si rinvia a Sen A., Srivastava M., Regression Analysis, Theory, Methods, and Applications, Springer-Verlag, New York, 1990, p. 64.

Esempio 22.7 _______________________________________________________

Si voglia verificare l’ipotesi 0: 210 == ββH mediante la statistica test (22.15) relativa-mente al modello stimato nell’Esempio 22.3. Si ponga .05,0=α Soluzione

La matrice C adatta al problema in esame è

,100

010

=C

mentre il vettore h è

.0

0

=h

18

Dai calcoli svolti nell’Esempio 22.3, si è trovato che

.

03404,0

05938,0

83104,1

−

=b

Per cui

.03404,0

05938,0

03404,0

05938,0

83104,1

100

010

=

−

=Cb

Sempre nell’Esempio 22.3 si è ottenuto

,

01202,000155,022635,0

00155,000077,001026,0

22635,001026,092785,4

)( 1

−−

−

−

=′ −XX

da cui

.443,112402,226

402,226615,754.1])([ 11

=′′ −− CXXC

In definitiva,

3,6161,/)(])([)( 11 =−′′′− −−khCbCXXChCb

da cui

236,3464.0153,0

3,6161

)1(/

/)(])([)( 11

==−−

−′′′− −−

pnD

k

R

hCbCXXChCb

Come si può osservare, il procedimento basato sulla statistica test (22.15) dà lo stesso ri-sultato fornito dalla statistica (22.13); la leggera differenza numerica che si riscontra tra le due formule è dovuta a problemi di approssimazione.

Inferenza sul valore atteso della variabile risposta e intervallo predittivo

Analogamente a quanto già visto per il modello di regressione lineare semplice (Paragrafi 21.6 e 21.7), sono oggetto di inferenza, non solo i coefficienti del modello di regressione, ma anche il valore atteso o il valore che la variabile risposta Y assume in corrispondenza di dati valori delle variabili esplicative.

Sia ),,,,1( 002010 ′= pxxx Kx il vettore dei valori delle variabili esplicative per il quale interessi valutare il valore atteso

.)|(E 00022011000 βxx ′=++++= pp xxxY ββββ K Uno stimatore non distorto di )|(E 00 xY è dato da

.ˆ0002201100 Bx′=++++= pp xBxBxBBY K

19

Come si vede, 0Y è una combinazione lineare delle v.c. ....,,, 10 pBBB Come tale, ha va-rianza

01

02

0000 )()(Var)Var()ˆ(Var xXXxxΒxBx −′′=′=′= σY .

Si ricorda che, sotto l’ipotesi di normalità della componente di errore ,ε il vettore B ha distribuzione multinormale, ))(,(N~ 12

1−

+′XXβB σp − Proposizione 22.6. Ne segue che

la v.c. Bx0′ ha distribuzione normale con media βx0′ e varianza .)( 01

02 xXXx −′′σ In sim-

boli, si ha

).)(,(N~ 01

02

00 xXXxβxBx −′′′′ σ Inoltre, dalla Proposizione 22.6 si deduce che le v.c. B e 2ˆ)1( σ−−= pnDR sono indipen-denti. È facile verificare, allora, che vi sono tutti i presupposti perché il rapporto

abbia distribuzione t di Student con 1−− pn gradi di libertà.

Con questo risultato, si è in grado sia di verificare ipotesi sia di costruire l’intervallo fiduciario per il valore atteso ).|(E 00 xY I limiti di tale intervallo fiduciario sono dati da:

.)(ˆ,)(ˆ 01

02/0201

02/01 xXXxBxxXXxBx −− ′′+′=′′−′= σσ αα tLtL

Sia, ora, ),,,,1( ,12,11,11 ′= ++++ pnnnn xxx Kx un nuovo vettore di osservazioni sulle variabili esplicative (nuovo vettore rispetto a quelli con cui sono stati stimati i coefficienti di re-gressione β ). Indicata con 1+nY la risposta associata a questo nuovo vettore, si voglia de-limitare un intervallo entro cui sia compresa la v.c. 1+nY con probabilità .1 α−

Considerando che la quantità Bx 11ˆ

++ ′= nnY è uno stimatore non distorto di ,1+nY si prenda la v.c.

,)(ˆ1111111 +++++++ −−′=−′−′=− nnnnnnn YY εε βBxβxBx

che ha valore atteso nullo e varianza

.)()(Var))((Var)ˆ(Var 21

11

21111 σσε +′′=+−′=− +

−+++++ nnnnnn YY xXXxβBx

Ciò posto, dall’assunzione di normalità per il termine di errore ,ε come già visto per ,0Y si trae che il rapporto

ha distribuzione t di Student con 1−− pn gradi di libertà. Da queste premesse segue che l’intervallo che include con probabilità α−1 la v.c. ,1+nY il cosiddetto intervallo preditti-vo, ha estremi espressi da:

.)(1ˆˆ1

112/1 +

−++

′′+± nnn tY xXXxσα

01

0

00

)(ˆ xXXx

βxBx

−′′

′−′=

σt

11

1

11

)(1ˆ

ˆ

+−

+

++

′′+

−=

nn

nn YYt

xXXxσ

20

Esempio 22.8 _______________________________________________________

Con riferimento al modello stimato nell’Esempio 22.3, sia .)2,23,0,29,1(0 ′=x Si voglia costruire l’intervallo fiduciario al 95% per il valore atteso di Y associato ai suddetti valori delle variabili esplicative. Inoltre, assumendo come nuova osservazione sulle variabili esplicative gli stessi valori fissati per ,0x si voglia costruire l’intervallo predittivo per Y al 95%. Soluzione

Poiché

0,39042,230340,0290594,08310,1ˆ 00 =×+×+−=′= bxy

e

,0482,0)( 01

0 =′′ − xXXx i limiti fiduciari per )|(E 00 xY sono:

;3339,00482,027

0,41432,05183904,01 =−=l

.4469,00482,027

0,41432,05183904,02 =+=l

Per quanto riguarda gli estremi dell’intervallo predittivo, si ha:

;1302,0)0482,01(27

0,41432,05183904,01 =+−=l

.6506,0)0482,01(27

0,41432,05183904,02 =++=l

22.6 Controllo di validità delle assunzioni di base

Le analisi statistiche fin qui presentate poggiano su assunzioni ben precise: l’indipenden-za delle v.c. ,,,, 21 nYYY K l’omoschedasticità, ossia l’uguaglianza delle varianze di que-ste variabili casuali, e la normalità distributiva delle componenti di errore nεεε ,,, 21 K (anche se la violazione di questa assunzione non inficia la validità dei risultati connessi con la stima dei minimi quadrati dei parametri del modello − Proposizione 22.3). Natu-ralmente, l’oggetto del controllo di validità di dette assunzioni è il modello di regressione nella struttura definitiva, quale emerge dalle analisi inferenziali sui coefficienti di regres-sione illustrate in precedenza, compresa quella sulla linearità della relazione statistica fra la variabile risposta e le variabili esplicative – ipotesi .0: 210 ==== pH βββ K Ad e-sempio, con la statistica test (22.14) si può decidere di adottare un modello ridotto (cioè con un minor numero di variabili esplicative) rispetto a quello inizialmente considerato. Le tecniche con cui si effettuano questi controlli sono noti come metodi diagnostici.

21

Analisi dei residui

Come si è visto nel Paragrafo 21.8, lo strumento principale per il controllo di validità del-le assunzioni di base è l’analisi dei residui. Al riguardo, il lettore è invitato alla rilettura di quanto viene detto nel paragrafo sopra richiamato, in particolare, in merito alle struttu-re tipiche del grafico dei residui (vedi Figura 21.7). Si ricorda qui che i residui sono le v.c.

.,,2,1,ˆ niYYe iii K=−= L’informazione statistica alla base della maggior parte dei metodi diagnostici è costituita dai residui .iii YYe −= Questi possono essere considerati alla stregua di stimatori delle componenti di errori .iε

Nell’ipotesi di normalità delle componenti di errore, si può dimostrare che il vettore dei residui, ,e ha distribuzione multinormale

),(N 2

Mn σ0 Dove ,HIM −= essendo XXXXH ′′= −1)( (vedi Paragrafo 22.2). Indicato con iih−1 l’ elemento generico della matrice M, si ha

).1()(Var 2iii he −= σ

Nell’analisi dei residui, si utilizzano, talvolta, le quantità

,1ˆ

~

ii

ii

h

ee

−=

σ

dette residui studentizzati (si tratta di residui standardizzati mediante la deviazione stan-dard stimata).

L’analisi dei residui si concretizza, generalmente, nella costruzione di grafici di di-spersione che presentano sull’asse verticale i residui grezzi ie o quelli studentizzati e sull’asse orizzontale:

- i valori, ,ijx della singola variabile esplicativa; - combinazioni lineari di due o più variabili esplicative; - i valori teorici ;ˆiy - i valori di una variabile esplicativa non inclusa nel modello, i cui valori sono noti.

Nel primo caso, un grafico di dispersione che non manifesti specifici andamenti (nuvola regolare tendente alla forma rappresentata nella Figura 21.7a) indica che l’inseri-mento della variabile nel modello non presenta problemi particolari; se, invece, si doves-se palesare un andamento particolare, si pone la possibilità di specificare diversamente il ruolo della variabile esplicativa (mediante una trasformazione, ad esempio elevamento al quadrato). In modo analogo, vanno letti i diagrammi di dispersione aventi come ascisse i valori assunti da combinazioni lineari di due o più variabili esplicative.

Quando sull’asse delle ascisse vengono posti i valori teorici ,ˆiy un andamento rego-lare del grafico di dispersione supporta, in particolare, l’assunzione di omoschedasticità. Si consideri, infatti, che tali valori teorici sono stime del valore medio della variabile ri-sposta associato alle singole osservazioni sulle variabili esplicative. Pertanto, una nuvola di punti che presentasse un andamento crescente (ad esempio, secondo la forma del gra-fico 21.7c), decrescente o di altra struttura particolare, farebbe pensare a una variabilità della componente di errore dipendente dal livello della variabile risposta.

Infine, quando sull’asse delle ascisse vengono riportati i valori di una variabile non inserita nel modello, un particolare andamento del diagramma di dispersione fa pensare all’opportunità di inserire la variabile nel modello.

Per quanto riguarda l’assunzione di normalità delle componenti di errore, assunzio-ne su cui si fonda una larga parte delle tecniche di inferenza esaminate in questo capitolo,

22

un primo strumento di valutazione è rappresentato dall’istogramma di frequenza dei resi-dui: se l’istogramma dei residui grezzi o di quelli studentizzati non si discosta troppo sensibilmente da una forma campanulare, si può essere fiduciosi sull’assunzione in ar-gomento. È appropriato ricorrere all’istogramma di frequenza quando il numero delle os-servazioni è abbastanza elevato.

Un metodo alternativo è quello basato sul diagramma di dispersione dei punti di co-ordinate

,,,2,1,~,5,0

)(1 nie

n

ii K=

−Φ−

dove i valori posti sulle ascisse sono i quantili della normale standardizzata corrispon-denti ai valori (della funzione di ripartizione della normale standardizzata (.))Φ ,/5,0 n

,/)5,0(,,/5,1 nnn −K mentre le ordinate, ,~)(ie sono i residui studentizzati ordinati in sen-

so crescente. Una disposizione dei punti del diagramma attorno a una retta supporta l’approssimata normalità dei residui e quindi la normalità delle componenti di errore3.

Valori anomali e punti influenti

Un aspetto che merita particolare attenzione è l’individuazione di eventuali “valori ano-mali”, con riguardo sia alla variabile risposta che alle variabili esplicative. Ci si riferisce a valori eccessivamente grandi o eccessivamente piccoli che possono condizionare l’a-dattamento del modello ai dati. Sicuramente, l’analisi dei residui contribuisce alla sco-perta dei valori anomali. Tuttavia, è opportuno illustrare due specifiche tecniche finaliz-zate all’individuazione dei cosiddetti punti influenti.

Si riprenda la matrice H e si ricordi (vedi Dimostrazione della Proposizione 22.4) che la sua traccia è pari a .1+p In altri termini, vale l’identità

,12211 +=+++ phhh nnK

da cui si evince che il valore medio di iih è ./)1( np + Ora, valori di iih molto distanti dalla media individuano possibili punti influenti dal lato delle variabili esplicative. Infat-ti, considerando che

),1()(Var 2iii he −= σ

un valore molto grande di iih implica una varianza molto ridotta di ie e, quindi, un pos-sibile effetto leva del punto in questione, nel senso indicato nel Paragrafo 21.8.

Un metodo più generale per l’individuazione dei punti influenti è basata sulla di-stanza di Cook. Si supponga effettuare l’analisi di regressione omettendo l'i-esima osser-vazione e sia )(iB il vettore dei coefficienti di regressione stimati sulle rimanenti 1−n osservazioni. La distanza di Cook è data da

.ˆ)1(

)ˆˆ()ˆˆ(

ˆ)1(

))(()(2)()(

2)()(

σσ +

−′−=

+

−′′−=

ppD

iiiii

yyyyBBXXBB

Valori elevati di iD individuano punti influenti. L'esperienza suggerisce di prendere in considerazione come potenziali punti influenti le osservazioni per le quali .5,0>iD an-drebbero tenute sotto osservazione, mentre per quelle con 1>iD ci troviamo verosimil-mente di fronte a punti con forte influenza.

Si dimostra che un’espressione equivalente di iD è

3 Per comprendere la logica sottostante a questo procedimento si rinvia a Sen e Srivastava,

op. cit., pp. 101-2.

23

,1)1(

~2

ii

iiii

h

h

p

eD

−+=

da cui si evince che un'osservazione può essere influente se presenta residui studentizzati elevati, il che la qualifica come un valore anomalo rispetto alla variabile risposta, o se iih è prossima ad 1, nel qual caso il punto è distante dal baricentro dello spazio delle variabi-li esplicative. Naturalmente, le due precedenti circostanze possono coesistere.

Rimedi da adottare

La domanda che ci si pone è quella delle azioni da intraprendere quando i metodi diagno-stici producono qualche dubbio circa le assunzioni di base. La questione non si presta a essere trattata in modo sintetico. Pertanto, ci si limiterà a introdurre la tecnica della tra-sformazione di Box e Cox, utile, particolarmente, nel caso in cui l’analisi dei residui met-te in dubbio la normalità delle componenti di errore. La tecnica mira a individuare la tra-sformazione della variabile Y che rende le osservazioni iy il più possibile assimilabili alle realizzazioni di una v.c. normale.

La trasformazione è così definita:

=

≠−

=

.0 se)log(

,0 se1

)(λ

λλλ

λ

Y

YY

Per un dato ,λ il modello di regressione diventa, pertanto,

=++++=

≠++++=

.0 se)log(

,0 se

i110

i110

λεβββ

λεβββλ

ippii

ippii

xxY

xxY

K

K

Tale trasformazione è valida se Y è strettamente positiva. Tuttavia, è possibile operare una traslazione della variabile Y del tipo cY + , per un predeterminato valore di c, tale che cY + sia sempre positiva.

La scelta del valore "ottimo" di λ può avvenire in modo approssimato, mediante tecniche grafiche ed esplorative, oppure in maniera più formale. In questo secondo caso, si può ricorrere metodo della massima verosimiglianza assegnando a λ il valore che massimizza la verosimiglianza del campione casuale )),(,),(( 1 λλ nyy K sia la realizza-zione di n v.c. indipendenti con medie Xβ e matrice di covarianze .2Iσ Per facilitare l'in-terpretazione del modello, il valore λ viene di solito approssimato con un valore prossimo nella griglia {−2, −1, −1/2, 0, 1/2, 1, 2, 3}.

24

APPENDICE

VETTORI E MATRICI

Vettore È un insieme ordinato di n numeri reali nxxx ,,, 21 K così indicati

.2

1

=

nx

x

x

Mx

Si usa anche scrivere ][ 21 nxxx K=′x , dove l’apice indica il passaggio dalla colonna alla riga. Nel primo caso si parla di vettore colonna, nel secondo di vettore riga. Nel se-guito si indicherà con 0 il vettore colonna i cui elementi sono tutti uguali a 0. Moltiplicazione di un vettore per una costante Se c è una costante, il prodotto cx è il vetto-re che presenta nella posizione i la quantità .icx Esempio Dato 5=c e

,

8

5

2

4

−=x

cx = .

40

25

10

20

8

5

2

4

5

−=

−

Somma di vettori La somma dei due vettori x e y è definita nel modo seguente

.22

11

2

1

2

1

+

+

+

=

+

=+

nnnn yx

yx

yx

y

y

y

x

x

x

MMMyx

Esempio

.

5

3

2

,

7

1

4

=

−= yx

.

12

2

6

=+ yx

25

Vettori linearmente indipendenti I vettori kxxx ,,, 21 K si dicono linearmente dipendenti

se esistono i numeri reali ,,,, 21 kaaa K non tutti uguali a 0, tali che

.2211 0xxx =+++ kkaaa K

Se tale uguaglianza non vale, i vettori sono linearmente indipendenti. Esempio

.

11

9

8

,

5

3

2

,

7

1

4

321

−

−

=

=

−= xxx .

I vettori sono linearmente dipendenti in quanto

.23 321 0xxx =+− Matrice Una matrice di dimensione km × un insieme di numeri ordinati in m righe e k colonne:

.2

1

2

22

12

1

21

11

=×

mk

k

k

mm

km

a

a

a

a

a

a

a

a

a

M

K

K

K

K

MMA

Una matrice si dice quadrata se il numero delle righe è uguale al numero delle colonne. Due matrici }{=

×ij

kmaA e }{=

×ij

kmbB sono uguali se ;,,2,1, miba ijij K== .,,2,1 kj K=

Somma di due matrici della stessa dimensione

+

+

+

+

+

+

+

+

+

=

+

=+

mkmk

kk

kk

mmmmmk

k

k

mmmk

k

k

mm ba

ba

ba

ba

ba

ba

ba

ba

ba

b

b

b

b

b

b

b

b

b

a

a

a

a

a

a

a

a

a

M

K

K

K

K

MMM

K

K

K

K

MMM

K

K

K

K

MM

22

11

22

2222

1212

11

2121

1111

2

1

2

22

12

1

21

11

2

1

2

22

12

1

21

11

BA

Esempio

=

3

1

2

3

4

3

8

5

5

7

3

1

4

7

2

5

A , ,

3

1

2

4

3

5

4

5

8

7

5

2

3

6

6

1

=B .

6

2

4

7

7

8

12

10

13

14

8

3

7

13

8

6

=+ BA

Moltiplicazione di una matrice per una costante c

.}{== ijcacc AA

Esempio

26

,

3

1

2

3

4

3

8

5

5

7

3

1

4

7

2

5

=A .

9

3

6

9

12

9

24

15

15

21

9

3

12

21

6

15

3

=A

Differenza tra due matrici della stessa dimensione

}−{=−+=− ijij baBABA )1( .

Trasposta Data la matrice

,2

1

2

22

12

1

21

11

=

mk

k

k

mm a

a

a

a

a

a

a

a

a

M

K

K

K

K

MMA

la trasposta è

,2

1

2

22

21

1

12

11

=′

mk

m

m

kk a

a

a

a

a

a

a

a

a

M

K

K

K

K

MMA

ottenuta scambiando le righe con le colonne. La dimensione di B è, naturalmente,

.mk × Esempio

,

9

2

1

5

4

5

8

3

2

=A .

9

5

8

2

4

3

1

5

2

=′A

Matrice simmetrica Una matrice si dice simmetrica se .AA =′ Ciò avviene se gli elemen-ti di A sono tali che .jiij aa =

Esempio

.

9

6

8

6

4

5

8

5

2

=A

Moltiplicazione di matrici Date due matrici A e B, la prima di dimensione ,nm × la se-conda di dimensione ,kn × il prodotto C = AB è la matrice di dimensione km × tale che

.1

hj

n

hihij bac ∑=

=

27

Si noti che due matrici si possono moltiplicare se il numero delle colonne della prima è uguale al numero delle colonne della seconda. Se le matrici A e B sono quadrate ed han-no la stessa dimensione, sono ammessi entrambi i prodotti, AB BA, anche se le matrici che ne risultano non sono necessariamente uguali.

Esempio

,

9

2

1

5

4

5

8

3

2

=A ,

3

5

1

4

2

4

=B .

60

29

30

78

28

22

=AB

Matrice identità È una matrice quadrata in cui ogni elemento della diagonale è pari ad 1, mentre ogni elemento fuori della diagonale è pari a 0. Se A è una matrice quadrata di dimensione mm × e I una matrice identità della stessa dimensione, valgono le identità

.AAIIA ==

Infatti, il generico elemento di IA, ,ijα è dato dal prodotto della riga i-esima di I per la j-esima colonna di A; la riga i-esima presenta il valore 1 nella i-esima posizione e il valore 0 nelle altre posizioni; la j-esima colonna presenta l’elemento ija nella i-esima posizione; ne segue che il prodotto in questione dà ija e quindi .ijij a=α In modo analogo si verifi-ca che .AAI = Proprietà del prodotto di matrici: a) BAAB )()( cc = b) CABBCA )()( = c) ACABCBA +=+ )(

d) CABAACB +=+ )(

e) ABAB ′′=′)(

Le proprietà precedenti presuppongono che le matrici coinvolte nel prodotto siano in ef-fetti moltiplicabili.

Indicando con nxxx ,,, 21 K n vettori della stessa dimensione, la generalizzazione della proprietà c) consente di scrivere

).( 2121 nn xxxAAxAxAx +++=+++ KK

Inoltre, per la e), si può scrivere

))(())(())(( 2211 ′++′+′ nn AxAxAxAxAxAx K

),)(())(())(( 2211 AxAxAxAxAxAx ′′++′′+′′= nnK

))(())(())(( 2211 ′++′+′ nn AxAxAxAxAxAx K

.)()()( 2211 AxxAAxxAAxxA ′′++′′+′′= nnK

Rango di una matrice Data una matrice A, il suo rango è il numero massimo di colonne (considerate come vettori) linearmente indipendenti.

28

Esempio

−

−

=

3

1

3

5

4

5

8

3

2

A .

Il rango della matrice è 2 in quanto

−

8

3

2

+

5

4

5

=

−

−

+

0

0

0

3

1

3

.

Determinante Il determinante di una matrice quadrata nn × è lo scalare dato da

>−∑=

==

+

=

,1 se ,)1(||||

1 se,||1

11

1

11

na

na

jj

n

jj AA

A

dove j1A è la matrice )1()1( −×− nn ottenuta da A eliminando la prima riga e la co-lonna j.

Esempio

,

9

2

1

5

4

5

8

3

2

=A

20)3215()1627(5)1036(25

4

8

3

9

2

8

35

9

2

5

42|| −=−+−−−=

+

−

=A

Inversa di una matrice Se A è una matrice quadrata di dimensione kk × con rango pari a

k, allora esiste un’unica matrice di dimensione ,, 1−× Akk detta inversa di A, tale che

.11 IAAAA == −−

L’inversa di una matrice quadrata A è la matrice che si ottiene nel modo seguente: a) si determina la matrice dei cofattori C, che si ottiene dalla matrice A sostituendo ad

ogni elemento ija il determinante della sottomatrice che si ricava cancellando la i-esima riga e la j-esima colonna, con segno dato da ji+− )1( ;

b) si determina la matrice aggiunta di A data dalla trasposta di C: ;)(agg CA ′=

c) si perviene alla matrice inversa dividendo l’aggiunta di A per il determinante di A:

.||

)(agg1

A

A=−

A

29

Esempio Data la matrice

,

9

2

1

5

4

5

8

3

2

=A

si ha

,

7

30

17

1

10

11

6

40

26

4

5

3

25

5

8

25

4

8

3

2

1

3

29

1

8

29

2

8

3

2

1

4

59

1

5

59

2

5

4

−

−

−

−

−=

−

−

−

−=C

da cui

.

7

1

6

30

10

40

17

11

26

)(agg

−

−

−

−

−=A

Infine, essendo ,20|| −=A si ottiene

.

7

1

6

30

10

40

17

11

26

20

11

−

−

−

−

−−=−A

Traccia Se A è una matrice quadrata di dimensione kk × si chiama traccia di A, indicata con il simbolo )(tr A , la somma degli elementi della diagonale di A. Esempio La traccia della matrice

,

9

2

1

5

4

5

8

3

2

=A

è data da .15942 =++ Date due matrici A e B di dimensioni ,kk × valgono le seguenti utili proprietà della trac-cia (che si possono verificare empiricamente con degli esempi): a) ),(tr)(tr AA cc = essendo c uno scalare;

b) tr(AB) = tr(BA); c) tr(A ± B) = tr(A) ± tr(B).