Lezione B.11

Non linearità e quant’altro

TQuArs – a.a. 2010/11Tecniche quantitative per l’analisi nella ricerca sociale

Giuseppe A. Micheli

In questa lezione..

In questa lezione ripartiremo dall’interpolazione di una nuvola di punti mediante una funzione rettilinea, per passare a strategie di interpola-zione un pochino più complesse ma più capaci di adattamento.

Esamineremo preliminarmente la funzione residuo e la sua utilità per cogliere graficamente eventuali modelli differenti dalla retta. Dopodiché accenneremo a tre strategie possibili:

L’intervento diretto (manuale) del ricercatore sui casi anomali.

L’interpolazione con una funzione polinomiale di ordine superiore alla retta.

L’interpolazione con una funzione non lineare che sia però ricon-ducibile al modello della retta

Concluderemo con un rapido accenno al problema della Ecological Fallacy

Ripartiamo da un esempio

Partiamo da un problema apparentemente risolto al primo colpo. Siano dati per N=9 individui l’età (X) e il reddito mensile in migliaia di euro (Y). Il diagramma di dispersione mostra come una relazione rettilinea sia davvero ottima..

012345678

18 22 26 30 34 38 42

Xi Yi Xi2 Yi

2 Xi Yi

20 1,0 400 1,00 20,0

22 1,2 484 1,44 26,4

25 1,4 625 1,96 35,0

28 2,0 784 4,00 56,0

30 3,0 900 9,00 90,0

33 3,5 1089 12,25 115,5

35 4,5 1225 20,25 157,5

37 5,4 1369 29,16 199,8

40 6,8 1600 46,24 272,0

270 28,8 8476 125,3 972,2

30,0 3,2 941,78 13,92 108,02

VX=41,78; VY=3,682 CovXY=+12,022; rXY=+0,9693 bYX=+0,28777; aYX=-5,43298 R2

YX=0,94!!!

Ogni anno in più in media 288mila lire di incremento lineare di reddito. Ma si inizia a

guadagnare solo dopo i 19 anni...

Una interpolante soddisfacente Caspita, il 94% della variabilità di Y è spiegato dalla relazione lineare con l’età: Y =-5,43282+0,28776 XY =-5,43282+0,28776 X. Interpoliamo la retta MQ, calcolando il valore teorico di Y per X=18 (Y=-0,25) e per X=42 (Y=6,65). Possiamo verificare che la somma dei valori teorici è = alla somma dei valori osservati, che la somma degli scarti semplici è zero, e che il rapporto tra la varianza residua VWR(Y)=0,223 e la varianza totale VT(Y) è =0,06, cioè

-1012345678

18 22 26 30 34 38 42

Xi Yi Y*i (Yi-Y*i) (Yi-Y*i)2

20 1,0 0,322 +0,678 0,4592

22 1,2 0,898 +0,302 0,0913

25 1,4 1,761 -0,361 0,1304

28 2,0 2,624 -0,624 0,3900

30 3,0 3,200 -0,201 0,0400

33 3,5 4,063 -0,563 0,3173

35 4,5 4,639 -0,139 0,0193

37 5,4 5,214 +0,186 0,0345

40 6,8 6,078 +0,722 0,5218

270 28,8 28,8 0 2,0037

30,0 3,2 0,223

VVWRWR(Y)/ V(Y)/ VTT(Y) = 1- (Y) = 1- RR22YXYX

Una cartina di tornasole: l’analisi dei residui

Un metodo per esplorare i limiti della regressione lineare consiste nell’esaminarne i residui. Se chiamiamo Y la variabile osservata e la funzione teorica interpolante (per esempio Y=i=a+bxi), definiamo funzione residuo la

differenza =Y-. E’ intuitivo che

(Yi-i)=0.

Ma se la funzione teorica è stata stimata col criterio dei MQ (solo in quel caso), allora la funzione residuo gode di altre proprietà notevoli:

(Yi-i)2 = 2 = minimo

Cioè, per costruzione, il ‘danno’ complessivo è il minore possibile. Inoltre

(Yi-i)(i-mY)=Cov(,)=0

e dato che i=a+bxi è linearmente dipendente da xi, vale anche:

Cov(,X)=0

Cioè i residui ottenuti col MMQ sono incorrelati con la funzione teorica e con la variabile esplicativa.

Plottare i residui sulla variabile esplicativa

-1-0,8-0,6-0,4-0,20

0,20,40,60,81

18 42

Xi i

20 +0,678

22 +0,302

25 -0,361

28 -0,624

30 -0,200

33 -0,563

35 -0,139

37 +0,186

40 +0,722

‘Plottiamo’ i residui sui valori teorici i o sulle Xi, di esse. Cioè costruiamo un grafico coi residui in ordinata, e in ascissa i corrispondenti valori teorici di Y (i) o direttamente i valori Xi (dato che essi sono linearmente connessi con i i).

Se i residui sono incorrelati con i e con Xi, il grafico non mostrerà particolari relazioni.

Trasporre in grafico i residui consente di evidenziare l’eventuale inefficacia del modello lineare semplice. Se esso è efficace, dovremmo trovare incorrelazione degli errori e una varianza vincolata grossomodo costante per tutto il grafico.

Guardiamo invece il grafico dei residui della regressione reddito-età, plottata rispetto alle età. Esso evidenzia una chiara relazione curvilinea. Certo Cov(i,Xi)=0 per costruzione. Ma il grafico fa intravvedere altre relazioni o fa sospettare su qualche dato inserito nel grafico.

Prima strategia: intervenire sugli outliers

Che possiamo fare per migliore l’adattamento della legge interpolante? La prima strada che si può percorrere è quella di rimuovere dati che si presumono spiccatamente anomali. Sta alla sensibilità e alla responsabilità di chi elabora i dati di percepire che uno o più di essi è anomalo.

Nell’esempio si può ritenere che la prima e la nona osservazione mostrino redditi sistematicamente più alti delle altre. -1

-0,8-0,6-0,4-0,20

0,20,40,60,81

18

Xi Yi Xi2 Yi

2 Xi Yi

22 1,2 484 1,44 26,4

25 1,4 625 1,96 35,0

28 2,0 784 4,00 56,0

30 3,0 900 9,00 90,0

33 3,5 1089 12,25 115,5

35 4,5 1225 20,25 157,5

37 5,4 1369 29,16 199,8

210 21 6476 78,06 680,2

30,0 3 925,14 11,15 97,17

-1012345678

18 22 26 30 34 38 42

La retta stimata è: Y=-5,56+0,285X

Il coefficiente di determinazione è: R2=0,951.

R2 è ancora mi-gliorato! Ma l’arbi-trarietà della ma-nipolazione è dav-vero forte..

Seconda strategia: interpolare una funzione polinomiale

Chiamiamo funzione polinomiale di grado N in x una generalizzazione della funzione rettilinea in cui la variabile dipendente compare in tutte le poten-ze di ordine k=1,..,N: y=N(x)=a0+a1x+a2x

2+..+aNxN = a+bx+cx2+..+kxN.

Sappiamo tutti che tra due punti (due coppie di osservazioni) passa esattamente una sola retta, tra tre punti una sola parabola e così via. Ma non conviene pro-cedere oltre la polinomiale di grado 3 per interpolare i dati: il costo (di calcolo, di interpretabilità) supererebbe i vantaggi! Tanto più nelle distribuzioni statistiche con-giunte, dove per ogni X non v’è un solo valore di Y, ma una distribuzione statistica.

0

10

16 17 18 19 20 21 22 23 24 25

0

10

16 17 18 19 20 21 22 23 24 25

Tra questi tre punti passa una parabola che si adatta perfettamen-te ai dati…

Ma se due dei 3 punti corrispon-dono a una sola X non c’è funzio-ne (retta,curvili-nea)che si adatti

Ma la cosa interessante di una interpolazione polinomiale è che anche per essa si possono determinare stime MMQ, che godono delle proprietà della retta MQ. In particolare: Cov(,)=0 (l’interpolante polinomiale è incorrelata coi residui) e VarWP(k)+VarBP(k)=VarT(Y) (se la polinomiale non ha intercetta vincolata la varianza di Y è scomponibile tra una varianza ‘spiegata’ e una ‘residua’)

Stima di una funzione quadratica

Il calcolo di una polinomiale di ordine >1 è comunque una procedura onerosa per la massa di calcoli necessari. Nessuno vi chiederà mai di calcolarvela a mano (con la macchinetta da un dollaro), semmai vi si chiederà di saperne utilizzare le stime in modo accorto. Ma – per capire come la stima si ottenga proprio con la stessa procedura adottata per la retta MQ – accenniamo alla stima di una funzione quadratica, o parabola.

Ricordate la stima della retta? Si cercavano i parametri aYX (intercetta all’origine) e bYX (pendenza) della retta che minimizzano la funzione di danno quadratico: D = (yj - i)

2fij = (yj – aYX – bYX.xi)2fij = minimo.

Alla stessa stregua, per stimare la polinomiale Y=aper stimare la polinomiale Y=aYXYX+b+bYXYX.X+c.X+cYXYX.X.X22 che che meglio si adatta alla nuvola dei punti osservati, è sufficiente stimare i meglio si adatta alla nuvola dei punti osservati, è sufficiente stimare i parametri aparametri aYXYX (intercetta all’origine) b (intercetta all’origine) bYXYX e c e cYXYX della curva che minimizzano della curva che minimizzano la funzione di danno quadratico:la funzione di danno quadratico:

D = D = (y(yjj - - ii))22ffijij = = (y(yjj – a – aYXYX–b–bYXYX.x.xii-c-cYXYX. x. xii

22))2 2 .f.fijij = minimo = minimo

Calcoli intermedi per la stima della parabola

Sappiamo che l’intercetta MQ della retta è pari a aYX=mY–bYXmX e il coefficiente angolare bYX è: 2

2var

cov

xX

XYYX

X

YXYX mm

mmmb

Nel calcolo della retta MQ entravano quindi in gioco, come calcoli intermedi, le me-die delle variabili X, Y, X2, Y2, XY (le solite cinque colonne..)

I coefficienti della parabola MQ hanno allora le seguenti formule:

2

,

,,,

22

222

covvarvar

covcovvarcov

XXXX

XYXXXXY

YXb

2

,

,,,

22

22

covvarvar

covcovvarcov

XXXX

XYXXXXYYXc

E ovviamente

aYX=mY–bYXmX-cYXm2X

Le formule dei due coefficienti di regressione sono speculari tra loro,

con poche inversioni di variabili

Un esempio di calcolo della parabola

Xi Yi Y*i (Yi-Y*i)

20 1,0 0,989 +0,011

22 1,2 1,132 +0,068

25 1,4 1,531 -0,131

28 2,0 2,151 -0,151

30 3,0 2,687 +0,313

33 3,5 3,675 -0,175

35 4,5 4,457 +0,043

37 5,4 5,337 +0,063

40 6,8 6,842 -0,042

28,8 0

Abbiamo tutti i parametri intermedi per stimare la parabola MQ. Chi vuole può verificare calcolo per calcolo che:

Y = a + bx + cx2 = 4,964 – 0,445x + 0,0123x2

I valori teorici stimati sono ora davvero vicini ai valori osservati. Infatti:

0201,0)(

)(var

2

)2(

N

yY i

ii

WP

9945,00055,01)(var

)(var1 )2(2

)2( Y

YR

T

WPYX

Come nella regressione lineare semplice, dal principio di scomposizione della varianza discende l’utilità di una misura di adattamento della interpolante poli-nomiale di ordine k, simile al coefficiente di deter-minazione. Per k=2 si ha:

Terza strategia: interpolare una funzione nonlineare

Le funzioni polinomiali non sono le uniche che merita interpolare nei dati. Altre funzioni possono ‘fittare’ anche meglio i dati, e prestarsi a migliori interpretazioni. E’ vero però che i modelli polinomiali (tra cui la retta) sono modelli lineari (Ml) (in quanto vi intervengono linearmente i parametri della relazione) additivi (in quanto intervengono solo in forma additiva) e come tali godono delle proprietà di scomposizione della varianza che stanno alla base del metodo di stima ai MQ.

Tuttavia tra i modelli nonlineari dobbiamo distinguere due tipi diversi:

Modelli nonlineari intrinsecamente lineari (Mil) sono quelli ricondu-cibili, mediante trasformazioni opportune delle variabili coinvolte, a funzioni lineari dei parametri di regressione.

Modelli intrinsecamente nonlineari (Mnl) sono quelli in cui non esiste trasformazione che consenta la linearizzazione.

Il vantaggio dei Mil sta proprio nel fatto che essi possono essere linearizzati e su tale trasformata può essere applicata la procedura MQ di calcolo della funzione lineare semplice.

Una procedura in tre passi di interpolazione

L’interpolazione MQ su funzioni non lineari Mil si svolge quindi in tre step:

1. Si trasformano le variabili Y e/o X in modo che la trasformata del modello prescelto sia lineare.

2. Si stimano i parametri MQ a partire dai dati linearizzati. L’interpolante così stimata gode delle proprietà MQ se applicata ai dati trasformati.

3. Si calcola la funzione interpolante nonlineare sui dati originari, me-diante la regola di trasformazione inversa.

Ma attenzione!!

I parametri stimati per le relazioni originali (passo 3) non godono delle proprietà MQ (che valgono solo per le relazioni linea-rizzate del passo 2). Pertanto per valutare il grado di adattamento del modello occorrerà passare attraverso la varianza residua intorno all’interpolante teorica.

Esempi di funzioni Mil:

Esponenziale: y=aebx

Logaritmica: y=a+blogx

Iperbolica: y=x/(ax+b)

Logistica: y=ea+bx/(1+ea+bx)

Modelli non lineari linearizzabili

Nome Modello Trasformazione linearizzante

Forma lineare corrispondente

Trasformazione inversa

Esponenziale

Logaritmica

Iperbo lica

Logisti ca

aA

yy

log

log

bxaey bxAy

A

y

ea

ey

*

xbay log xx log bxay

xex

axb

xy

y

x

y

x1

1

bxay

y

x

y

x1

1

bxa

bxa

e

ey

1 y

yy

1log bxay

y

y

e

ey1

Ecco quattro modelli non lineari linearizzabili. In giallo il modello. In grigio la trasformazione linearizzante (passo 1). In rosa la forma lineare corrispondente, su cui si stima la retta MQ (passo 2). In azzurro le trasformazioni inverse con le quali si risale alla funzione interpolante.

Un esempio di interpolazione esponenziale

Sui soliti dati reddito-età interpoliamo una funzione esponenziale y=aebx. PASSO 1: Per prima cosa operiamo la trasformazione: y*=logy. PASSO 2: Sulle coppie di coordinate (xi,y*i) stimiamo la relazione lineare

y*° = A+bx = -2,047+0,100334x (R2 =0,996)PASSO 3: con la trasformata inversa y°=ey*° risaliamo all’esponenziale:

y° = e-2,047+0,100334x = e-2,047.e0,100334x = = 0,0817.e0,100574x

xi yi y*i=logy y*°i y°i=exp(y*°i) yi - y°i

20 1,0 0 -0,040 0,961 +0,039

22 1,2 0,182 0,161 1,174 +0,026

25 1,4 0,336 0,462 1,587 -0,187

28 2,0 0,693 0,763 2,144 -0,144

30 3,0 1,099 0,963 2,621 +0,379

33 3,5 1,253 1,264 3,541 -0,041

35 4,5 1,504 1,465 4,328 +0,172

37 5,4 1,686 1,666 5,290 +0,110

40 6,8 1,917 1,967 7,147 -0,347

La somma ponderata dei quadrati dei residui misura la varianza residua:

(yi-y°i)2/N=VW=0,0407

Si noti che VWR/VY = 0,0407/3,682 =

= 0,011 1- R2 = 0,009

Il problema della ecological fallacy

Un ultimo, intrigante, problema. A lungo le scienze sociali si sono cullate nell’illusione che per stimare una relazione tra due varia-bili individuali, per es. tra reddito e consu-mo, fosse sufficiente calcolare analogo coef-ficiente di correlazionecorrelazione detta ecologicaecologica cioè tra indicatori aggregati (reddito e con-sumo di differenti paesi, o regioni, o altra aggregazione in un’analisi cross section).

La risposta che si da l’econometrica (Klein, 1946) è che la consistenza tra relazioni (blu) micro e relazioni (verdi) macro si realizza solo in casi improbabili (tutte le funzioni di aggregazione (rosse) lineari additive), così che la relazione aggregata va ritenuta la relazione aggregata va ritenuta “contesto-dipendente”“contesto-dipendente”.

Explanans individuali

Explananda individuali

Explananda aggregati

Explanans aggregati

??

?

Tra i coefficienti di correlazione eco-logica e individuale esiste una rela-rela-zione analiticazione analitica precisa. Detta Z la terza variabile (territori, gruppi) che classifica l’appartenenza dei singoli, Blalock (1964) mostra che:

yxWGyzxzyxBGyzxzyxT )1()1( 22 Correlazione individuale e ecolo-Correlazione individuale e ecolo-gica coincidono solo se c’è gica coincidono solo se c’è totale omogeneità entro i totale omogeneità entro i gruppi.gruppi.

Una simulazione

X Y Z

1 3 A

2 2 A

3 1 A

3 5 B

4 4 B

5 3 B

5 7 C

6 6 C

7 5 C

Facciamo un esempio ridotto all’osso. Non serve da-re un significato a X, Y e Z: basta pensare Z come indicatore di contesto. L’ellissoide blu mette in evi-denza una buona correlazione positiva tra X e Y su tutta la popolazione disaggregata: YXT=0,60.

0

2

4

6

8

0 2 4 6 8

Analizziamo ora non i dati ‘micro’ ma le loro aggregazioni secondo le mo-dalità di Z. La correlazione ecologica è ora perfetta: YXB=1,00.

Z X Y

A 2 2

B 4 4

C 6 6

0

2

4

6

8

0 2 4 6 8

Ma se studiamo la relazione tra X e Y en-tro ogni singolo contesto le tre ellissi ver-di mostrano perfette correlazioni negati-ve: YX

(A)=YX(B)=YX

(C)=-1! I rapporti di dipendenza di Pearson (2

YZ=0,8= 2XZ)

evidenziano la stretta dipendenza di X e Y dal contesto. Se stimiamo la correlazione ‘entro’ (YXW) come media ponderata del-le correlazioni trovate nei singoli contesti, l‘identità di Blalock trova piena conferma:

60,012,02,018,08,0)1()1( 22 yxWGyzxzyxBGyzxzyxT

Diffidare di regressioni cross-section

Il termine ecological fallacy (Robinson, 1950) sottolinea il rischio di sviluppare convincimenti (e politiche) a partire da presunte relazioni tra attributi ascritti agli individui e loro comportamenti, calcolate con correlazioni ecologiche. Per esempio (mostrava Robinson) la correlazione tra tassi di analfabetismo e di popolazione di colore calcolata sulle 9 grandi ripartizioni degli USA era 0,95, calcolata sui 48 States scendeva a 0,77, mentre la correlazione individuale era stimata a 0,20..

Noi sappiamo che il coefficiente di correlazione risente della dimensione della popo-lazione studiata. Ma l’effetto dimensione non può spiegare la inversione del segno della correlazione passando dal livello ecologico a quello aggregato. E questo è quel che può avvenire, non solo in esempi costruiti a tavolino.

Esempio. Per spiegare il paradosso di una fecondità più bassa nei paesi mediterranei a famiglia tradizionale, e più alta nei paesi nordeuropei con modelli familiari più indeboliti, McDonald (2000) rileva l’esistenza di una correlazione positiva tra tassi di fecondità nazionali e grado di equilibrio di potere nei rapporti di genere. Ma indagini Survey entro i singoli paesi mostrano in genere come siano proprio le coppie più “sbilanciate” in senso tradizionale ad avere più figli. Dunque a una correlazione ecologica positiva fanno da contraltare correlazioni individuali negative.

Morale:Morale: diffidiamo

sempre di faciliinterpretazioni

tratte da analisi ‘ecologiche’ o

cross-section!!