1

Il metodo dei minimi quadrati

Molto spesso due grandezze fisiche x e y , misurabili direttamente, sono legate tra loro da una legge del tipo:

Dove A e B sono costanti

(ad esempio in un moto uniformemente accelerato la velocita` v e` una funzione lineare del tempo t : dove a e` l’accelerazione costante)

Misurando N diversi valori x1,x2,….xN e i corrispondenti y1,y2,…yN a causa delle incertezza sempre presenti i punti (xi,yi) cadranno in prossimita` alla retta che descrive la relazione tra le due grandezze fisiche

€

y = A + Bx

€

v = vo + at

2

I punti (xi,yi) cadono vicino alla retta che descrive la relazione lineare tra x e y

Siano x e y in relazione lineare⇒ trovare la linea retta che meglio si adatta alle misure ossia trovare la miglior stima per le costanti A e B basandoci sui dati (xi,yi). Il metodo analitico che permette di determinare la “migliore” linea retta che interpola una serie di punti sperimentali e` chiamato regressione lineare o metodo dei minimi quadrati applicato all’interpolazione di una retta.

Ipotesi: 1) gli errori nelle misure della grandezza x siano trascurabili rispetto a quelli relativi alla grandezza y (x e` misurata in maniera molto piu` precisa di y)

2) le N misure di y abbiano la stessa precisione ossia le misure yi siano governate da una distribuzione di Gauss con lo stesso errore quadratico medio σy.

3

Se conoscessimo A e B allora ∀ xi potremmo calcolare il valore “vero” del corrispondente yi

*

La probabilita` di ottenere il valore osservato yi e`

e la probabilita` di ottenere l’insieme di misure y1,…. yN e` il prodotto (se le yi misure sono indipendenti)

dove l’esponente

€

yi* = A + Bxi

€

P(yi)∝1σ y

e−(yi −A−Bxi )2 / 2σ y

2

€

P(y1,.....yN ) = P(y1).....P(yN )∝1σ y

N e−χ 2 / 2

€

χ 2 =(yi − A − Bxi)

2

σ y2

i=1

N

∑

4

Le migliori stime per le costanti incognite A e B sono quei valori per cui la probabilita` P(y1,…yN) e` massima ossia la somma dei quadrati χ2 e` minima. Per trovare questi valori differenziamo χ2 rispetto ad A e B e poniamo le derivate uguali a zero:

Queste due equazioni possono essere cosi` riscritte

Da cui si ottengono le costanti A e B

€

∂χ 2

∂A=−2σ y2 (yi − A − Bxi) = 0i=1

N

∑

∂χ 2

∂B=−2σ y2 xi(yi − A − Bxi) = 0i=1

N

∑

€

AN + B xi∑ = yi∑A xi∑ + B xi

2∑ = xi∑ yiEquazioni normali

€

A =xi2 yi − xi∑ xiyi∑∑∑

Δ

B =N xiyi∑ − xi∑ yi∑

ΔDove

€

Δ = N xi2∑ − xi∑( )

2

5

La retta risultante che ha come intercetta sull’asse delle Y A e come coefficiente angolare B, parametri determinati con i dati sperimentali di x e y e` detta retta dei minimi quadrati o retta di regressione di y in x.

Quali sono le incertezze in queste stime?

• Incertezza nella misura di y

La misura di ogni yi e` distribuita attorno al suo valore vero A+Bxi secondo una distribuzione gaussiana (ipotesi) con σy parametro che ne rappresenta la larghezza , cosi` pure gli scarti yi-A-Bxi sono distribuiti attorno a zero con la stessa larghezza σy. Una buona stima di σy e` quindi

Ovviamente nella formula precedente sostituiamo alle costanti teoriche A e B le nostre migliori stime ottenute dai dati sperimentali, si puo` dimostrare che in questo caso il valore di σy si ottiene dividendo per N-2 anziche` per N

Una stima indipendente dell’incertezza delle yi dovrebbe essere in accordo con quanto calcolato con la formula precedente

€

σ y =1N

yi − A − Bxi( )2∑

€

σ y =1

N − 2yi − A − Bxi( )2∑

6

Alcune considerazioni sul significato di σy

Rappresenta la distanza media dei punti dalla retta di interpolazione. Se σy e` circa uguale all’incertezza attesa dy, i dati sono consistenti con la relazione lineare stabilita se invece σy e` molto piu` grande di dy ci sono motivi per dubitare della relazione lineare da cui dovrebbero essere legate le variabili x e y

7

•  Incertezze sulle costanti A e B

A e B sono costanti ricavate dai dati sperimentali e quindi le incertezze su A e B sono date dalla propagazione degli errori in termini di σy

e

I risultati qui ottenuti derivano dall’ipotesi che le misure di y abbiano tutte la stessa incertezza σy e che le incertezze delle misure di x siano trascurabili

Se non si verificano queste ipotesi e ad esempio le incertezze sulle misure di y non sono tutte uguali si puo` ricorrere al metodo dei minimi quadrati pesati

Supponiamo quindi che le yi abbiano errori quadratici medi σyi diversi tra loro in tal caso

wi=1 /σyi2

€

σA =σ y

xi2∑

Δ

€

σB =σ yNΔ

€

Δ = N xi2∑ − xi∑( )

2

8

€

A =ω ixi

2 ω iyi − ω ixi ω ixiyi∑∑∑∑Δ

B =ω i ω ixiyi∑ − ω ixi∑ ω iyi∑∑

Δ

Δ = ω i∑ ω ixi2 − ω ixi∑( )∑

2

σA =ω ixi

2∑Δ

σB =ω i∑Δ

Metodo dei minimi quadrati pesato per una retta y=A+Bx

9

Quando anche le misure di x hanno un errore non trascurabile e` possibile con opportuni criteri tenere conto degli errori su x aumentando opportunamente gli errori della y

Se abbiamo a che fare con due grandezze x e y legate tra di loro da una realzione di tipo non lineare, tale realzione puo` in molti casi essere facilmente linearizzata mediante semplici cambiamenti di variabili. Alcuni esempi:

€

y = A + Bxh Se h e` nota possiamo porre xh=v e y=u ottenendo cosi` u=A+Bv

€

y = Bxh Ove h deve essere determinata possiamo porre u=logy, v=logx e a=log B e b=h ottenendo cosi` u=a+bv

€

y = AeBx Dobbiamo determinare A e B. Poniamo u=logy, v=x e a= B e b=logA ottenendo cosi` u=a+bv

La conversione da non lineare a lineare e` spesso di utilita` non solo per poter applicare l’adattamento coi minimi quadrati ma anche per verificare facilmente per via grafica la relazione fra le due grandezze fisiche

10

Abbiamo fin qui trattato il caso di due varibili che soddisfano una relazione lineare y=A+Bx ed abbiamo visto come calcolare le costanti A e B. Questo e` un caso particolare ma anche molti altri casi in cui la relazione non sia lineare possono essere risolti in modo simile.Ad esempio:

y=A+Bx+Cx2+….+ Hxn

Le costanti A B C …e H possono essere calcolate in maniera del tutto analoga a quanto abbiamo visto finora per il caso di una retta

Nel caso di regressione multipla ossia ad esempio

z=A+Bx+Cy

Il problema puo` essere analizzato attraverso una generalizzazione diretta del caso a due variabili

Attenzione alle ipotesi fatte. Se vogliamo linerizzare ad esempio la funzione y=Bex usando il cambiamento di variabile come descritto sopra e` da tener presente che se i valori misurati yi sono tutti ugualmente incerti i valori ui=log yi non lo sono. Infatti

€

σ u =dudyσ y =

σ y

ySe σy e` lo stesso per tutte le misure σu invece cresce quando yi decresce

11

Coefficiente di correlazione lineare

Per stabilire in che misura un insieme di coppie di due variabili (x1,y1),…(xN,yN) soddisfino una relazione lineare della forma

y=A+Bx

si introduce il coefficiente di correlazione lineare che e` un parametro adimensionale di valore compreso tra -1 e +1.

Introduciamo le medie e le variazioni degli N valori di xi e yi nel modo seguente:

La misura in cui un insieme di punti (x1,y1),…., (xN,yN) soddisfano l’ipotesi di una relazione lineare tra x e y e` quantificata dal coefficiente di correlazione lineare

€

x = 1N

xii∑

Var(x) =xi − x ( )2

i∑

N=

xi2

i∑

N− x 2 e analogamente per la y

€

e la covarianza

σ xy =1N

xi − x ( )i∑ yi − y ( )

se le misure di x e y sono indipendenti allora la covarianza tende a 0

€

r =σ xy

σ xσ y

=xi − x ( ) yi − y ( )

i∑

xi − x ( )2 yi − y ( )2

i∑

i∑

il numero -1≤ r ≤1 e` un indice di quanto bene i punti (xi,yi)si adattano ad una retta.

12

Se dopo un numero finito di misure il coefficiente di correlazione e` piccolo allora si potra` concludere che x e y sono NON correlate

Ma come possiamo decidere oggettivamente che cosa e` grande o che cosa e` piccolo?

Si puo` calcolare la probabilita` che r sia piu` grande di qualche valore specifico

E` possibile calcolare la probabilita` che N misure di due variabili NON correlate x e y diano un coeff. r >ro

Il calcolo di P non e` semplice per cui risulta piu` pratico controllare su delle tabelle a quale probabilita` corrisponde un coefficiente di correlazione maggiore di ro

€

PN r ≥ r0( )

ro N

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

3 6 10 20 50

100100 100 100 100

94 85 78 67 49

87 70 58 40 16

81 56 40 20 3

74 43 25 8 0.4

67 31 14 2

59 21 7 0.5

51 12 2 0.1

41 6 0.5

29 1

0.0 0.0 0.0 0.0 0.0

In tabella: probabilita` che N misure di due variabili NON correlate x e y diano un coefficiente di correlazione con |r|≥ro. I valori di probabilita` sono in % e gli spazi vuoti indicano valori inferiori allo 0.05%. Una correlazione e` “altamente significativa” se la probabilita` corrispondente e` minore dell’1%

13

Esiste una correlazione tra intercetta e pendenza della retta, ad esempio se tutti gli xi e yi sono positivi e se all’aumentare della pendenza diminuisce l’intercetta e viceversa allora la correlazione tra i due parametri e` in questo caso negativa. Se si assume che le misure yi siano tra di loro indipendenti

La covarianza cov(A,B) e` definita come:

e il coefficiente di correlazione uguale :

€

cov(A,B) =σ y2

− xii=1

N

∑

N xi

2 − xii=1

N

∑%

& '

(

) *

2

i=1

N

∑

€

ρ(A,B) =

− xii=1

N

∑

N x12

i=1

N

∑

NB: il coef. di correlazione in questo caso non dipende in alcun modo da y, ma solo dai valori di x questo implica che per ottenere due valori scorrelati della pendenza e dell’intercetta della retta basta fare delle misure simmetriche intorno all’origine delle coordinate (ρ=0)

Se il fit ci fornisce un valore di B maggiore di quello vero allora il valore di A risultera` molto probabilmente minore di quello vero: tra i due parametri esistera` una correlazione di tipo negativo

14

Correlazione tra pendenza e intercetta : all’aumentare della pendenza l’intercetta decresce, la correlazione tra i due parametri e` negativa

15

Le differenze tra i valori delle yi e il valore della y sulla retta interpolante in corrispondenza dell’ascissa xi sono dette residui

€

δi = yi − y i = yi − A + Bxi( )

€

il valore medio di

δ =1N

δii∑ =1N

(yi − y ) − B(xi − x )[ ]i∑ = 0

l'andamento dei residui δi in funzione della x ci permette di stabilire se ci sia effettivamente un relazione lineare tra x e y oppure y = f(x) piu` complessa

Test dei residui

Se la relazione ipotizzata per descrivere i dati e` corretta i residui devono essere positivi o negativi in modo casuale . Per evidenziare ad esempio una leggera deviazione da un andamento lineare (per esempio una leggera concavita` verso l’alto) il grafico dei residui risulta molto sensibile come mostrano le due figure

δ

0

δ

0

16

Esempio di analisi dati

Calibrazione del potenziometro di una cassetta

Posizione Resistenza [Ω] f.s.[Ω] Errore max [Ω] dev. standard [Ω]

10 177 600 0.6 0.3

50 200 600 1.1 0.6

100 240 600 1.5 0.5

…..

Fit lineare y = 1.6948 + 0.55757x R= 0.98752

A=….+- B=….+- σy=….+- ρ(A,B)

17

Le barre di errore sono σy

Se i residui sono regolarmente disposti attorno a zero

Il fit lineare è corretto e si puo` procedere

A=….+- B=….+- σy=….+- ρ(A,B)=…… Attenzione a riportare correttamente il numero di cifre. Con l’equazione della retta si possono calcolare valori di y non noti e attribuire a questi valori il loro errore

€

σ y2 = x 2σB

2 +σA2 + 2xσ AσBρ(A,B)