Metodi di regressione multivariata - dipbsf.uninsubria.itdipbsf.uninsubria.it/qsar/education/Mat...

Metodi di regressione multivariataMetodi di regressione multivariata

Modellamento dei datiModellamento dei dati perper risposterisposte quantitativequantitative

II metodi di regressione multivariata sono strumenti utilizzatimetodi di regressione multivariata sono strumenti utilizzatiperper ricercare relazioni funzionaliricercare relazioni funzionali quantitativequantitative tra un insieme ditra un insieme dipp variabilivariabili xx11, x, x22, ...,, ..., xxpp che descrivono gli oggetti studiatiche descrivono gli oggetti studiati ee un un insieme di risposteinsieme di risposte yy misuratemisurate perper gli stessi oggettigli stessi oggetti..

ObiettivoObiettivo èè trovare untrovare un modello inmodello in grado di predire le grado di predire le risposterisposte perper nuovi oggetti sullanuovi oggetti sulla basebase dell’informazionedell’informazionedatadata dalle variabili indipendentidalle variabili indipendenti..


SeSe sisi haha una sola rispostauna sola risposta y,y, ilil modellomodello di regressione di regressione multivariatomultivariato è inè in generalegenerale::

y = f (y = f (xx11,, xx22, ...,, ..., xxpp))

OccorreOccorre ::

•• stabilire il tipo distabilire il tipo di modellomodello

•• stimarestimare ii parametri delparametri del modello (fitting)modello (fitting)

•• valutare l’attendibilità delle predizioni delvalutare l’attendibilità delle predizioni del modellomodello


Esempio di relazione funzionaleEsempio di relazione funzionale ((superficie di rispostasuperficie di risposta))teoricateorica ::


Caratteristiche della superficie di risposta nel dominio Caratteristiche della superficie di risposta nel dominio sperimentalesperimentale ::


Modello lineareModello lineare della superficie di rispostadella superficie di risposta ::


Ordine di unOrdine di un modello:modello: il valore della potenza più grande il valore della potenza più grande delle variabili indipendentidelle variabili indipendenti..

ModelloModello di primo ordinedi primo ordine: : modello inmodello in cui gli esponenti cui gli esponenti delle variabili indipendenti sono ugualidelle variabili indipendenti sono uguali adad unouno..

Esempio :

y = + ⋅ = + + + +=∑b b x b b x b x b xj jj

p

p p01

0 1 1 2 2 K


Modello lineareModello lineare nei parametrinei parametri: la: la rispostarisposta èè una una combinazionecombinazione linearelineare delle variabili indipendentidelle variabili indipendenti. I. I parametri parametri deldel modello nonmodello non sonosono aa loro volta una funzione della loro volta una funzione della rispostarisposta,, sono dei semplici coefficienti moltiplicativisono dei semplici coefficienti moltiplicativi,, inoltreinoltre èèpresente unpresente un solosolo coefficientecoefficiente inin ogni termine additivoogni termine additivo..

y xi o i= +β β1 1EsempiEsempi ::

y x xi o i i= + +β β β1 1 11 12

y x x x xi o i i i i= + + + ⋅β β β β1 1 2 2 12 1 2


ModelloModello additivoadditivo: modello in: modello in cui tutte le variabili hanno un cui tutte le variabili hanno un effetto additivo sulla rispostaeffetto additivo sulla risposta..

y x x x xj j jk j k jj j= + + + +∑ ∑ ∑β β β β ε02

II coefficienticoefficienti ββjkjk del prodotto del prodotto incrociatoincrociato stimano lstimano l’’effetto di effetto di interazione interazione didi duedue variabili variabili sulla rispostasulla risposta..

II coefficienticoefficienti ββjjjj deideiterminitermini quadraticiquadraticistimano l'stimano l'effettoeffettononnon--linearelineare delle delle variabili sulla variabili sulla rispostarisposta..

Il Il termine costantetermine costante ββ0 0 èè lalastima della risposta stima della risposta quando tutte le variabili quando tutte le variabili assumono valoreassumono valore zero.zero.

II coefficienticoefficienti ββjj deidei terminitermini lineari lineari stimanostimano lala dipendenzadipendenza linearelineare della della risposta dalle corrispondenti risposta dalle corrispondenti variabilivariabili ((effetti principalieffetti principali). ).

LaLa somma dell’effetto principalesomma dell’effetto principale,, degli effetti di interazionedegli effetti di interazione ee degli effettidegli effetti nonnon--lineari definisce l’influenza complessiva della variabile sulla lineari definisce l’influenza complessiva della variabile sulla rispostarisposta..


ModelloModello verovero nonnon notonoto

yyii = f (= f (ββ00, , ββ11, ..., , ..., ββpp, x, x11,, xx22, ...,, ..., xxpp) + ) + εεii

y :y : variabile dipendentevariabile dipendente,,risposta

x :x : variabili indipendentivariabili indipendenti,,descrittoridescrittori,, predittori rispostapredittori

misura sperimentale del misura sperimentale del fenomeno studiatofenomeno studiato

causecause del fenomeno del fenomeno studiatostudiato

ModelloModello stimatostimatoyyii = f (= f (bb00, b, b11, ...,, ..., bbpp, x, x11,, xx22, ...,, ..., xxpp) +) + eeii


X0

11 12 1

21 22 2

1 2

=

x x xx x x

x x x

p

p

n n np

K

K

K K K K

K K K K

K

Matrice dei datiMatrice dei dati

Matrice delMatrice del modellomodello((contiene tante colonne quanti sonocontiene tante colonne quanti sono ii parametri delparametri del modello, modello, pp’)’)

XMod

p

p

n n np n n n n

x x x x x x xx x x x x x x

x x x x x x x

=

11

1

11 12 1 112

122

11 12

21 22 2 212

222

21 22

1 2 12

22

1 2

K K

K K

K K K K

K K K K

K K


MODELLIMODELLIMODELLI

descrizionedescrizione predizionepredizione

fittingfitting validationvalidation


Fitting :Fitting : Processo di stima dei parametri delProcesso di stima dei parametri del modello.modello.Le stime dei parametri sono ricercateLe stime dei parametri sono ricercate ininmodomodo taletale da massimizzare l’accordo tra le da massimizzare l’accordo tra le risposte osservaterisposte osservate ee quelle corrispondenti quelle corrispondenti calcolate dalcalcolate dal modello.modello.

Processo di valutazione della effettiva Processo di valutazione della effettiva capacità di predizione delcapacità di predizione del modello.

ValidazioneValidazione ::modello.


II parametriparametri ββ deldel modellomodello vengono stimativengono stimati in basein base agli agli esperimenti effettuatiesperimenti effettuati oo ai dati disponibili utilizzando un metodo ai dati disponibili utilizzando un metodo di regressionedi regressione..

Il numero minimo di esperimentiIl numero minimo di esperimenti ((oggettioggetti) per) per stimarestimare iiparametriparametri ββ èè ugualeuguale alal numero di parametri delnumero di parametri del modello.modello.

AdAd esempioesempio, per, per unun modello lineare admodello lineare ad una variabileuna variabile xx11,,occorrono almenooccorrono almeno 22 esperimentiesperimenti::

y xi o i i= + +β β ε1 1

Regressione MultiplaRegressione Multipla Lineare (MLR)Lineare (MLR)

Metodo dei minimi quadratiOrdinary Least Squares - O L S -

Metodo dei minimi quadratiMetodo dei minimi quadratiOrdinary Least Squares Ordinary Least Squares -- O L S O L S --

Modello lineareModello lineare teoricoteorico::

y X= +β ε(n, 1) = (n, p’) (p’, 1) + (n, 1)(n, 1) = (n, p’) (p’, 1) + (n, 1)

yy vettore delle rispostevettore delle risposteXX matrice delmatrice del modellomodelloββ vettore dei parametri veri delvettore dei parametri veri del modello (modello (coefficienti di coefficienti di

regressioneregressione))εε vettore degli errorivettore degli errori


Ordinary Least Squares- O L S -

Ordinary Least SquaresOrdinary Least Squares-- O L S O L S --

Il metodo di regressione dei minimi quadratiIl metodo di regressione dei minimi quadrati (OLS) è(OLS) è un un metodo di stima dei parametri delmetodo di stima dei parametri del modellomodello di tipodi tipounbiasedunbiased,, cioè il valore medio delle stime dei parametricioè il valore medio delle stime dei parametricoincide concoincide con il loro valore veroil loro valore vero..


Le stime bLe stime bjj dei parametri deldei parametri del modellomodello calcolate dal metodocalcolate dal metodoOLSOLS sono quelle che minimizzano lo scarto quadratico tra le sono quelle che minimizzano lo scarto quadratico tra le risposte osservaterisposte osservate ee quelle calcolate dalquelle calcolate dal modello permodello per tutti gli tutti gli oggetti deloggetti del training set.training set.

Il metodoIl metodo OLSOLS minimizzaminimizza lala seguente quantitàseguente quantità::

min min $RSS y yi ii

n

a f a f= −FHG

IKJ=

∑ 2

1

risposta osservatarisposta osservataResidual Sum of SquaresResidual Sum of Squares

risposta calcolatarisposta calcolata


Soluzione algebricaSoluzione algebrica perper determinare il vettore delle stimedeterminare il vettore delle stime bbdei coefficienti di regressionedei coefficienti di regressione ::

y Xb

X y X Xb

X X X y X X X Xb

T T

T T T T

=

=

=− −c h c h1 1

X X X X IT 1 Tc h− =poichèpoichè ::

b X X X yT 1 TOLS =

−c h(p’, 1) = (p’, p’) (p’, n) (n, 1)(p’, 1) = (p’, p’) (p’, n) (n, 1)


Una volta stimato il vettoreUna volta stimato il vettore bb dei coefficienti di dei coefficienti di regressioneregressione,, le risposte calcolate sono ottenute dale risposte calcolate sono ottenute da::

$y Xb= OLS

.... e.... e il vettoreil vettore ee delle stime degli erroridelle stime degli errori ((residuiresidui)) dada::

e y y= −$


EsempioEsempio

calibrationcalibrationmodelmodel

sample sample preparationpreparation

signal signal measuremeasure

?

inverseinversepredictionprediction

10

20

30

40

50

60

0.1 0.2 0.3 0.4

[C] = 0.28

Condizioni di applicabilità del metodoCondizioni di applicabilità del metodo OLSOLSII coefficienti di regressionecoefficienti di regressione ββ possono assumere possono assumere qualunque valorequalunque valore. .

IlIl modellomodello di regressionedi regressione è lineareè lineare nei parametrinei parametri..

LaLa matrice delmatrice del modello Xmodello X deve avere rango ugualedeve avere rango uguale a a p’p’..

II residuiresidui ((errorierrori) ) εεii sono variabilisono variabili random con mediarandom con mediaugualeuguale 0 e0 e varianzavarianza σσ22 : : N(0; N(0; σσ22))..

II residuiresidui εεii sono variabilisono variabili randomrandom indipendentiindipendenti conconcovarianzacovarianza ((εεii , , εεjj ) ) ≈≈ 0, per0, per ogniogni i i ≠≠ j.j.

TuttiTutti ii residuiresidui εεii hannohanno lala stessa varianzastessa varianza σσ22..


OmoscedasticitàOmoscedasticitàestimated model:

y = b0 + b1 . x

Regressione MultiplaRegressione Multipla Lineare (MLR)

Nota beneNota bene : i: i valori dei coefficienti di regressione stimativalori dei coefficienti di regressione stimati bbdipendono dalla scala di misura delle variabilidipendono dalla scala di misura delle variabili x.x.

Coefficienti di regressione standardizzatiCoefficienti di regressione standardizzati bb** ::

b bssj jj

y

* = ⋅

ssyy ee ssjj sono rispettivamente le deviazionisono rispettivamente le deviazioni standardstandard della della rispostarisposta ee delladella jj--esimaesima variabilevariabile..

Lineare (MLR)

II coefficienti di regressione standardizzati rappresentanocoefficienti di regressione standardizzati rappresentano lalavera importanza delle variabili nelvera importanza delle variabili nel modellomodello..


Qualità dello stimatoreQualità dello stimatore b

LaLa varianza del vettorevarianza del vettore bb dei coefficienti di regressionedei coefficienti di regressioneèè una misura della stabilità deluna misura della stabilità del modello.modello.

V trjj

p

b X XTOLSa f c h= ⋅ = ⋅−

=∑σ σ

λ2 1 2

1

1

errore sperimentaleerrore sperimentale

b

errore delerrore del modellomodello

autovalori della matriceautovalori della matrice XXTTXX


Qualità dello stimatoreQualità dello stimatore bb

X XTd i−1 Matrice di dispersioneMatrice di dispersione : i: i suoi elementi suoi elementi diagonalidiagonali ((coefficienti di variazionecoefficienti di variazione,, ddjjjj))misurano l’incertezza sui parametri delmisurano l’incertezza sui parametri delmodello.modello.

var b djjjd h = ⋅ σ2

PerPer un buonun buon modello (stabile) :modello (stabile) : tuttitutti ii coefficienti di coefficienti di variazione devono essere ugualivariazione devono essere uguali ee minimiminimi;; gli elementigli elementi nonnondiagonali della matrice di dispersione devono essere nullidiagonali della matrice di dispersione devono essere nulli..



σ2 L’L’errore sperimentaleerrore sperimentale è laè la variazione prodotta variazione prodotta

sulla risposta sperimentale da fattori di sulla risposta sperimentale da fattori di

perturbazioneperturbazione, , conosciuti conosciuti o o sconosciutisconosciuti..

Se non èSe non è notonoto a priori,a priori, l'errore sperimentale può essere l'errore sperimentale può essere stimato effettuando alcune repliche dello stesso stimato effettuando alcune repliche dello stesso esperimentoesperimento..



Assumendo che l'errore sperimentale sia costante nel Assumendo che l'errore sperimentale sia costante nel dominio sperimentaledominio sperimentale,, replicando esperimenti diversireplicando esperimenti diversi,,l'errore sperimentale può essere stimato dal'errore sperimentale può essere stimato da::

s r s r s r sr r re

n n

n

=− ⋅ + − ⋅ + + − ⋅

− + − + + −1 1

22 2

2 2

1 2

1 1 11 1 1

a f a f a fa f a f a f

K

K

sy y

ri

ik ik

r

i

i

2

2

1

1=

−

−=∑ b g



InIn tuttitutti ii casicasi inin cui sicui si assumeassume che ilche il modellomodello descriva descriva adeguatamenteadeguatamente lala rispostarisposta,, l'errore sperimentale può essere l'errore sperimentale può essere stimato dalla somma dei quadrati dei residuistimato dalla somma dei quadrati dei residui, come, come erroreerrorestandardstandard della stimadella stima::

s R S Sn p

=− '



Nota beneNota bene: : sese l’errore sperimentalel’errore sperimentale èè notonoto a priori,a priori, ancoraancora primaprima di di realizzare gli esperimentirealizzare gli esperimenti, è, è possibile valutarepossibile valutare sese ililmodello finalemodello finale saràsarà stabilestabile oppureoppure no!no!


Intervallo di confidenza dei coefficienti di regressioneIntervallo di confidenza dei coefficienti di regressione

b t V b b t s dj n p j j n pjj± ⋅ = ± ⋅ ⋅− −α α; '

/; 'c h 1 2

VV((bbjj) è la) è la varianza delvarianza del jj--esimoesimo coefficientecoefficiente

ttαα; n; n--pp’’ èè il valore critico dellail valore critico della tt didi Student, alStudent, al livello di livello di significativitsignificativitàà αα e con e con n n -- pp’’ gradi di libertgradi di libertàà

ss èè ll’’erroreerrore standardstandard della stimadella stima

ddjjjj èè ilil jj--esimoesimo elemento diagonale della matriceelemento diagonale della matrice (X(XTTX)X)--11


Qualità delle stime delle risposteQualità delle stime delle risposte

LaLa qualità delle stime delle rispostequalità delle stime delle risposte èè definita dalla loro definita dalla loro varianzavarianza::

var $y hi i i iic h d i= ⋅ ⋅ ⋅ ⋅ = ⋅−

x X X xTT 1 2 2σ σ

Tanto più grandeTanto più grande è laè la varianza di una risposta stimata varianza di una risposta stimata tanto più grandetanto più grande è laè la sua incertezzasua incertezza..

hhiiii èè dettodetto ""leverageleverage"" dell'idell'i--esimo campioneesimo campione o "o "funzione funzione di varianzadi varianza".".


Matrice deiMatrice dei leverage oleverage o matrice dimatrice di influenza influenza HH

b = X X X YT 1 T⋅ ⋅ ⋅−b g$y Xb=

$y X X X X y HyT 1 T= =−c h

H X X X XT 1 T=−c h h x xii i i=

−T T 1X Xc h

(n, n) = (n, p’) (p’, p’) (p’, n) (1, 1) = (1, p’) (p’, p(n, n) = (n, p’) (p’, p’) (p’, n) (1, 1) = (1, p’) (p’, p’) (p’,1)’) (p’,1)

PoichèPoichè ee

…… alloraallora



I leverageI leverage sono gli elementi diagonali della matricesono gli elementi diagonali della matrice HH,,concon le seguenti proprietàle seguenti proprietà::

h p h p n h p niii∑ = ′ = ′ > ′/ /* 3

IlIl leverage èleverage è una misura dell'incertezzauna misura dell'incertezza concon cuicui lele risposte risposte vengono calcolate dalvengono calcolate dal modello.modello.

L'incertezzaL'incertezza èè proporzionale alla distanza di un campione proporzionale alla distanza di un campione dal centro dello spazio definito daldal centro dello spazio definito dal modello. modello.

PerPer un buonun buon modello :modello : ilil leverageleverage deve essere il piùdeve essere il più piccolo piccolo ee bilanciato possibilebilanciato possibile..



xx

yy

puntopunto ad alto leveragead alto leverage

hhiiii > h*> h*


1 1nhii≤ ≤LeverageLeverage degli oggetti deldegli oggetti del training set :training set :


Una sperimentazione oveUna sperimentazione ove i i leverageleverage dei diversi punti dei diversi punti sperimentali sono molto sbilanciati indica una sperimentazione sperimentali sono molto sbilanciati indica una sperimentazione oveove le diversele diverse regioni dello spazio sperimentale sono valutate regioni dello spazio sperimentale sono valutate daldal modello conmodello con precisione molto diversa tra loroprecisione molto diversa tra loro..

IlIl modello non èmodello non è egualmente affidabile nelleegualmente affidabile nelle diversediverseregioni del dominio sperimentaleregioni del dominio sperimentale..



1nhii≤ < ∞LeverageLeverage di nuovi oggettidi nuovi oggetti ::

PerPer campioni il cuicampioni il cui leverageleverage èè molto maggiore dimolto maggiore di 1, non ha1, non hasenso utilizzare ilsenso utilizzare il modello per faremodello per fare delle predizionidelle predizioni..

NonNon significa chesignifica che inin quella regione ilquella regione il modello nonmodello non funzionifunzioni, ma, macheche non vinon vi sono ragioni statistiche fondatesono ragioni statistiche fondate perper ritenere cheritenere che lelestime siano affidabilistime siano affidabili !!


Funzioni diFunzioni di fitnessfitness deldel modellomodello di regressionedi regressione

TSS y yii

n= −

=∑ b g21

Total sum of squares (TSS)Total sum of squares (TSS)

Residual sum of squares (RSS)Residual sum of squares (RSS) RSS y yi ii

n= −

=∑ $c h21

MSS y yii

n= −

=∑ $c h21

Model sum of squares (MSS)Model sum of squares (MSS)



TSS MSS RSS= +

funzione obiettivo da funzione obiettivo da massimizzaremassimizzare

MSSTSS

R RSSTSS

≡ = −2 1

RR22 :: coefficiente di determinazionecoefficiente di determinazione

RR22 x 100 :x 100 : percentuale di varianza spiegata dalpercentuale di varianza spiegata dal modellomodello

rr or or RR :: coefficiente di correlazione multiplacoefficiente di correlazione multipla

r = 0.90r = 0.90 RR22 = 0.81= 0.81 r = 0.80r = 0.80 RR22 = 0.64= 0.64



Proprietà di RProprietà diProprietà di RR

0 11≤ ≤Ry p,...,a f

R R j py p y j1 0 0 1,..., ,...,a f a f= ⇒ = =

R R R Ry j y j j y j j j y p1 1 2 1 2 3 1a f a f a f a f≤ ≤ ≤ ≤, , , , ,K K



Number of components vs. R2 e Q2

Number of components

��

��

��

��

��

��

��

��

��

��

��

��

�

��

��

��

��

��

��

��

��

��

��

��

��

�

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

�

��

��

��

��

��

��

��

��

��

��

��

��

�

��

��

��

��

��

��

��

��

��

��

��

��

�

��

��

��

��

��

��

��

��

��

��

��

��

�

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

�

��

��

��

��

��

��

��

��

��

��

��

��

�

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10

R2

Q2



Predictive error sum of squares - PRESS -Predictive error sum of squares Predictive error sum of squares -- PRESS PRESS --

risposta predettarisposta predetta perper ll’’oggettooggetto ii--esimoesimo quando questoquando questo èèescluso dalescluso dal modello (modello (tecnica dellatecnica della crosscross--validationvalidation))

PRESS y yi i ii

n

= −=∑ $ /a f21

funzione obiettivo da funzione obiettivo da massimizzaremassimizzare R Q PRESS

TSSCV2 2 1≡ = −



R2 adjustedRR22 adjustedadjusted

R RSS n pTSS n

R nn padj

2 211

1 1 1= −

−−

= − − ⋅−−FHGIKJ

/ '/ 'a f c h


ErroreErrore standardstandard della stimadella stima ss

s RSSn p

=− '

ss22 :: stima dellstima dell’’errore sperimentaleerrore sperimentale σσ22

SDEC RSSn

=Standard Deviation Error in Calculation:Standard Deviation Error in Calculation:

SDEP PRESSn

=Standard Deviation Error in Prediction:Standard Deviation Error in Prediction:


Test F di Fisher in regressioneTest FTest F didi Fisher inFisher in regressioneregressione

IlIl testtest didi FisherFisher vieneviene inin generale utilizzatogenerale utilizzato perper confrontareconfrontareduedue varianzevarianze..InIn regressioneregressione ::

F MSS pRSS n pcalc =

−−

/ '/ '

1a fa f

HH00:: assenza diassenza di modello,modello, tuttitutti ii coefficienti di regressione coefficienti di regressione sono nullisono nulli..

HH11:: almeno un coefficiente di regressionealmeno un coefficiente di regressione èè diverso dadiverso da zero.zero.


ComeCome valutarevalutare lala bontà dell'approssimazione della relazione bontà dell'approssimazione della relazione funzionale trafunzionale tra lala rispostarisposta e lee le variabilivariabili ??

Lack of Fit (LOF)Lack of Fit (LOF)

X1

Y

1 53 X1

Y

1 53

ModelloModello di primodi primo oo secondo ordinesecondo ordine??


SeSe ilil modello èmodello è una buona approssimazione della relazione una buona approssimazione della relazione funzionale verafunzionale vera, i, i residuiresidui (RSS)(RSS) dipendonodipendono solosolo dall'errore dall'errore sperimentalesperimentale. .

F RSS n psn p re

− − =−

a f a fa f

,/

1 2

TEST DI FISHER TEST DI FISHER

Se Se FF >> FFcriticocritico ⇒⇒ ilil modellomodello stimatostimato non è "non è "buonobuono""

Lack of Fit (LOF)Lack of Fit (LOF)


Analisi della varianzaAnalisi della varianza

TSSn

TSSTSSnn

TSSREGn - 1

TSSTSSREGREG

n n -- 11

n :n : numero totale di esperimentinumero totale di esperimenti (con(conreplicherepliche))

p’ :p’ : numero di parametri delnumero di parametri del modellomodello

k :k : numero di esperimenti indipendentinumero di esperimenti indipendenti

n n -- f :f : numero di replichenumero di replicheMean

1MeanMean

11

MSSp - 1MSSMSSp p -

RSSn - p’RSSRSSn n -- p’p’- 11

ERRn - kERRERRn n -- kk

LOFk - p’LOFLOFk k -- p’p’

b0 , b1 ,......

bb0 0 , b, b11 ,,............

AnalysisAnalysis ofof VarianceVariance inin RegressionRegression

Source SS df MS F

Regression SSREG p’ - 1 MSREG MSREG/ MSR

Residual SSR n - p’ MSR

Lack of fit SSLOF k - p’ MSLOF MSLOF/ MSPE

Pure error SSPE n - k MSPE

Total SST n - 1

RSS :RSS : Residual SumResidual Sum ofof SquaresSquares TSS : TotalTSS : Total SumSum ofof SquaresSquares

k:k: levels for replicateslevels for replicates


Esempio di analisi della varianzaEsempio di analisi della varianza

y = by = b00 + b+ b11. . x modelx model

n = 20n = 20 samplessamplesk = 5k = 5 levelslevelsnnii = 4= 4 replicatesreplicates

Source SSSource SS dfdf MS F MS F regression 12447.4 1 12447.5 2109.7 regression 12447.4 1 12447.5 2109.7 residualresidual 106.1 18 5.9106.1 18 5.9total 12553.5 19total 12553.5 19

ANOVAANOVA tabletable

Residual variance decompositionResidual variance decomposition

Source SSSource SS dfdf MS FMS Flack of fit 87.6 3 29.2 24.3 lack of fit 87.6 3 29.2 24.3 pure error 18.5 15 1.2pure error 18.5 15 1.2total res. 106.1 18total res. 106.1 18

F F 1,181,18 (5%) = 4.41(5%) = 4.41

O KK O

lack of fit !lack of fit !

FF3,153,15 (5%) = 3.29(5%) = 3.29


ID x1 x2 x3 x4 x5 y1 15.57 2463 472.9 18 4.45 566.52 44.02 2048 1339.7 9.5 6.92 696.83 20.42 3940 620.3 12.8 4.28 1033.24 18.74 6505 568.3 36.7 3.9 1603.65 49.2 5723 1497.6 35.7 5.5 1611.46 44.92 11520 1365.8 24 4.6 1613.37 55.48 5779 1687 43.3 5.62 1854.28 59.28 5969 1639.9 46.7 5.15 2160.69 94.39 8461 2872.3 78.7 6.18 2305.6

10 128.02 20106 3655.1 180.5 6.15 3503.911 96 13313 2912 60.9 5.88 3571.912 131.42 10771 3921 103.7 4.88 3741.413 127.21 15543 3865.7 126.8 5.5 4026.514 252.9 36194 7684.1 157.7 7 10343.815 409.2 34703 12446.3 169.4 10.78 11732.216 463.7 39204 14098.4 331.4 7.05 15414.917 510.22 86533 15524 371.6 6.35 18854.4

1717 oggetti descritti daoggetti descritti da 55 variabilivariabili e 1e 1 rispostarisposta..

Esempio di analisi di regressioneEsempio di analisi di regressione

Matrice di correlazioneMatrice di correlazione

x1 x2 x3 x4 x5

x1 1 0.9074 0.9999 0.9357 0.6712

x2 0.9074 1 0.9071 0.9105 0.4466

x3 0.9999 0.9071 1 0.9332 0.6711

x4 0.9357 0.9105 0.9332 1 0.4629

x5 0.6712 0.4466 0.6711 0.4629 1

AutovaloriAutovalori della matrice di correlazionedella matrice di correlazione

Eigenvalues 1 2 3 4 5Value 4.1971 0.6675 0.0946 0.0407 0.0001% of variability 0.8394 0.1335 0.0189 0.0081 0.0000Cumulative % 0.8394 0.9729 0.9918 1.0000 1.0000

Risultati della regressione dei minimi quadrati (OLS)Risultati della regressione dei minimi quadrati (OLS)

ModelloModello sceltoscelto : lineare: lineare di primo ordinedi primo ordine

n = 17n = 17 p’ = 5+1p’ = 5+1 FFcalccalc = 237.8 F= 237.8 F0.05;5,110.05;5,11 = 3.20 = 3.20

FF0.01;5,110.01;5,11 = 5.32= 5.32

RR22 = 99.1 %= 99.1 %

RR22adjadj = 98.7 %= 98.7 %

RR22looloo = Q= Q22 = 93.5 %= 93.5 %

s = 642.1s = 642.1 SDEC = 516.5SDEC = 516.5 SDEP = 1376.2SDEP = 1376.2

Histogram for reduced residuals

-1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3 3.5

1

3

5

7

9

11

13

15

17

Nbr

of o

bser

vatio

n

residuals

Coefficienti di regressioneCoefficienti di regressione

Value Std dev. Lower 95% bound Upper 95% boundIntercept 1962.941 1071.3600 -395.1080 4320.9894x1 -15.8583 97.6519 -230.7889 199.0722x2 0.05593 0.0213 0.0091 0.1027x3 1.589848 3.0921 -5.2157 8.3954x4 -4.21919 7.1760 -20.0135 11.5751x5 -394.304 209.6424 -855.7241 67.1162

Coefficienti di regressione standardizzatiCoefficienti di regressione standardizzati

Value Std dev.x1 -0.459 2.8280x2 0.214 0.0810x3 1.403 2.7280x4 -0.082 0.1390x5 -0.111 0.0600


Diagnostica di regressioneDiagnostica di regressione

Valutazione della qualitValutazione della qualitàà di undi un modellomodello mediante mediante strumenti graficistrumenti grafici..

y(y(expexp)) vsvs y(y(calccalc), y(), y(predpred))objectsobjects vsvs residualsresidualsobjectsobjects vsvs leveragesleverages

leveragesleverages vsvs residualsresidualsy(y(calccalc)) vsvs residualsresiduals

....................


Grafico delle risposteGrafico delle risposte


x(y)x(y)

eeiieeiieeii

x(y)x(y)

eeii eeii eeii

x(y)x(y) x(y)x(y)

x(y)x(y) x(y)x(y)

Analisi dei residuiAnalisi dei residui

Serve aServe a valutare l’adeguatezza delvalutare l’adeguatezza del modellomodello stimatostimato..


Grafico di Williams per studiare le influenze degli oggettiGrafico di Williams per studiare le influenze degli oggetti

Metodi di regressione multivariata - dipbsf.uninsubria.itdipbsf.uninsubria.it/qsar/education/Mat...

Documents

Transcript of Metodi di regressione multivariata - dipbsf.uninsubria.itdipbsf.uninsubria.it/qsar/education/Mat...