Regressione logistica
description
Transcript of Regressione logistica
Regressione logisticaRegressione logistica
Metodi Quantitativi per Economia, Finanza e Management
Esercitazione n°10
Regressione logistica - ModelloModello di regressione logistica
• si vuole modellare la relazione tra una variabile dipendente dicotomica (0-1) e un insieme di regressori che si ritiene influenzino la variabile dipendente
• la variabile dicotomica rappresenta presenza/assenza di un fenomeno oppure successo/fallimento
• l’obiettivo è stimare l’equazione
ikkiii
ii xxx
...)1
log()(logit 2211
dove π:= Pr(Y=1 l X) è la probabilità che il fenomeno si
verifichi
proc logistic data= dataset descending; class regressore_1…regressore_m /param= glm;
model variabile dipendente= regressore_1 . . . regressore_k
/option(s);run;
Modello di regressione logistica – k regressori specificati a priori
PROC LOGISTIC – Sintassi
OPTIONS:• stb calcola i coefficienti standardizzati• selection=stepwise applica la procedura stepwise per la selezione
dei regressori
automaticamente crea variabili
dummy per i regressori nominali
utilizzando il metodo “glm”
ordina la variabile dipendente
elencare solo i regressori nominali
Regressione logistica – Valutazione modello
Valutazione della bontà del modello (output della PROC LOGISTIC)
• Wald Chi_square testWald Chi_square test OK p-value con valori piccoli
equivalente al test t nella regressione lineare (valuta la significatività dei singoli coefficienti = la rilevanza dei corrispondenti regressori nella spiegazione della variabile dipendente)
• Likelihood ratio test/score test/Wald testLikelihood ratio test/score test/Wald test OK p-value con valori piccoli
equivalenti al test F nella regressione lineare (valuta la capacità esplicativa del modello)
• Percentuale di ConcordantPercentuale di Concordant valuta la capacità del modello di stimare la probabilità che il fenomeno si verifichi (quanto più la percentuale è alta tanto migliore è il modello)
Regressione logistica – Passi da fare1) Individuare la variabile oggetto di analisi (variabile
dipendente dicotomica (0/1)) e i potenziali regressori
2) Se si vogliono utilizzare variabili qualitative nominali come regressori NON occorre costruire variabili dummy perché la procedura PROC LOGISTIC di SAS lo fa automaticamente elencando nello statment di CLASS le variabili nominali e impostando il metodo GLM
3) Stimare un modello di regressione logistica utilizzando il metodo di selezione automatica STEPWISE per selezionare le variabili (PROC LOGISTIC con opzione stepwise)
Regressione logistica – Passi da fare4) Valutare:
I. la bontà del modello (percentuale di Concordant)
II. la significatività congiunta dei coefficienti (Likelihood ratio test/Score test/Wald test )
III. la significatività dei singoli coefficienti stimati (Wald Chi-square test)
5) Valutare la presenza di multicollinearità tra i regressori (PROC CORR per analizzare la matrice di correlazione tra i regressori che entrano nel modello)
Regressione logistica – Passi da fare6) In presenza di 2 o più regressori fortemente correlati
escludere il/i regressori meno correlati con la variabile dipendente (valutare il coefficiente di correlazione lineare (PROC CORR) tra la variabile dipendente e tutti i potenziali regressori)
7) Stimare un nuovo modello di regressione con i regressori scelti al punto (4) esclusi quelli scartati al punto (6)
8) Interpretare i coefficienti e analizzare i segni
Regressione logistica – Esempio
VARIABILE DIPENDENTE:
0: non utilizza gli MMS
1: utilizza gli MMS
DATA SET: TELEFONIA
Obiettivo:Obiettivo: prevedere l’utilizzo del servizio MMS a partire da un insieme di variabili (continue, discrete, dicotomiche).
Sintassi
proc logistic data= corso.telefonia_1 descending;
class marca sesso sistemazione tecnologia/param = glm;
model uso_mms= marca sesso sistemazione tecnologia durata_chiamate_e durata_chiamate_r email_g email_h eta fisso_g fisso_h
imessaging_g imessaging_h importanza num_chiamate_e num_chiamate_r num_contatti perc_altri_ope perc_cell_mattino perc_cell_notte perc_cell_pome perc_cell_sera perc_comunica_mattino perc_comunica_notte perc_comunica_pome perc_comunica_sera perc_estero perc_fisso perc_ope ricarica_importo dolby dvd dvx email fisso imessaging lettore_mp3 macchina_foto reddito
/selection=stepwise stb;
run;
ordina la variabile dipendente
metodo di selezione stepwise e coeff. standardizzati
variabile dipendente
creazione dummy
Regressione Logistica
REGRESSIONE LOGISTICA
Il metodo di selezione automatico stepwise seleziona le seguenti variabili:
Var qualitativa
Var quantitative
Multicollinearità
Multicollinearità
Verificare la presenza di multicollinearità tra i regressori ed eventualmente eliminarne alcuni. Se il coeff. di correlazione tra due o più regressori è alto (>0.5) tenere nel modello il regressore più correlato con la variabile dipendente o quello più importante in termini di business.
proc corr data= corso.telefonia_1 ;
var
importanza
num_contatti
perc_altri_ope
perc_comunica_sera ;
run;
Test statistici (1/2)
Test per valutare la significatività congiunta dei coefficienti (“Testing Global Null Hypothesis: BETA=0”)
0...:0 pH ipotesi nulla
Se il p-value piccolo (rifiuto H0), quindi il modello ha buona capacità esplicativa.
P-VALUE
N.B. Equivalenti al Test F della regressione lineare
Test statistici (2/2)
ipotesi nulla
N.B. Equivalente al Test t della regressione lineare
Test per valutare la significatività dei singoli coefficienti
P-VALUE
0:0 jH Il coefficiente è significativo (significativamente diverso da 0) se il corrispondente p-value è piccolo (ossia, rifiuto l’ipotesi di coefficiente nullo) il regressore a cui il coefficiente è associato è rilevante per la spiegazione del fenomeno
Interpretazione coefficienti
Le femmine usano meno il servizio MMS dei maschi.
• SESSO F vs. M: -1.3325
Si guarda il segno del
coeff.
• NUM_CONTATTI (# persone contattate più frequentemente): 0.2092
• PERC_COMUNICA_SERA (% comunicazioni che avvengono di sera): -0.0229
Variabili qualitative:Variabili qualitative:
Variabili quantitative:Variabili quantitative:
Soggetti con community più estese mandano più MMS
Chi comunica prevalentemente la sera manda meno MMS
segno positivo
segno negativo
N.B. per le variabili qualitative i parametri stimati sono relativi alle dummy e forniscono la differenza nell’effetto di ogni livello confrontato con l’ultimo.
Segno dei coefficienti
Variabili quantitative
CORRELAZIONE
Variabili qualitative
TABELLA DI CONTINGENZA
Il segno dei coefficienti deve rispettare la relazione tra il regressore e la variabile dipendente. Come controllare?
+ : relazione positiva
- : relazione negativa
proc corr data= corso.telefonia_1 ;
var uso_mms;
with importanza num_contatti perc_altri_ope perc_comunica_sera ;
run;
proc freq data=corso.telefonia_1;
table sesso*uso_mms;
run;
Importanza dei coefficientiIn presenza di regressori quantitativi, i coefficienti standardizzati possono essere utili per valutare l’importanza relativa delle variabili, capire quali sono quelle che pesano di più nel modello.
La variabile num_contatti è quella che pesa di più nel modello e perc_comunica_sera è quella meno importante.
Si guarda il valore assoluto
del coeff. standardizzato
Odds Ratio stimato
L’odds previsto dell’utilizzo di MMS per le femmine è circa il 75% più basso che per i maschi.
• SESSO F vs. M: 0.26
• NUM_CONTATTI (# persone contattate più frequentemente): 1.233
Variabili qualitative:Variabili qualitative:
Variabili quantitative:Variabili quantitative:
L’odds previsto dell’utilizzo di MMS per soggetti con community più estese è il 23% più alto di quelli con community meno estese.
Bontà del modello (Misure di connessione tra valore previsto e valore osservato )
Tanto maggiore è il numero dei CONCORDANT (e quindi tanto minore è il numero dei DISCORDANT), tanto più il modello rappresenterà adeguatamente il fenomeno indagato.
Chiameremo PAIRS il numero di coppie di osservazioni (i,h con i≠h) che in un caso hanno Y=1 e nell’altro Y=0.
La coppia di osservazioni (i,h con i≠h) per la quale Yi =1 e Yh =0 è:
– concordante se– tied se– discordante se
ˆˆ hi
ˆˆ hi
ˆˆ hi