Politecnico di Milano Scuola di Ingegneria Industriale e dellInformazione

Anno Accademico 2013/2014 - PRIMO semestre

Codice 085941 - STATISTICA BAYESIANA - 10 CFU

Laurea Magistrale di ING MAT - sede LEONARDO

Docente Responsabile del Corso

Prof.ssa Alessandra Guglielmi e-mail: alessandra.guglielmi@polimi.itDip. di Matematica, Edificio La Nave (II piano), Campus Leonardo.Orario di ricevimento: Luned` dalle 10.30 alle 12.30 (fino al 31 gennaio 2014), nellufficio della docente alsecondo piano del Dipartimento di Matematica (Ed. La Nave), tel. 4641, oppure su appuntamento.

Pagina web

Lindirizzo della pagina web del corso e` su Beep:

https://beep.metid.polimi.it/it

Sulla pagina web compariranno: avvisi agli studenti, testi e soluzioni delle prove in itinere, valutazioni.

Esercitazioni

Dott. Raffaele Argiento e-mail: raffaele@mi.imati.cnr.it

Orari e Aule

Luned`: 8.15-10.15, aula B.5.3Gioved`: 8.15-10.15, aula B.5.3(LEZIONE/ESERCITAZIONI)Venerd`: 8.15 - 10.15, aula B.5.3Venerd`: 10.15 - 12.15, aula B.5.3 (ESERCITAZIONI).

Libro di testo

Jackman S. (2009). Bayesian analysis for the social sciences.Wiley, New York.Christensen R., Johnson, W., Branscum, A. Hanson, T.E (2011). Bayesian ideas and data analysis.CRC Press, Boca Raton (USA).

Software

R, WinBUGS, JAGS.

Altra bibliografia consigliata

1. Hoff, P.(2009). A first course in Bayesian Statistical Methods. Springer, New York.

2. Cowles M.K. (2013). Applied Bayesian Statistics. Springer.

1

3. Albert J. (2007). Bayesian computation with R. Springer.

4. Lunn D., Jackson C., Best N., Thomas A., Spiegelhalter D. (2013). The BUGS book. CRCPress.

5. Ntzoufras, I. (2009). Bayesian modeling using WinBUGS. Wiley, New York.

6. Robert C. (2007). The Bayesian Choice, Second Edition. Springer.

7. Ghosh J.K, Ramamoorthi R.V (2003). Bayesian Nonparametrics. Springer.

Programma del corso (piu aggiornato quello sul sito ufficiale delPolitecnico)

1. Linferenza dal punto di vista bayesiano: principio di verosimiglianza, distribuzione a priori e a pos-teriori. Il teorema di Bayes per modelli dominati. Valori di sintesi della distribuzione a posteriori.Intrepretazione dellinferenza scientifica con lapproccio bayesiano. Alcuni esempi con i piu` comunimodelli univariati.

2. I tre problemi fondamentali dellinferenza: stima puntuale, verifica delle ipotesi e stima intervallare;confronto fra i metodi bayesiano e frequentista.

3. Distribuzioni a priori. La scelta della distribuzione a priori: distribuzioni non informative; distribuzioniconiugate e misture, distibuzioni semi-coniugate. Robustezza (cenni).

4. Interpretazione del paradigma bayesiano attraverso la scambiabilita`. Teorema di rappresentazione dide Finetti. Linferenza predittiva. Predizione di quantita` osservabili.

5. Risultati asintotici: consistenza, normalita` asintotica della distribuzione a posteriori.

6. Introduzione ai metodi computazionali per la statistica bayesiana. Cenni di teoria sulle catene marko-viane con spazio degli stati generali (irriducibilita`, distribuzione invariante, Harris-ricorrenza, conver-genza quasi certa delle medie ergodiche, convergenza in variazione totale della probabilita` di tranzizioneal passo n). Metodi Markov chain Monte Carlo. Algoritmi Gibbs sampler e Metropolis-Hastings per ilcalcolo delle inferenze a posteriori.

7. Verifica delladeguatezza del modello e scelta del modello.

8. Modelli gerarchici.

9. Introduzione al modello lineare multivariato. Modelli lineari generalizzati. Modelli lineari gerarchicicon random effects. Stima dei parametri e scelta dei predittori.

10. Analisi della sopravvivenza e affidabilita` per dati censurati e non.Richiami di statistica classica: tassodi rischio; modelli parametrici (Weibull, gamma, log-normale, extreme-value), modelli increasing edecreasing failure rate; stimatore di Kaplan-Meier. Prior coniugate e standard, prior non-informative.Modelli di regressione e modelli accelerated failure time. Modelli proportional hazards. Cenni a sistemiriparabili in problemi di affidabilita`.

11. Modelli nonparametrici. Il processo di Dirichlet e sue generalizzazioni. Misture di distribuzioni para-metriche con distribuzione misturante aleatoria, e applicazioni alla stima di densita`.

12. Cenni a modelli per dati longitudinali e a modelli spaziali.

2

Modalita` di Valutazione

Lacquisizione dei crediti avviene mediante la valutazione positiva di un esame sostenuto in uno fra i cinqueappelli previsti. E` obbligatorio iscriversi ad ogni appello che si intende sostenere.Ogni appello desame e` articolato in una prova scritta e una orale. Sono ammessi allorale glistudenti risultati sufficienti allo scritto. Lorale vertera` sulla presentazione di un progetto di analisi dei dati;una relazione di poche pagine va presentata alla docente il giorno dellorale. Si consiglia di preparare unapresentazione su PC.

Calendario delle lezioni e delle esercitazioni

Registro delle lezioni e esercitazioni

07/10/13 LEZ: Presentazione del corso. Una breve introduzione alla statistica bayesiana; esempio con R:inferenza bayesiana per una proporzione. Hoff: Chapter 1.Un esempio di modello bayesiano gerarchico per dati raggruppati e confronto fra gruppi: esempio conR, dati su Math scores di 100 scuole USA. Hoff: Chapter 8.

10/10/13 LEZ: il teorema di Bayes per eventi; esempio sui test clinici. Jackman: Chapter 1.Modelli statistici e verosimiglianza. Teorema di Bayes per modelli dominati con dimostrazione. Ap-punti.

11/10/13 LEZ (4h): Esempio: modello per v.a. iid di Bernoulli con prior Beta, calcolo della distribuzionefinale. Jackman: Sect 2.1.Esempio: modello per v.a. iid gaussiane con varianza nota, prior gaussiana per la media, calcolo delladistribuzione finale. Jackman: Sect 2.4 e Appendix C.Stima puntuale, intervalli di credibilita`, intervalli di credibilita` a piu` alta densita` a posteriori (HPD).

14/10/13 LEZ: verifica di ipotesi (per ipotesi H0 e H1 della stessa dimensione). Posterior odds, fattore diBayes. Esempi. Jackman: Chapter 1.Distribuzioni predittive; esempio. La scambiabilita` delle osservazioni; Teorema di rappresentazionedi de Finetti per v.a. binarie e reinterpretazione dellapproccio bayesiano. Jackman: Chapter 1, eAppunti.

17/10/13 ESE: Richiamo del teorema per il calcolo di densit di un vettore aleatorio funzione di un vettorealeatorio assolutamente continuo. Distribuzione gamma: Funzione gamma come integrale di Eulerodel secondo tipo, densita` di una gamma, interpretazione dei parametri come shape, rate e scale. Casiparticolari: esponenziale e chi-quadro. Media, varianza, moda, e studio della funzione dinsit. Proprieta`della gamma con parametro rate fisso: somma di gamma indipendenti, indipendenza fra la somma ela normalizzazione. Distribuzione Beta: definizione per costruzione come normalizzazione di duegamma indipendenti con stesso parametro di rate, e definizione mediante la densit, funzione beta comeintegrale di Eulero del primo tipo. Calcolo dei momenti, della moda. Interpretazione dei due parametricome parametri di shape

18/10/13 LEZ: Teorema di rappresentazione di de Finetti per v.a. qualsiasi; approccio bayesiano non-parametrico. Jackman: Chapter 1, e Appunti.Introduzione alla scelta della prior.

3

18/10/13 ESE: Distribuzione Dirichlet su Rk. Definizione costruttiva per normalizzazione di v.a.gamma indipendenti con stesso parametro di rate, e definizione mediante la densit sul simplesso k 1dimensionale. Calcolo delle marginali e della covarianza fra le componenti del vettore Dirichlet. Pro-prieta` di neutralita` e aggregation. Modello Bernoulli, prior conigata (beta), calcolo dei parametridella posterior. Calcolo della marginale dei dati. Interpretazione dei parametri della prior con principiodel campione equivalente. Distribuzione predittiva.

21/10/13 LEZ: Il problema della scelta della prior. La famiglia esponenziale. La prior coniugata allafamiglia esponenziale naturale. La media a posteriori del parametro media come combinazione linearedella prior guess e della media campionaria. Esempi: iniziale coniugata per il modello condizionatonormale con media incognita e varianza nota e per il modello binomiale. Proprieta` delle distribuzioniconiugate alla famiglia esponenziale e delle misture finite di coniugate (coniugio, densita` nello spaziodi tutte le prior, ...). Prior non-informative: significato, vantaggi e svantaggi. Appunti.

24/10/13 ESE: Calcolo del Bayes factor per modelli con ipotesi nulla semplice (i.e. H0 : = = controH1 : 6= 0, con un esempio per il modello Bernoulli-beta. Modello Poisson, prior coniugata(gamma), calcolo dei parametri della posterior. Interpretazione dei parametri della prior con il principiodel campione equivalente. Calcolo della marginale unidimensionale e della predittiva. Distribizionebinomiale negativa.

25/10/13 LEZ: La prior di Jeffreys: definizione, invarianza rispetto a trasformazioni biunivoche del parametro.Esempi di prior di Jeffreys: modello binomiale con parametro dato dalla probabilita` di successo p, mod-ello gaussiano con varianza nota (prior di Jeffreys per la media), modello gaussiano con media e varianzaincognite. Normalita` asintotica della densita` a posteriori. Appunti.Esempio: modello per v.a. iid gaussiane con media e varianza incognita, prior coniugata (normale-InvGamma). Jackman: Sect 2.4 e Appendix C.

25/10/13 ESE: Modello Gaussiano con media e varianza incognita: illustrzione dellesempio 2.3- 2.5 dal libro di Jackman Combimbing information for improved election forecasting, illustrazionedello script R

28/10/13 LEZ: modello per v.a. iid gaussiane con media e varianza incognita, prior coniugata (normale-InvGamma). Calcolo della posterior e della predittiva. Prior di Jeffreys: calcolo della posterior.Jackman: Sect 2.4 e Appendix C. Il metodo Monte Carlo: stimatori, errori Monte Carlo. Richiamoalla Legge forte dei grandi numeri e al Teorema centrale del limite. Jackman: Chapter 3.

31/10/13 LEZ: Compositional method. Un esempio con R sui metodi Monte Carlo. Hoff: Chapter 4.

4/11/13 LEZ: Alcuni aspetti della teoria delle catene markoviane con spazio degli stati generali: cateneirriducibili, ricorrenti, distribuzione invariante, reversibilita`. Definizione di Harris ricorrenza e aperi-odicita`. Legge dei grandi numeri per catena markoviane: convergenza delle medie ergodiche. Teoremaergodico per catene markoviane irriducibili, Harris-ricorrenti, aperiodiche (convergenza in variazionetotale). Jackman: Chapter 4.

7/11/13 ESE: Svolgimento in classe della prova desame del del 05/02/2013.

8/11/13 LEZ: Ergodicita` geometrica e uniforme. Teorema centrale del limite per cateme markoviane. Al-goritmo Accept-Reject. Algoritmo di Metropolis-Hastings: la distribuzione obiettivo e` la distribuzioneinvariante della catena. Jackman: Chapter 5.

8/11/13 ESE: Generazione di numeri pseudo-casuali: panoramica generale sui generatori lineari con-gruenziali, caratteristiche e proprieta` ad essi associate. Metodo dellinversa generalizzata della funzionedi ripartizione (con dimostrazione). Applicazione del metodo alle variabili aleatorie assolutamente con-tinue, e discrete. Illustrazione della prima parte dello script generazione.casuale.R

4

11/11/13 LEZ: Esercizio con R: algoritmo random walk Metropolis-Hastings per simulare da una gaussianastandard. Esercizio con R: random walk Metropolis-Hastings in dimensione 2, analisi delloutputal variare del fattore di scala nella proposal density e al variare del punto iniziale. Controllo dellaconvergenza della catena.

14/11/13 LEZ: Inefficienza della simulazione Jackman: Chapter 4.Algoritmo Gibbs sampler bivariato e multivariato.

15/11/13 ESE: Generazione di numeri pseudo-casuali: Trasformazione di v.a. generare una gammacon shape intero sommando v.a. esponziali, metodo Box-Muller per generare da una gaussiana stan-dard. Generare da una normale multivariata utilizzando la decomposizione di Cholesky della matricedelle varianze. Metodi di accettazione rifiuto (con dimostrazione) descrizione generale dellalgoritmoe sua interpretazione. Generazione da una legge gamma con shape maggiore di uno con proponentegamma con parametri ottimali.

Importance Sampling e sampling importance resampling. Illustrazione della seconda parte dello scriptgenerazione.casuale.R

15/11/13 LEZ: Esercizio con R su un algoritmo Gibbs sampler: Chapter 6 del libro di P. Hoff. Hoff:Chapter 6.Il modello lineare gaussiano omoschedastico: prior coniugata per il caso di varianza nota. Jackman(2009), Sect. 2.5.

18/11/13 LEZ: Modelli lineari: stima dei parametri (di regressione e la varianza dei dati) e distribuzionipredittive con prior coniugata con varianza incognita, prior g di Zellner, reference prior. Jackman(2009), Sect. 2.5 e Appendix C.

21/11/13 ESE: Algoritmo di Metropolis-Hastings Modello Chauchy con prior gaussiane sul parametrodi posizione e sul log-scale. Calcolo della distribuzione a posteriori e derivazione di una algoritmo dimetropolis Random-Walk. Scelta della matrice di covarianza della distribuzione Gaussiana proposal.Illustrazione della prima parte dello script Chauchy.R

22/11/13 LEZ: Esempi con R sul modello lineare. Esempio con jags e rjags con prior NON coniugata:Esempio 2.15 da Jackman (2009).

22/11/13 ESE: Algoritmo di Metropolis-Hastings e metodi MCMC: Diagnostiche di convergenza:diagnostica di Geweke, diagnostica di Heidel, diagnostica di Gelman, effective sample size. Calcolo dellapredittiva mediante un campione MCMC. La densita` predittiva come media della densit marginale aposteriori. Bande di credibilita` per la densita` predittiva e per la funzione di ripartizione predittiva.Illustrazione della seconda parte dello script Chauchy.R bf Gibbs sampler: Illustrazione dello scriptGibbs.R. Problemi legati al Gibbs sampler: variabili altamete correlate.

25/11/13 LEZ: Bonta` di adattamento tramite lapproccio predittivo (replicated data): p-value bayesiani,residui bayesiani. Esempio con R da Albert (2007).Bonta` di adattamento secondo lapproccio cross-validation: calcolo di CPO (conditional predictiveordinate) e di LPML (log-pseudo marginal likelihood). Christensen et al.(2011), Section 4.8-4.9.

28/11/13 ESE: Data-augmented Gibbs sampler: Problemi con dati mancanti. Illustrazione delloscript missing.R per lEsempio Jackman 5.11 Extreme missingness in bivariate normal data. SliceSampler: Teorema fondamentale della simulazione, derivazione dellalgoritmo slice sampler come unparticolare Gibbs. Illustrazione dello script Slice.R.

02/12/13 LEZ: Altri Criteri di confronto fra 2 o piu modelli: Bayes factor, BIC (Bayesian InformationCriterion), AIC (Aikaike Information Criterion), DIC (Deviance Information Criterion). Christensenet al.(2011), Section 4.8-4.9.Scelta del modello: distribuzione a priori e a posterior dellindice del modello, scelta del modello cherealizza la moda a posteriori (MAP). Model averaging.

5

02/12/13 LEZ: Gibbs variable selection per la scelta delle covariate in un modello di regressione lineare;esempio in jags. Ntzoufras (2009), Ch. 11.

05/12/13 LEZ: Modelli lineari generalizzati: ipotesi distribuzionale e strutturale; modello gaussiano, Pois-son, con risposta binaria. Modelli probit e logit attraverso la rappresentazioni con variabili latenti.

06/12/13 LEZ: Gibbs sampler per modelli probit o logit. Esempio con R (da J. Albert, Sect 10.3). Jack-man (2009), Chapter 8.

06/12/13 ESE: Il software jags. Come costruire un semplice modello di regressione lineare in jags.Analisi del dataset Meuse. Illustrazione degli script meuse lm.R e meuse lm.bug. Problema di cor-relazione fra i parametri della regressione. Riparametrizzazione del modello per migliorare il mixingdella catena a posteriori.

09/12/13 LEZ: I modelli lineari e lineari generalizzati ad effetti misti (fixed e random-effects parametersmodels). Jackman (2009), Ch. 7.Esempio con R. Hoff (2009), Ch. 11.Introduzione allanalisi di affidabilita`/sopravvivenza.

12/12/13 ESE: Un modello bayesiano gerarchico per dati longitudinali. Illustrazione dellesempio 11.4.3(dataset mouse) del libro di Peter Hoff A First Course in Bayesian Statistical Methods.

13/12/13 ESE (2h+2h): Esercitazione Interattiva. Scelta delle covariate in modelli di regressione linearegeneralizzata in ambito bayesiano. Prior spike and Slab. Implementazione del modello StochasticSearch Variable Selection usando il software Jags. Criteri di scelta delle covariate: highest posteriordensity (HPD), median probability model (MPM) e hard shrinkage (HS).

19/12/13 LEZ: Definizione tempo di vita, di funzione di rischio (failure rate), modelli IFR e DFR, quantilidi ordine p. Dati censurati: left-, rigth-, interval-censored. Calcolo della verosimiglianza per datiosservati esattamente e censurati a destra. Principali distribuzioni parametriche per tempi di vita,e prior tipiche: modello esponenziale con prior gamma coniugata, modello di Weibull, modello log-normale, modello gamma. Christensen et al. (2011), Ch 12.

20/12/13 LEZ: Modelli di regressione di affidabilita`: il modello di regressione AFT con errore gaussiano,logistico, di Gumbel; funzioni di sopravvivenza, densita`, funzioni hazard, funzionale mediana. Il mod-ello di regressione AFT con tempo di sopravvivenza con distribuzione di Weibull; un esempio con Re jags per dati censurati: Esempio 13.1.2 da Christensen et al. (2011). Christensen et al. (2011),Sect. 13.1.

20/12/13 ESE: Discussione sui metodi di selezione delle variabili visti durante lesercitazione interattiva.Illustrazione degli script, analisi di robustezza e differenze fra i vari criteri di selezione delle variabile.

09/01/14 LEZ: Introduzione alla statistica bayesiana non parametrica: definizione, sua introduzioneattraverso il Teorema di rappresentazione di de Finetti. Richiami sul Teorema di esistenza di un pro-cesso stocastico a partire da una famiglia di leggi di dimensione finita. Cenni sul Teorema di esistenzadi una misura di probabilita` aleatoria, a partire dalle leggi di dimensione finita. La distribuzione diDirichlet sul simplesso, e qualche sua proprieta`. La distribuzione di Dirichlet e` coniugata al modellomultinomiale. Il processo di Dirichlet: definizione. Appunti.

10/01/14 LEZ: il processo di Dirichlet: definizione ed esistenza di tale misura di probabilita` aleatoria,significato del parametro misura (misura media e massa totale come parametro di precisione), proprieta`di coniugio del processo di Dirichlet (media a posteriori come combinazione lineare della media a priorie della misura empirica), costruzione di Sethuraman (1994). Esempio con R: simulazione di traiettoriedel processo di Dirichlet. Appunti e materiale bibliografico apposito in Beep.

6

10/01/14 ESE: Analisi della sopravvivenza, stimatore di Kaplan-Meier, la libreria survival di R. Il modelloAFT con errore in forma moltiplicativa Weibull e sua rappresentazione scala logaritmica con erroreGumbel. Definizione, frequentista, dei residui generalizzati per il modello AFT Weibull. Illustrazionedello script nonrandomeffects.r

13/01/14 LEZ: Il processo di Dirichlet seleziona traiettorie discrete, ma ha full support. Convergenza delprocesso di Dirichlet al variare della massa totale, distribuzione marginale congiunta di un vettore dalprocesso di Dirichlet, e urna di Polya generalizzata. Un campione da un processo di Dirichlet induceuna prior sulla partizione delle label del campione (partizione aleatoria); corrispondente modello per ilclustering dei dati; distribuzione iniziale e finale della partizione aleatoria, e stima di tale parametro;distribuzione del numero di valori distinti in un vettore dal processo di Dirichlet. Esempio con R.Appunti e Muller e Rodriguez (2013, Ch 3).

16/01/14 ESE: Il modello AFT con effetti casuali. Predizione per una nuova osservazione proveniente daun nuovo gruppo. Illustrazione dello script randomeffect.r. Augmenting Gibbs sampler per daticensurati: imputazione dei valori censurati e calcolo delle full conditionals. Illustrazione dello scriptgehan.R.

17/01/14 LEZ: Stima di densita` col modello DPM (Dirichlet Process Mixture). Appunti e Muller e Ro-driguez (2013, Section 3.2).

17/01/14 ESE: LUrna di Polya. Costruzione del modello bernulli-beta a partire dalla definizione dellepredittiva. Dirichlet process mixture model (DPM). Il problema di stima della densita`. Flessibilita`della prior non parametrica. Modello in forma gerarchica. Cacolo della distribuzione predittiva. Comeintegrare analiticamente rispetto al processo di Dirichlet.

20/01/14 LEZ: Esempio con DPpackage su modelli DPM. Modelli GLMM con prior nonparametrica suglieffetti casuali; esempio con DPpackage. Cenni ai Dependent Dirichlet Process, e lo applicazioni aimodelli GLMM. Appunti e Muller e Rodriguez (2013, Ch 5)

23/01/14 ESE: Dirichlet process mixture model (DPM) Algoritmi basati sul condizionamento (i.e simu-lazione delle traiettorie del processo) e algoritmi basati sulla marginalizzazione (i.e. algoritmi ad urnadi Polya). Calcolo analitico delle full conditionals del Polya urns Gibbs sampler di Escobar e West(1995).

24/01/14 ESE: Dirichlet process mixture model (DPM). Modello con kernel gaussiani e misturante cen-trata sulla Normale con varianza nota. Come si specializzano le full conditional del Polya urns Gibbssampler in questo caso. Illustrazione dello script Polya.R.

7