Computazione per l’interazione naturale: fondamenti...

Corso di Interazione uomo-macchina II

Prof. Giuseppe Boccignone

Dipartimento di Scienze dell’InformazioneUniversità di Milano

[email protected]://homes.dsi.unimi.it/~boccignone/l

Computazione per l’interazione naturale:

fondamenti probabilistici (2)

Probabilità

//assiomi:definizione formale

• L’insieme dei possibili valori osservati (risultati dell’osservazione di un processo casuale) definisce uno spazio campione

• Un evento A ! è un insieme di valori dallo spazio campione. La classe F

dei possibili eventi soddisfa le proprietà seguenti:

• Su F è definita una misura di probabilità P : F ! IR, che soddisfa le proprietà

seguenti:

Probabilità condizionata

• Sia B un evento a probabilità non nulla (P(B) > 0). La probabilità condizionata di un evento A dato B è definita come

• Se P(A"B) = P(A)P(B), e quindi P(A | B) = P(A), allora i due eventi sono detti

indipendenti.

Variabili aleatorie

• Una variabile casuale (o random) è una funzione

• Se, dato può assumere soltanto valori interi, allora X è una variabile casuale discreta, altrimenti viene detta continua.

• Una distribuzione (cumulativa) di probabilità è una funzione

• tale che FX(x) = P(X ! x). Per tale funzione valgono le seguenti

Distribuzione di probabilità

• Se X può assumere un insieme finito di possibili valori, è possibile definire la distribuzione (di massa) di probabilità

• tale che pX(x) = P(X = x). Valgono:

Densità di probabilità

• Se X è continua e FX è derivabile ovunque, possiamo definire la densità di

probabilità

• Dalla definizione di derivata:

• Altre proprietà

Valore atteso

• X variabile casuale discreta con distribuzione pX(x), g : generica

funzione, allora g(X) è variabile casuale e possiamo definire il suo valore atteso come:

• X variabile casuale continua

Valore atteso: proprietà

Varianza

• La varianza di una variabile casuale X

• Vale allora:

• Inoltre

Distribuzioni utili

Distribuzioni discrete

//Bernoulli

• Probabilità che, data una moneta con probabilità di “testa” uguale a p, un suo lancio abbia “testa” come esito.

• Media

• Varianza

=


//Binomiale

• probabilità che, data una moneta con probabilità di “testa” uguale a p, n suoi lanci indipendenti diano x volte “testa” come esito.

• Media

• Varianza

n=10,

p=0.25


//Poisson

• probabilità che, dato un evento che può avvenire in media lambda volte per unità di tempo, l’evento compaia x volte nell’unità di tempo.

• Media

• Varianza

lambda = 2;

x = poissrnd(lambda,1,1000);

hist(x)

Distribuzioni continue

//Uniforme

• probabilità costante tra a e b, 0 altrove.

• Media

• Varianza


//Esponenziale

• probabilità che l’intervallo tra due eventi successivi in un processo di Poisson con parametro abbia lunghezza x

• Media

• Varianza


//Normale o Gaussiana

• Media

• Varianza



• Media

• Varianza>> mu=0;

>> sigma=2;

>> x=-10:0.1:10;

>> y = normpdf(x,mu,sigma);

>> plot(x,y)



• Media

• Varianza>> mu=0;

>> sigma=2;

>> x = normrnd(mu,sigma,1,100000);

>> hist(x)

• Usata come a priori sul parametro della Binomiale

• dove è la funzione Gamma

• Media

• Varianza


//Beta

Distribuzione Beta

in funzione degli iperparametri a,b

• Usata come a priori sulla varianza della Normale o sulla Poisson

• dove è la funzione Gamma

• Media

• Varianza


//Gamma

Distribuzione Gamma

in funzione degli iperparametri a,b

Estensione a due variabili casuali

//distribuzioni cumulative congiunte e marginali

• Date due variabili casuali continue X, Y , la distribuzione di probabilità cumulativa congiunta è definita come

• Valgono le seguenti

• Data la distribuzione cumulativa di probabilità congiunta FXY (x, y) le distribuzioni cumulative marginali di probabilità FX e FY sono definite come


//distribuzioni di probabilità congiunte e marginali

• Date due variabili casuali discrete X, Y

• valgono le seguenti

• Data la distribuzione di probabilità pXY (x, y) le distribuzioni marginali di probabilità pX e pY sono definite come

• Se FXY (x, y) è dovunque derivabile rispetto sia a x che a y, allora la densità di probabilità congiunta è definita come

• vale

• Data la densità di probabilità cumulativa fXY (x, y) le densità marginali di probabilità fX e fY sono definite come


//densità di probabilità congiunte e marginali

• Date due variabili casuali X, Y discrete , la probabilità condizionata di X rispetto a Y è definita come

• X, Y continue


//probabilità condizionate

• X, Y discrete

• X, Y continue


//Teorema di Bayes

• Due variabili casuali sono indipendenti se

• ovvero


//indipendenza

• Date due variabili casuali X, Y discrete e una funzione il valore atteso di g è

• X, Y continue

• Valgono le seguenti


//valore atteso

• Date due variabili casuali X, Y , la loro covarianza è definita

• come nel caso della varianza:

• Valgono inoltre:


//covarianze

• Date n variabili causali X1,X2, . . . ,Xn

• valgono

• Per ogni Xi è definita la marginale

Estensione a n variabili casuali

• Date n variabili casuali discrete, la distribuzione di probabilità congiunta

• per la quale valgono:

• La distribuzione di probabilità marginale è


//caso discreto

• Se la F è derivabile, la densità di probabilità congiunta è definita

• quindi

• La densità marginale di probabilità è


//caso continuo

• Dalla definizione di probabilità condizionate:


//regola del prodotto

• Date una distribuzione f(x1, x2, . . . , xn) e una funzione


//valore atteso

• Dato un insieme X1,X2, . . . ,Xn di variabili casuali, è possibile definire il vettore aleatorio

• Anche una funzione è rappresentabile come vettore


//covarianza

• Dato il vettore la sua matrice di covarianza è la matrice n x n tale che, per ogni coppia i, j

• ovvero:


//covarianza

• è matrice simmetrica:

• per definizione di covarianza

• è definita positiva:

• per qualunque vettore z:

• ma


//covarianza

• Un vettore aleatorio ha una distribuzione normale di media e matrice di covarianza di dimensione n x n


//il caso Gaussiano

forma quadratica di x

• I contorni di densità costante sono determinati dalla matrice di covarianza

• Per esempio in 2D


//il caso Gaussiano

Forma generale Forma diagonale

(allineata con gli assi)

Forma isotropa

(matrice identità)

Distribuzione Normale multivariata:

//il caso multivariato

• Consideriamo il caso della matrice di covarianza diagonale

• allora

• ovvero

Distribuzione multivariata =

prodotto di n distribuzioni

gaussiane univariate, ognuna

relativa ad una coordinata xi

• soddisfa l’equazione agli autovettori

• reale e simmetrica: i suoi autovalori i sono tutti reali e possiamo scegliere un insieme di autovettori ortonormali

• Sostituendo all’interno della forma quadratica

• Indicando con la proiezione di

lungo la direzione di ui


//il caso multivariato: geometria della Gaussiana

• Valgono le seguenti come nel caso univariato


//medie e covarianze

• Siano

• La somma è ancora distribuita normalmente

• Si noti che la distribuzione di z = x + y è cosa diversa dalla somma delle distribuzioni di x e y (che in generale non è gaussiana).


//somma di variabili gaussiane indipendenti

• Sia con

• La distribuzione di x è la congiunta


//congiunta, marginale e condizionata di v.a.g.


• Marginali:

• Condizionate




• Marginali:

• Condizionate



• Siano

• La probabilità a posteriori vale:

• Inoltre:


//formula di Bayes

• E’ la generalizzazione a più eventi (e.g., lancio di dadi) della bernoulliana

• Variabile discreta che prende 1 di K valori (Bernoulli, K=2)

• Rappresentazione 1-of-K:

• Sia p(xk=1) =

• allora:

Distribuzioni discrete multivariate

//Bernoulli generalizzata e Multinomiale


//Bernoulli generalizzata e Multinomiale

• E’ la generalizzazione a più eventi (e.g., lancio di dadi) della binomiale

• Variabile discreta che prende 1 di K valori (binomiale, K=2)

• Generalizza la distribuzione Beta

• Molto usata come distribuzione a priori sui parametri della Multinomiale

• Per K=3


//Distribuzione di Dirichlet

Statistica Bayesiana

• La base è sempre il teorema di Bayes

• Definizione di distribuzione coniugata:

Distribuzioni e coniugate


//metodologia generale

• Obiettivo: predire un dato x sulla base di n osservazioni S = {x1, . . . , xn}

• Tre step:

• Specifica del modello h con parametri di tuning per la generazione dei dati in S

• Inferenza (learning dei parametri)

• Predizione

Modello o

ipotesi h

• Rinunciando ad un approccio completamente Bayesiano, si possono ottenere stime puntuali dei parametri

• Stima Maximum A Posteriori (MAP)

• Stima di massima verosimiglianza (Maximum Likelihood, ML)


//stime puntuali

Esempio: stima di massima verosimiglianza

• Insieme di campioni x1, . . . , xn da distribuzione Gaussiana di parametri ignoti (identicamente distribuiti)

• Campioni estratti indipendentemente:

• allora

• oppure usando la log-verosimiglianza

• Se con covarianza nota e media da stimare

• per il singolo campione

• derivando il secondo termine rispetto a (il primo è costante rispetto a teta)

• per tutti i campioni

• ponendo uguale a 0


// della Gaussiana

media empirica

• Se con covarianza e media da stimare

• per il singolo campione

• derivando il secondo termine rispetto a e ripetendo il procedimento di prima


// Parametri della Gaussiana

media empirica

covarianza empirica

• Per un singolo lancio uso Bernoulli

• Likelihood per N lanci indipendenti

• Stima ML

• Quindi se dopo N=3 lanci osservo S = {C, C, C} allora


// lancio di moneta

1 se il lancio ha dato

“testa” come esito

0 altrimenti

= 0

= 0 :-(

• Nel setting ML (frequentistico) in realtà con N piccolo ottengo conclusioni fuorvianti (la moneta è sicuramente truccata: darà sempre CCCCCCC....)

• Approccio Bayesiano:

Esempio: stima Bayesiana

// lancio di moneta

funzione di

likelihood:

distribuzione

di Bernoulli a priori coniugata di

Bernoulli:

distribuzione Betaa posteriori:

distribuzione Beta



// lancio di moneta

funzione di

likelihood:

distribuzione


Bernoulli:


distribuzione Beta

a priori coniugata di

Bernoulli:

distribuzione Beta

funzione di

likelihood:

distribuzione

di Bernoulli

a posteriori:

distribuzione Beta


• Uso come stima il valore atteso della Beta


// lancio di moneta

funzione di

likelihood:

distribuzione


Bernoulli:


distribuzione Beta

a posteriori:

distribuzione Beta

• Uso come stima il valore atteso della Beta

• Anche se uso un a priori uniforme

• Quindi se dopo N=3 lanci osservo S = {C, C, C} allora


// lancio di moneta

= 0.2 ;-)

• Non a caso abbiamo utilizzato come stima il valore atteso della Beta

• Implicitamente abbiamo usato lo Step 3: predizione Bayesiana:

• Nel nostro esempio


// lancio di moneta

• Qual è la relazione con la stima di massima verosimiglianza?

• Per infiniti lanci

• ovvero:

• Infatti per T e N >> e


// lancio di moneta

• Posso usare la formula di Bayes in modo ricorsivo (sequenziale)

• ad ogni lancio, osservo T o C e uso come a priori la posteriori (Beta) del lancio precedente, quindi effettuo la predizione

• S={C,C,C}

• S={C,C,C,T}


// lancio di moneta

aggiorno la mia

credenza a priori

osservo

osservo

predìco

predìcoaggiorno la mia

credenza a priori

inferenza

inferenza

• Nel nostro modello h possiamo calcolare in forma chiusa anche la verosimiglianza marginale o evidenza (dei dati)

• Ricordando che

• Usando Bayes


// lancio di moneta

• Abbiamo supposto di avere un modello M = h

• Cosa succede se avessimo due modelli possibili?

Esempio: stima Bayesiana di modelli

// lancio di moneta

• Si supponga di avere K possibili modelli M1, . . . ,MK per i dati osservati S

• Sia p(S|Mi) la distribuzione dei dati generati dal modello Mi (l’evidenza)

• Possiamo allora valutare la plausibilità del modello....con Bayes!!


// lancio di moneta

preferenza iniziale del

modello

• Definizioni


// lancio di moneta

prior odds ratio

fattore di Bayes

rapporto degli odds a

posteriori

(posterior odds ratio)

• Supponiamo che la moneta sia lanciata N = 250 volte, con T = 141 esiti Testa e N " T = 109 esiti Croce.

• Vogliamo capire se la moneta è truccata (biased). Ipotizziamo due modelli


// lancio di moneta

Modello M0

la moneta non è

truccata, non ci sono

parametri da stimare

Modello M1

la moneta è truccata, il

parametro è aleatorio



// lancio di moneta

Modello M0

la moneta non è

truccata, non ci sono

parametri da stimare

Modello M1

la moneta è truccata, il

parametro è aleatorio



// lancio di moneta


// lancio di moneta


// lancio di moneta (da MacKay)

Stima Bayesiana di modelli

// Il rasoio di Occam

!"#$%&"'()*+,"-.%(/"012(

!"##"$%&'(&)*+,$%&

-.#/0$#"12&%/31&45650&75&

8'3"159&:"1,'/1&45*533"12;<&

Entia non sunt

multiplicanda praeter

necessitatem

Modello che spiega molti dati

ma troppo complesso

Modello semplice

ma spiega pochi datiModello intermedio

• Posso approssimare:

• Se assumiamo inoltre che la distribuzione a priori sia uniforme all’interno di un largo intervallo





probabilità di osservare

il training set se il

parametro

del modello Mi assume

il valore più probabile

quantità che cresce al diminuire di

ovvero quanto più la distribuzione a

posteriori di è concentrata sul valore

derivato dall’osservazionedi S,

e quindi quanto più esso va a

modellare in modo preciso gli elementi

nel training set

Computazione per l’interazione naturale: fondamenti...

Documents

Transcript of Computazione per l’interazione naturale: fondamenti...