Modelli probabilistici per la percezionehomes.di.unimi.it/~boccignone/GiuseppeBoccignone... ·...
Transcript of Modelli probabilistici per la percezionehomes.di.unimi.it/~boccignone/GiuseppeBoccignone... ·...
Modelli probabilistici per la percezione
Corso di Principi e Modelli della Percezione
Prof. Giuseppe Boccignone
Dipartimento di Scienze dell’InformazioneUniversità di Milano
[email protected]://homes.dsi.unimi.it/~boccignone/GiuseppeBoccignone_webpage/Modelli_Percezione.html
Problemi mal posti
Un piccolo test:
x + 3 = 8
quanto vale x?
Problemi mal posti
Un piccolo test:
2x + 2 =10
quanto vale x?
Problemi mal posti
Un piccolo test:
x + y = 9
quanto valgono x e y?
Problemi mal posti
Un piccolo test:
x + y = 9
quanto valgono x e y?
Questo è un esempio di problema mal posto
Problemi mal posti
Un piccolo test:
x + y = 9
quanto valgono x e y?
Questo è un esempio di problema mal posto:- non ha soluzione unica
E
R
L
E R L
N° fotoni emessi % fotoni riflessi N° fotoni riflessi
Spettro di irradiamento
Spettro di riflettanza
Spettro di radianza
x
x
x
=
=
=
La riflettanza spettrale// inferenza: un problema mal posto
La riflettanza spettrale// inferenza: un problema mal posto
E
R
L
E R 100
N° fotoni emessi % fotoni riflessi N° fotoni riflessix
x =
=
E=? R=?
Posso provare a utilizzare osservazioni precedenti :
x + y = 9
Problemi mal posti//soluzione probabilistica
Posso provare a utilizzare osservazioni precedenti :
x + y = 9
x = 2, y = 7
Problemi mal posti//soluzione probabilistica
Posso provare a utilizzare osservazioni precedenti :
x + y = 9
x = 2, y = 7
Quanto ci fidiamo del risultato ottenuto?
Problemi mal posti//soluzione probabilistica
• Percezione e azione hanno a che fare con eventi incerti:
• rumore, incertezza
• ignoranza sulle condizioni al contorno
Probabilità e scienze cognitive//tre problemi per i modelli cognitivi
stessooggetto
immaginidiverse
• Percezione e azione hanno a che fare con eventi incerti:
• rumore, incertezza
• ignoranza sulle condizioni al contorno
Probabilità e scienze cognitive//tre problemi per i modelli cognitivi
oggettidiversi
immaginiidentiche
• Percezione e azione hanno a che fare con eventi incerti:
• rumore, incertezza
• ignoranza sulle condizioni al contorno
Probabilità e scienze cognitive//tre problemi per i modelli cognitivi
! conoscenza
Module design
! incertezze
Module integration
! modularità
?}
La logica dell’incerto
• Come già osservava Locke (1632-1704), anche gli agenti più razionali prendono le loro decisioni non nella chiara luce della certezza nel “crepuscolo delle probabilità”.
• “Merita forse anche il titolo di conoscenza l'opinione fondata sulla plausibilità; […] Per questo credo che la ricerca sui gradi di probabilità sia estremamente importante; […] Così, quando non si potesse decidere con assoluta certezza una questione, si potrebbe almeno determinare il grado di probabilità alla luce dell'evidenza”. (G.W. Leibniz, Nuovi Saggi sull’Intelletto Umano).
• Come già osservava Locke (1632-1704), anche gli agenti più razionali prendono le loro decisioni non nella chiara luce della certezza nel “crepuscolo delle probabilità”.
Probabilità e scienze cognitive//percezione come inferenza inconscia
! conoscenza
Module design
! incertezzeT e o r i a d e l l a probabilità
Module integration
! modularità
?}
Quale probabilità//Tre concetti di probabilità: la definizione classica
• La probabilità di un evento è il rapporto tra il numero dei casi favorevoli e il numero dei casi possibili, purché questi ultimi siano ugualmente possibili.
• Quindi se i casi possibili sono n e i casi favorevoli sono nA, per la teoria classica la probabilità che accada l'evento A sarà:
Tre concetti di probabilità: la definizione frequentista
• La probabilità di un evento è il limite della frequenza (relativa) dei successi, cioè del verificarsi dell'evento, quando il numero delle prove tende all'infinito.
Tre concetti di probabilità: la definizione soggettivista
• La probabilità di un evento è il prezzo che un individuo razionale ritiene equo pagare per ricevere 1 se l'evento si verifica (e 0 altrimenti).
• Alessio è disposto a scommettere 1 contro 20 sul fatto che nel pomeriggio arrivi finalmente l'idraulico a riparare il rubinetto che perde da una settimana: attribuisce cioè a tale evento una probabilità ! 1/21 (meno del 5%).
• È come se ci trovassimo ad effettuare un sorteggio da un'urna con 1 pallina rossa (evento positivo = arrivo dell'idraulico) e 20 palline nere (eventi negativi = assenza dell'idraulico).
Come si valuta la probabilità?
• Immaginiamo che ci sia una partita di calcio. Lo spazio degli eventi comprende (1) la vittoria della squadra di casa, (2) la vittoria della squadra ospite e (3) il pareggio.
• Secondo la teoria classica esiste 1 probabilità su 3 che abbia luogo il primo evento
• secondo la teoria frequentista ci si può dotare di un almanacco e controllare tutte le partite precedenti e calcolare la frequenza dell’evento “vittoria della squadra di casa”.
• Secondo la teoria soggettivista, ci si può documentare sullo stato di forma dei calciatori, sul terreno di gioco e così via fino ad emettere una probabilità soggettiva.
• Probabilità soggettiva: mette in relazione le asserzioni fatte sul mondo con lo stato di conoscenza dell’agente
Probabilità e scienze cognitive//percezione come inferenza inconscia
! conoscenza
Module design
! incertezzeT e o r i a d e l l a probabilità
Module integration
! modularità
?}
...(Helmholtz, 1925)
I called the connections of ideas which take place in these processes unconscious inferences.
These inferences are unconscious insofar as their major premise is not necessarily expressed in the form of a proposition;
it is formed from a series of experiences whose individual members have entered consciousness only in the form of sense impressions which have long
since disappeared from memory. Some fresh sense impression forms the minor premise, to which the rule
impressed upon us by previous observations is applied
Probabilità e scienze cognitive//percezione come inferenza inconscia
...(Helmholtz, 1925)
Probabilità e scienze cognitive//percezione come inferenza inconscia
P (knowledge|observation) =P (observation|knowledge)P (knowledge)
P (observation)
(T. Bayes, 1702-1761)
rule impressed upon us by previous observations
fresh sense impression forms the minor premiseunconscious inferences
P( conoscenza | osservazioni)
P( conoscenza)P( osservazioni | conoscenza)
P( osservazioni )
=x
• Probabilità soggettiva: mette in relazione le asserzioni fatte sul mondo con lo stato di conoscenza dell’agente = grado di credenza
Probabilità e scienze cognitive//percezione come inferenza inconscia
! conoscenza
Module design
! incertezze
Teoria
Bayesiana
della probabilità
Module integration
! modularità
Problemi mal posti//soluzione probabilistica
• Supponiamo di voler ricostruire il mondo 3D a partire dall’ombreggiatura
• Questo è il mondo che osserviamo, le ombre proiettate nella caverna di Platone...
• Supponiamo di voler ricostruire il mondo 3D a partire dall’ombreggiatura
• Questo è il mondo che osserviamo, le ombre proiettate nella caverna di Platone...
Problemi mal posti//soluzione probabilistica
Questa è l’immagine di un oggetto concavo
oconvesso ?
Probabilità//sintassi
• Proposizioni elementari
• C = IN, “la curvatura è di tipo IN”
• Proposizioni complesse
• L=sopra ! C = IN
C
L
I
Curvatura C={IN, OUT}
Posizione sorgente di luce L={sopra, sotto}
Immagine I ={ , }
C, L, I le possiamo considerare
variabili aleatorieche assumono un valore
(discreto/continuo)rispetto agli eventi che accadono nel mondo.
Il risultato numerico di un esperimento
Probabilità //assiomi
• P(A) ! 0
• P (A ! ¬A) = 0
• P (¬A) = 1 - P(A)
• P(A " B) = P(A) + P(B) - P(A ! B)
Probabilità //modellare la percezione del mondo
C L
I
C={IN, OUT}
L={sopra, sotto}
Immagine I ={ , }
Probabilità //modellare la percezione del mondo
• La scelta delle variabili aleatorie di interesse
• discrete
• continue
Probabilità //la probabilità del tutto: congiunta
C L
I
C={IN, OUT}
L={sopra, sotto}
Immagine I ={ , }
P(I ! C ! L)=P(I, C, L) P(I, C, L) I C L
IN sopra
IN sopra
OUT sopra
OUT sopra
IN sotto
IN sotto
OUT sotto
OUT sotto
• Probabilità condizionata di A dato B (posto che conosco il valore di B)
• P(A | B) = P(A ! B) / P(B) = P(A , B) / P(B)
• Ci consente di strutturare la conoscenza sul mondo
• Regola del prodotto
• P(A , B) = P(A | B) P(B) = P(B | A) P(A) poichè P(A ! B) = P(B ! A)
• P(A , B , C) = P(A | B, C) P(B | C) P(C) (chain rule)
Probabilità //la probabilità condizionata
B
A
semplifica una query difficile in query più
semplici
• Da un punto di vista strettamente Bayesiano esistono solo probabilità condizionate
• P(A ) -> P(A | H )
• H è l’insieme di ipotesi che ci consentono di esplicitare la conoscenza sul mondo
Probabilità //la probabilità condizionata
L
P(L | H) L
0,9 sopra
0,1 sotto
Posizionamento lucipossibile
Posizionamento luciinammissibile
Alcune delle ipotesi in H
P(L | H) L
0,9 sopra
0,1 sotto
P(L | H) L
0,9 sopra
0,1 sotto
• Da un punto di vista strettamente Bayesiano esistono solo probabilità condizionate
• P(A ) -> P(A | H )
• H è l’insieme di ipotesi che ci consentono di esplicitare la conoscenza sul mondo
Probabilità //la probabilità condizionata
COggetti che esistono nel mondo osservato
Alcune delle ipotesi in H
Oggetti che non esistono nel mondo osservato
P(C | H) C
0,5 IN
0,5 OUT
Probabilità //specificare un modello del mondo: struttura
C={IN, OUT}
L={sopra, sotto}
Immagine I ={ , }
P(I ! C ! L)=P(I, C, L) = P(I | C, L) P(C | L) P(L)
C L
I
Indipendenza di C da L
P(C | L) = P(C)
P(I, C, L) = P(I | C, L) P(C ) P(L)
questo è il mio modello del mondo
• Il modello del mondo mi semplifica la probabilità del tutto (23 -1 stati)
P(I, C, L) I C L
IN sopra
IN sopra
OUT sopra
OUT sopra
IN sotto
IN sotto
OUT sotto
OUT sotto
Probabilità //specificare un modello del mondo
Probabilità //specificare un modello del mondo
C L
I
P(I, C, L) = P(I | C, L) P(C ) P(L)
P(C ) C
0,5 IN
0,5 OUT
P(L ) L
0,9 sopra
0,1 sotto
P(I |C, L) I C L
0 IN sopra
1 IN sopra
1 OUT sopra
0 OUT sopra
1 IN sotto
0 IN sotto
0 OUT sotto
1 OUT sotto
Probabilità //specificare un modello del mondo
C L
I
P(I, C, L) = P(I | C, L) P(C ) P(L)
P(C ) C
0,5 IN
0,5 OUT
P(L ) L
0,9 sopra
0,1 sotto
Probabilità a priori=la mia conoscenza del mondo
Probabilità //specificare un modello del mondo
C L
I
P(I, C, L) = P(I | C, L) P(C ) P(L)
P(I |C, L) I C L
0 IN sopra
1 IN sopra
1 OUT sopra
0 OUT sopra
1 IN sotto
0 IN sotto
0 OUT sotto
1 OUT sotto
Verosimiglianza=la mia osservazione del
mondo
• Dalla Regola del prodotto:
• P(A , B) = P(A | B) P(B) = P(B | A) P(A) poichè P(A ! B) = P(B ! A)
Probabilità //fare inferenze: la regola di Bayes
B
A
B
A
Probabilitàinversa
Probabilità //fare inferenze: la regola di Bayes
P (knowledge|observation) =P (observation|knowledge)P (knowledge)
P (observation)P( cosa c’è nel mondo | dati sensoriali)
P( cosa c’è nel mondo)P( dati sensoriali | cosa c’è nel mondo)
P( dati sensoriali )
=x
probabilità a posteriori verosimiglianza probabilità a priori{ { {
Probabilità //Indipendenza (marginale)
C L
C={IN, OUT}
L={sopra, sotto}
Immagine I ={ , }
Indipendenza di C da L
P(C | L) = P(C)
P(C, L) = P(C| L) P(L)
= P(C) P(L)
• Eventi mutualmente esclusivi
• P(A , B) =P(A ! B) =0
• Si semplifica la regola della somma:
• P(A " B) = P(A) + P(B) - P(A ! B) = P(A) + P(B)
• Generalizzata:
• P(A1 " A2 " ... " AN ) = " i=1;..;N P(Ai )
Probabilità //Indipendenza (marginale)
P ( , ) = 0
P ( " ) = P ( ) + P ( )
Probabilità //Marginalizzazione
• Dalla probabilità congiunta possiamo ottenere la probabilità (marginale) di una variabile sommando su tutti i possibili valori delle altre variabili
• P(X) = ! Y P(X, Y)
• P(X) = ! Y P(X, Y) = ! Y P(X | Y) P(Y)
Probabilità //Marginalizzazione
• La marginalizzazione ci consente inferenze:
• Se osservo I= , qual è la probabilità di P( C = OUT | I = )
P( C = OUT | I = )P( I = , C = OUT )
P( I = )
#! L={sopra, sotto} P( I = , C = OUT, L )
= ! L={sopra, sotto} P( I = | C = OUT, L ) P(C ) P(L)
= P(C = 0UT ) [ P( I = | C = OUT, L = sopra ) P(L =sopra)
+ P( I = | C = OUT, L = sotto ) P(L = sotto) ]
{0,5
{0
{0,9
=
LC
Probabilità //Problema per l’inferenza Bayesiana
• La marginalizzazione ci consente inferenze:
• Se osservo I= , qual è la probabilità di P( C = OUT | I = )
P( C = OUT | I = )P( I = , C = OUT )
P( I = )
! C={IN, OUT} ! L={sopra, sotto} P( I = , C , L )
= [ P( I = | C = OUT, L = sopra ) P(L =sopra) P( C = OUT)
+ P( I = | C = OUT, L = sotto ) P(L = sotto) P( C = OUT)
=
+ P( I = | C = IN, L = sopra ) P(L =sopra) P( C = IN)
+ P( I = | C = IN, L = sotto ) P(L = sotto) P( C = IN)]
=
Hic suntleones !
P( I = )
Modello generativo
Y immagine
(visible)
X oggetti
(hidden)
insieme di parametri
Probabilità e scienze cognitive//percezione come inferenza Bayesiana
Y
X
!
P (X|Y,!,M) =P (Y |X, !,M)P (X|!,M)
P (Y |!,M)
Likelihood Prior
Inferire
variabili nascoste
Occorrono i parametri!
Probabilità e scienze cognitive//percezione come inferenza Bayesiana
Y
X
P (!|Y,M) =P (Y |!,M)P (!|M)
P (Y |M)
Inferire
parametri
= Parameter Learning
Occorrono
i modelli!
P (X|Y,!,M) =P (Y |X, !,M)P (X|!,M)
P (Y |!,M)
!
Probabilità e scienze cognitive//percezione come inferenza Bayesiana
Y
X
P (M|Y ) =P (Y |M)P (M)
P (Y )
Inferire modelli = Model selection
P (!|Y,M) =P (Y |!,M)P (!|M)
P (Y |M)
P (X|Y,!,M) =P (Y |X, !,M)P (X|!,M)
P (Y |!,M)
!
Probabilità e scienze cognitive//percezione come inferenza Bayesiana
Y
X
P (M|Y ) =P (Y |M)P (M)
P (Y )
P (!|Y,M) =P (Y |!,M)P (!|M)
P (Y |M)
P (X|Y,!,M) =P (Y |X, !,M)P (X|!,M)
P (Y |!,M)
!
Probabilità e scienze cognitive//percezione come inferenza Bayesiana
Hic suntleones !
P (M|Y ) =P (Y |M)P (M)
P (Y )
P (!|Y,M) =P (Y |!,M)P (!|M)
P (Y |M)
P (X|Y,!,M) =P (Y |X, !,M)P (X|!,M)
P (Y |!,M)
Probabilità e scienze cognitive//percezione come inferenza Bayesiana
• Dove non è possibile inferenza esatta
1.Metodi Monte Carlo
2.Tecniche variazionali:
• Variational Bayes
• Loopy Belief propagation
• Expectation propagation
Modelli nelle scienze cognitive e nella percezione//da Marr a Bayes
Teoria computazionale
Rappresentazione e algoritmo
Implementazione hardware
Livelli di spiegazione
secondo Marr
Qual è il goal della computazione?
Quale rappresentazione e quale algoritmo?
Come realizzarla fisicamente?
Livelli di spiegazione
secondo Marr
Modelli nelle scienze cognitive e nella percezione//da Marr a Bayes
Modelli nelle scienze cognitive e nella percezione//da Marr a Bayes
Teoria Bayesiana
Vincolie
ipotesi
Implementazione
Livelli di spiegazione
(Kersten e Yuille)
Modelli nelle scienze cognitive e nella percezione//da Marr a Bayes
Modelli teorici Bayesiani:
Modello Grafico + PDF
Inferenza su MG
SIMULAZIONE
Modello implementativo
Livelli di spiegazione
(Boccignone e Cordeschi)
C L
I
P(I, C, L) = P(I | C, L) P(C ) P(L)