Dipartimento di Elettronica, Informatica e Sistemistica ...unina.stidue.net/Elaborazione di Segnali...

Algoritmi per la corrispondenza stereo

Ing. Federico [email protected]

Dipartimento di Elettronica, Informatica e Sistemistica (DEIS)

Centro di Ricerca sui Sistemi Elettronici per l'Ingegneria dell'Informazione e delle Telecomunicazioni “Ercole De Castro” (ARCES)

Università di Bologna

Elaborazione dell’Immagine LS Federico Tombari, Luigi Di Stefano

Sommario

• Introduzione alla visione stereo

• La geometria epipolare

• Il problema della corrispondenza stereo

• Vincoli per la ricerca delle corrispondenze

• Algoritmi stereo locali

– Approccio tradizionale

– Utilizzo di un supporto variabile

• L’approccio globale alla visione stereo

• Stereo real-time

• Alcuni risultati e applicazioni


3D computer vision

• Determinare informazioni 3D a partire da una o più viste della stessa scena. Modellazione 3D della scena o degli oggetti in essa presenti. Utilizzo di tecniche di computer graphic per il rendering.

– Tecniche passive:

• Stereo and multi-view reconstruction (analisi di più viste)

• Structure-from-motion (analisi di sequenze)

• Shape-from-shading, shape-from-silhouette

(analisi di singola vista)

• …

– Tecniche attive:

• Laser scanner, luce strutturata, Time-of-flight, …

• Utilizzare informazioni 3D relative alla scena osservata per realizzare task quali classificazione di eventi, classificazione/riconoscimento di oggetti, tracking di persone, motion detection, sistemi di identificazione, view synthesis, …

(credits: H. Hirschmuller)


L’utilizzo di più punti di vista (multi-view)

• Permette di stimare la profondità di ciò che osserva mediante il principio della triangolazione.

– Caso “base”: 2 viste (visione stereoscopica)


– Caso generale: N viste (multi-view stereo)

L’utilizzo di più punti di vista (cont.)

“Dino” dataset, Middlebury Multi-view Stereo Evaluation


Il modello geometrico

O : centro otticoOC : asse otticoC : centro dell’immagineπ: piano immaginef : distanza focale

π

C

u

v

fCamera

Scena reale

O

zy

x

yw

xw

zw

ij SensoreImmagine

Scena reale Sensore

Proiezione prospettica

Roto-Traslazione (Trasformazione

euclidea)

Camera Immagine

Trasformazione affine


• Nello spazio 2D: dati due punti A, B, gli angoli α, β e la distanza AB, determinare la distanza d.

Triangolazione

αα ββdd

αβα

β

sin)180sin(

sin

⋅=−−°

⋅=

ACd

bAC

γγ

AA BB

CC

•Applicazioni: GPS, localizzazione GMS, radiogoniometria, visione stereo, ...

bb


Corrispondenza e ricostruzione 3D

• Al contrario del caso di singola telecamera, mediante un sistema stereo èpossibile ricostruire la struttura 3D della scena mediante triangolazione (a patto di aver risolto il problema delle corrispondenze).

P

OL OR

pL pR

p’R

P’

πL πR

P

OL

pL

P’

d d’


Il sistema stereo “laterale”

•Caratteristiche del sistema stereo “laterale”:•assi ottici paralleli •focale uguale•piani immagine coplanari•assi coordinati paralleli

•In queste condizioni, i 2 sdr. differiscono solo per una traslazione lungo x pari a b. Tale parametro è denominato baseline e caratterizza un sistema stereo.

OL OR

xL xR

P

uL uR

pL pR

z z

f f

b


Il sistema stereo “laterale” (cont.)

dfbz ⋅

=

zfb

zfxxd RL ⋅=−= )(

uL – uR = d, disparità

Dunque:•Dati due punti omologhi (o corrispondenti) (pL, pR) sulle due immagini, proiezioni del punto P della scena, e conoscendo i parametri b e f del sistema stereo èimmediato calcolare la profondità di P •Dato pL,come determinarne l’omologo pR (o viceversa)? (problema delle corrispondenze)

vL = vR = y⋅ f/zuL = xL⋅ f/zuR = xR⋅ f/z

L

uL

vL

R

uR

vR

•Grande disparità: punto vicino•Piccola disparità: punto lontano•d=0 : punto a profondità infinita (orizzonte)


OL

pL

P

πLπR

OR

pR

La geometria epipolare

eL, eR: Epipoli

•Stessi epipoli per ogni punto 3D•Linee epipolari ruotano attorno all’epipolo al variare del punto•P giace su OLP, e proiezione di OLP su pR è epR Punti corrispondenti giacciono su rette epipolari coniugate

eL eR

epLepR

epL, epR: Linee epipolari

POLOR : Piano epipolare


La geometria epipolare (cont.)

• Nel problema della corrispondenza lo spazio di ricerca, che a-priori è bidimensionale, diviene così monodimensionale !

• Se le rette epipolari coniugate sono collineari e parallele ad uno degli assi dell’immagine (e.g. orizzontale) l’individuazione della direzione di ricerca è immediata (e.g. pL(i*,j*) ⇒ pR(i*,j)). (caso sist. laterale)

• In pratica è impossibile ottenere la situazione precedente mediante allineamento meccanico. E’ però possibile effettuare la rettificazione delle immagini stereo ([1]).


Calibrazione e rettificazione

• Calibrazione di una telecamera stereo:1. Calibrazione delle singole viste. Per ciascuna vista:

a) Determinazione della matrice K (matrice dei parametri intrinseci, o matrice di calibrazione):

b) Stima dei parametri di distorsione:

distorsione radiale (k1, k2, k3, ..)distorsione tangenziale (τ1, τ2, ..)

c) Determinazione dei parametri estrinseci delle due camere:Matrice di rotazione R (3x3) e vettore di traslazione T (1x3) che determinano la rototraslazione rispetto a un sdr. assoluto

In questo modo si riescono ad ottenere:• Le matrici di proiezione prospettica (ppm): • Le omografie di rettificazione: matrici 3x3 che mappano (warping) ciascuna vista in un

nuovo spazio in cui le nuove viste sono tra loro rettificate.

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

1000 0

0

vfusf

K v

u

];[ TRKP ⋅=

•fu =f / pw•fv = f / ph •u0, v0: pixel coord. of image center•s = skew factor


Corrispondenza fra due visteIn sintesi:• Una volta determinate le corrispondenze tra i punti delle 2 immagini che rappresentano le 2

proiezioni del medesimo punto della scena reale P (elementi corrispondenti), si può determinare la disparità, da cui la profondità di P.

• Come realizzare la corrispondenza? La geometria epipolare ci semplifica il problema limitando la ricerca di un punto giacente su una determinata linea epipolare ai punti appartenenti alla linea epipolare ad essa coniugata.

• La rettificazione ci aiuta ulteriormente: dato un punto di coordinate (x,y) sull’immagine di riferimento, il punto ad esso omologo si trova alla medesima coordinata y.

• Ora: che criterio utilizzare per determinare le corrispondenze? Elementi corrispondenti sono simili.

“Tsukuba” dataset, Middlebury Stereo Evaluation


Mappa delle disparità

Mappa delle disparità:

Immagine in scala di grigi che mostra in corrispondenza di ciascun punto dell’immagine di riferimento (e.g. L) il valore di disparità associato a quel punto. Per favorire la visualizzazione spesso i valori di disparità vengono mappati per mezzo di un opportuno fattore di scala all’interno del range [0 255].

Tsukuba dataset: Left image and ground-truth disparity map. Max Disp. 15. Scale factor: 16.


Occlusioni:

In ciascuna della due immagini sono presenti regioni non visibili nell’altra poichéoccluse da oggetti più vicini. Un algoritmo di matching dovrebbe anche individuare gli elementi dell’immagine situati nelle regioni occluse, per i quali non è possibile risolvere il problema della corrispondenza.

Principali problematiche


Principali problematiche (cont.)

Distorsioni fotometriche e prospettiche: riduzione significativa della similarità di finestre corrispondenti.

Distorsioni fotometriche:

– Le superfici reali non sono perfettamente lambertiane: punti corrispondenti avranno brightness differente a causa del differente punto di vista. La consistenza fotometrica fra le due viste è tanto maggiore quanto più la baseline è “corta”rispetto alla distanza degli oggetti.

– Differenze nei parametri che caratterizzano la risposta delle due telecamere (e piùin generale dell’intero processo di acquisizione delle due immagini). Sovente:

R = a⋅L + b (con a: gain, b: offset).

– Rumore.

Distorsioni prospettiche: a causa della differente prospettiva regioni corrispondenti possono apparire di dimensioni differenti nelle due immagini.



Inoltre: •Presenza di regioni con poca texture e pattern periodici•i 2 sensori hanno campi visivi differenti


Vincoli per la ricerca delle corrispondenze

• Il problema della corrispondenza è ambiguo: un elemento in L potrebbe a prioriessere messo in corrispondenza con qualsiasi elemento in R.

• Gli algoritmi di matching sfruttano vincoli finalizzati a ridurre il numero dei potenziali elementi corrispondenti.

• Oltre al vincolo epipolare, gli altri principali vincoli utilizzati sono:

Range di disparità (limited search range constraint)Vincolo di continuità (smoothness constraint)Vincolo di unicità (uniqueness constraint)Vincolo di ordinamento (ordering constraint)


Range di disparità

pR

•Vincolando ciascuna disparità ad assumere un valore all’interno di un certo intervallo (range di disparità) determino la profondità minima e massima rilevabile dal sensore.•Questo corrisponde a diminuire il range di ricerca dei punti omologhi: diminuendo il numero di possibili candidati, diminuisco le possibili ambiguità facilitando il problema delle corrispondenze.•Vengono inoltre ridotti i tempi di calcolo (complessità: O(w x h x (dmax-dmin) ) ).

RangeRange di disparitdi disparitàà::[[ddminmin, , ddmaxmax]] [[zzmaxmax, , zzminmin]]

zzmaxmax

zzminmin

ddminmin ddmaxmax


Offset orizzontale

• L’utilizzo di un offset x modifica i punti del disparity range ma mantiene inalterato il carico computazionale

•• [[ooxx, , ooxx +d+dmaxmax] [] [zzmaxmax, , zzminmin]]

• Horopter (stereo depth of field):è l’intervallo [[zzminmin, , zzmaxmax]]

• Nota: a parità di punti nel disparity range e variando l’offset, cambia l’intervallo di profondità δz nella scena rilevabile dal sensore (maggiore ooxx,, minore δz, maggiore risoluzione)

ooxx ooxx +d+dmaxmax pR

zzminmin

zzmaxmax

zzminmin

zzmaxmaxzzminmin

zzmaxmax


Vincoli di continuità e di unicità

• Continuità: la disparità varia con continuità quasi ovunque (le superfici 3D sono prevalentemente smooth: non vale in corrispondenza dei bordi).

• Unicità: ciascun punto di un’immagine può avere al più un punto corrispondente nell’altra immagine (non vale per oggetti trasparenti).

Dato: pL ⇒ pR : P

pL ⇒ qR : Q (non visibile in L)

mL ⇐ pR : M (non visibile in R)

OL OR

P

pL pRmL qR

QM


Vincolo di ordinamento

• Dato P, si può dedurre se un’altro punto 3D appartiene (Q) o meno (Q’) alla zona tratteggiata associata a P (“zona proibita”) in base all’ordinamento dei punti immagine lungo le rette epipolari.

• Dato il match pL ⇒ pR che individua P è possibile sfruttare l’ordinamento rispetto a tale match risultante dai match successivi per scartare quelli che individuano punti 3D situati nella zona proibita associata a P.

OL OR

P

pL pRqL qR

QQ: qL → pL pR → qR

L R

q’R

Q’

q’L

Q’: pL → q’L pR → q’R


Vincolo di ordinamento (cont.)

• Se Q e P appartengono alla superficie di uno stesso oggetto opaco e di spessore non nullo e Q appartiene alla zona proibita associata a P allora Q non è visibile in entrambe le immagini.

OL OR

P

pL pR

Q’Q’’

Q

OL OR

P

pL pR

Q

• Se però Q appartiene alla superficie di un altro oggetto può essere visto in entrambe le immagini pur appartenendo alla zona proibita di P (caso tipico: oggetti “sottili” in foreground). E’ quindi opportuno limitare l’applicazione del vincolo ai soli punti situati in un piccolo intorno di P ([2]).


Tassonomia degli algoritmi

• Feature-based: effettuano il matching di determinate features dell’immagine (edge-points, segmenti, corners, curve).

– Il criterio di matching si basa sulla caratterizzazione delle features mediante attributi (e.g. segmenti: lunghezza, orientazione, contrasto medio..).

– Robustezza e velocità (va però considerato anche lo step di estrazione delle features !)

– Mappe di disparità sparse.

Feature-based Area-basedVs.


• Area-based: trovano una corrispondenza per ogni pixel appartenente dell’immagine di riferimento.

– Suddivisi tra:

• Metodi locali

• Metodi globali

• Metodi ibridi (o “semi-globali”)

– Mappe di disparità dense

– Minor affidabilità delle corrispondenze trovate (e.g. regioni uniformi) e costi computazionali elevati (ottimizzazione mediante schemi di calcolo ricorsivi, accelerazione hardware).

Feature-based Area-basedVs.

Tassonomia degli algoritmi (cont.)


Tassonomia degli algoritmi (cont.)

Metodi locali: per risolvere il problema della corrispondenza vengono impiegate solamente informazioni locali (es. mediante misure di matching calcolate fra finestre di dimensione fissata centrate nei pixel considerati). Ogni disparità dipende dall’analisi di punti spazialmente vicini al punto considerato.

VelociAmbiguità delle corrispondenze in aree caratterizzate da poca texture o da gradienti di disparità

Metodi globali: la ricerca delle corrispondenze viene impostata come minimizzazione di una funzione energia calcolata sull’insieme dei nodi di un grafo non orientato. Ogni disparità dipende dall’analisi di tutti i punti dell’immagine.

Risultati migliori in termini di accuratezza della mappa di disparitàRichiesta computazionale tipicamente onerosa

Metodi ibridi (semi-globali): si utilizza l’impostazione dei metodi globali, riducendo l’analisi ad un sottoinsieme di punti dell’immagine (es. scanline).

Interessante trade-off tra accuratezza e velocità

Area-based


Approccio locale standard

d

S

đ

Approccio WTA(Winner-Take-All)


Approccio locale standard (cont.)

i

j

L

j+d

i

j+dmin j+dmax

R2W+1

2W+1

Approccio con finestre quadrate di lato 2W+1:per ogni punto di coordinata (i,j) dell’immagine di riferimento L calcolo una funzione di matching al variare di d appartenente al range di disparità:

( ) ( )( )∑ ∑−= −=

+++++=

∈∀∈∀W

Wm

W

Wn

njdmiRnjmiLdjiS

dddLji

,,,),,(

:],[,),( maxmin

ψ


Le misure di matching si suddividono tipicamente in misure di similarità (affinità) e funzioni di dissimilarità (distorsione). Le prime sono tipicamente basate su cross-correlazione, le seconde derivano dalla distanza basata sulla norma Lp.Una delle più utilizzate misure di similarità è la NCC (Normalised Cross-Correlation):

Essendo una misura di similarità, il valore di disparità da associare al punto corrente di coordinate (i,j) corrisponde al massimo tra i valori riportati dai punti appartenenti al relativo Disparity Range:

Essa risulta invariante rispetto a trasformazioni lineari costanti presenti tra le due immagini stereo (gain):

Misure di matching

( ) ( )

( ) ( )∑ ∑∑ ∑

∑ ∑

−= −=−= −=

−= −=

+++⋅++

+++⋅++=

⋅=

W

Wm

W

Wn

W

Wm

W

Wn

W

Wm

W

Wn

njdmiRnjmiL

njdmiRnjmiL

djiRjiLdjiRjiLdjiNCC

2222 ,,

,,

),,(),(),,(),(),,( o

[ ]( ){ }djiNCCjid

ddd,,maxarg),(

maxmin ,∈=

RL ⋅=α


Le misure di dissimilarità tradizionali sono basate sulla norma Lp della differenza dei 2 vettori L(i,j) e R(i,j,d), rappresentanti le due finestre di cui si sta valutando la corrispondenza:

Le misure più utilizzate derivanti da questa formulazione sono la SSD (Sum of SquaredDifferences), ottenuta ponendo p=2:

e la SAD (Sum of Absolute Differences), che si ottiene ponendo p=1:

Essendo queste misure di dissimilarità, il valore di disparità da associare al punto corrente di coordinate (i,j) corrisponde al minimo tra i valori riportati dai punti appartenenti al relativo Disparity Range:

Misure di matching (cont.)

( ) ( )pW

Wm

W

Wn

p

pp njdmiRnjmiLdjiRjiLdji ∑ ∑−= −=

+++−++=−= ,,),,(),(),,(δ

( ) ( )( )2

2

22 ,,),,(),(),,( ∑ ∑−= −=

+++−++=−=W

Wm

W

Wn

njdmiRnjmiLdjiRjiLdjiδ

( ) ( )∑ ∑−= −=

+++−++=−=W

Wm

W

WnnjdmiRnjmiLdjiRjiLdji ,,),,(),(),,( 1

11δ

[ ]

( ){ }djijid pddd

,,minarg),(max,min

δ∈

=


Principali problematiche

Una finestra che copre regioni a differente disparità non ha una finestra esattamente corrispondente nell’altra immagine in quanto le regioni a differente disparità, se visibili, non sono più contigue oppure possono risultare occluse. Ciò implica elevata incertezza nell’ individuazione dei massimi (minimi) locali e conseguentemente scarsa accuratezza nella localizzazione degli occluding boundaries (border localization/blurring/fattening problem).

Variazione della disparità nella finestra di correlazione: l’approccio si basa sull’assunzione che la disparità sia costante all’interno della finestra di correlazione (vincolo di continuità, superfici localmente fronto-parallele). Tuttavia, tale assunzione è facilmente violata nelle scene reali, in particolare in corrispondenza dei bordi fra oggetti situati a distanza differente (occluding boundaries).



x

d

�(x

,x+

d)

(0,0

,0)

A

B

C

D

E



• Occlusioni: l’approccio di base precedentemente delineato non prevede alcuna modalità di gestione delle occlusioni.

?


•Scarsa tessitura e pattern ripetitivi (lungo le rette epipolari).


• Scelta della dimensione della finestra di correlazione: al crescere della dimensione della finestra cresce il SNR (la finestra “cattura” più struttura dell’immagine utile ai fini del matching: più match corretti) ma diminuisce la risoluzione spaziale (perdita di dettagli). Inoltre, quanto piùgrande è la finestra tanto maggior è la probabilità che sia violata l’assunzione di disparità costante.


Robustezza rispetto alle distorsioni fotometriche

• Per compensare le distorsioni fotometriche presenti tra le due immagini di una coppia stereo si possono utilizare:– opportuni filtraggi passa-banda (es. mediante operatore LOG) delle immagini.

Questo passo rappresenta un tipico step di pre-processing degli algoritmi di stereo matching

– Opportune funzioni di matching robuste rispetto alle distorsioni fotometriche, da calcolare sulle finestre di correlazione:• sottrazione del valor medio calcolato nella finestra di correlazione (e.g. [3], [4])• utilizzo del principio di ordinamento tra pixel


Operatore LOG

L’operatore Laplacian of Gaussian (LOG) consiste in due passi:Applicazione di un filtraggio con kernel gaussiano ad una immagine Successivamente, applicazione dell’operatore laplaciano al risultato della

prima operazione:

L’operatore LOG si può interpretare come un filtro passa-banda. Esso èampiamente utilizzato in computer vision ad esempio come edge detector (zero crossing) o blob detector (estremanti). All’interno di un algoritmo stereo viene utilmente adoperato in veste di pre-processing per migliorare la consistenza fotometrica fra le due immagini (e.g. [5], [6], [7], [8]).

In particolare, l’operatore laplaciano, essendo basato sulle derivate seconde dell’immagine, elimina eventuali trasformazioni di intensità costanti di tipo additivo (offset) presenti tra le due immagini. Per questo motivo tende anche adesaltare il rumore (noise enhancement) ed è opportuno applicarlo su immagini preventivamente filtrate con un operatore gaussiano (filtro passa-basso).

yyxx LLL +=∇2


ZNCC, ZSSD, ZSAD

Una trasformazione applicabile alle immagini per aumentare la robustezza in presenza di distorsioni fotometriche è rappresentata dal sottrarre a ciascun punto p il valore medio calcolato sulla finestra di correlazione centrata in p. Anche in questo modo si ottiene la compensazione dell’offset .In pratica, si può inglobare questa trasformazione all’interno delle misure di

matching tradizionalmente impiegate dagli algoritmi stereo. Applicata alle misure basate su norma Lp si ottengono in questo modo la Zero-mean Sum of SquaredDifferences (ZSSD) e la Zero-mean Sum of Absolute Differences (ZSAD):

( )( ) ( )( )( )2

),(,),(,),,( ∑ ∑−= −=

+−+++−−++=W

Wm

W

WnRL jdinjdmiRjinjmiLdjiZSSD μμ

( )( ) ( )( )∑ ∑−= −=

+−+++−−++=W

Wm

W

WnRL jdinjdmiRjinjmiLdjiZSAD ),(,),(,),,( μμ


ZNCC, ZSSD, ZSAD (cont.)

Applicando il medesimo ragionamento alla misura NCC si ottiene la Zero-meanNormalised Cross-Correlation (ZNCC):

La ZNCC risulta così globalmente invariante rispetto a trasformazioni affini (gain e offset) presenti tra le due immagini:

( )( ) ( )( )

( )( ) ( )( )∑ ∑∑ ∑

∑ ∑

−= −=−= −=

−= −=

+−+++⋅−++

+−+++⋅−++=

W

Wm

W

WnR

W

Wm

W

WnL

W

Wm

W

WnRL

jdinjdmiRjinjmiL

jdinjdmiRjinjmiLdjiZNCC

22 ),(,),(,

),(,),(,),,(

μμ

μμ

βα +⋅= RL


Utilizzo del principio di ordinamento

Un ulteriore approccio è rappresentato dall’utilizzo di misure di matching basate sul principio di ordinamento. Il principio di ordinamento prevede che distorsioni fotometriche presenti su una coppia di

immagini stereo non modifichino l’ordine delle intensità dei pixel all’interno di una patch. E’possibile dunque valutare la similarità tra due finestre di correlazione valutando quanto viene rispettato questo principio. Le misure basate su questo principio risultano cosi robuste a una classe di trasformazioni

più ampie di quelle affini, ovvero trasformazioni monotone non decrescenti (isotoniche).Es. ordinamento dei pixel in una patch 2x2 dal più scuro al più chiaro

3 124

3 124

Ordinamento rispettato,similarità

3 124

1 432

Ordinamento violato, dissimilarità

L R


Una misura che sfrutta questa assunzione è la Census Transform [9]: Trasformata bit-string ottenuta confrontando l’intensità del pixel corrente, I(x,y),

con quella di ciascuno dei vicini I(x+i, y+j) in una patch prefissata (1/0 se I(P)< / > I(P’)).Correlazione: somma delle distanze di Hamming (# bit differenti) in una finestra

prefissata

Altre misure basate su ordinamento sono state proposte in [9-13].

Utilizzo del principio di ordinamento (cont.)

1 0 0

1 (x,y) 0

0 1 0

CL (x,y)=10000101CR (x+d,y)=01001011

H(CL(x,y), CR(x+d,y))

0 1 0

1 (x+d,y) 0

1 0 1

L R


Uso di “interest-operators”

Si selezionano mediante opportuni operatori i “punti di interesse” sui quali determinare le corrispondenze o validare quelle ottenute mediante altri approcci. Tali operatori selezionano punti caratterizzati da un grado di tessitura locale stimato come sufficiente a considerare affidabili i match.

Esempio: Operatore di Moravec [14],[15]: calcolo della variazione di intensità di un pixel P su un intorno N(P) (3x3..11x11).

• Si calcolano 8 variazioni direzionali come somma dei quadrati delle differenze fra pixel adiacenti lungo 8 direzioni

1 2 3

4 5 6

7 8 91 2 3

4 5 6

7 8 9

σ1(P) = (I(i,j)-I(i+1,j+1))2

(i,j) ∈ N(P)Σ

σ1(P), .. ,σ8(P)

•Variazione di intensità: s = min{σ1(P), .. ,σ8(P)}•Sogliatura per selezionare i punti di interesse


Analisi della curva di correlazione

• Se la curva presenta più picchi di valore simile aumenta la probabilità di effettuare una scelta errata (e.g. pattern ripetitivi). Una curva sostanzialmente piatta è invece tipicamente dovuta a poca tessitura. Si può allora accettare un match solo se la differenza fra i due picchi principali è sufficientemente elevata (e.g. [16], [17]).

• Quanto più il picco è “stretto” tanto più la localizzazione del match, e quindi della misura di disparità, è accurata. Lo “spread” del picco può essere usato per stimare l’accuratezza (e.g. fitting di una gaussiana e valutazione di σ ).

• L’andamento della curva di correlazione lungo una retta epipolare fornisce utili informazioni circa l’affidabilità e l’accuratezza dei match.


Consistenza Left-Right

• Una volta ottenute le due mappe di disparità utilizzando come riferimento prima la immagine Left (mappa LR), poi la Right (mappa RL), si accettano solo le corrispondenze che risultano coerenti nelle due viste: se per la mappa LR pR è il miglior match di pL, allora per la mappa RL pL deve essere il miglior match di pR [17].

Left ref. Right ref.

LR map RL map


Consistenza Left-Right (cont.)

•Efficace per scartare gli errori di corrispondenza dovuti alle regioni occluse: se pLnon è visibile in R, nella Fase 1 sarà messo in corrispondenza casualmente con un punto di R che, se visibile in L, avrà un proprio elemento corrispondente p’L≠ pL e ritornerà tale elemento nella Fase 2.


Il concetto di supporto variabile

• Un approccio recentemente proposto volto a migliorare l’accuratezza degli algoritmi locali si basa sul concetto di supporto variabile

• L’idea alla base del metodo è la seguente: anziché utilizzare una finestra di correlazione di dimensioni fisse per ogni punto dell’immagine di riferimento, si utilizza un supporto (in generale non rettangolare) la cui forma e dimensioni variano adattandosi di volta in volta alle caratteristiche dell’immagine

Approccio tradizionaleApproccio basato su

supporto variabile


Approcci basati su supporto variabile

Aggregazione di finestre rettangolari: –Considero un insieme di finestre rettangolari di dimensioni differenti e/o centrate su punti differenti–Sulla base di un determinato criterio (es. misura di matching) seleziono una o piùfinestre che rappresenteranno il mio supporto variabile–I punti del supporto vengono utilizzati per la determinazione della disparità per quel punto–Es. shiftable windows [19]: variazione dell’offset della finestra, selezione della finestra migliore che minimizza la misura di similarità:

( ){ })(),( min)(),(

rWCyxC ijrWji

SWxy∈

=


• Alternativamente, si può variare la dimensione della finestra mantenendola fissa nel medesimo punto [38, 39]. Questo è utile soprattutto per diminuire l’ambiguità delle corrispondenze all’interno delle aree uniformi:

Approcci basati su supporto variabile (cont.)

( ){ })(),( minmaxmin

rWCyxC xyrrr

R≤≤

=

rmin

rmax


Approcci basati su supporto variabile (cont.)

• Generalizzazione degli approcci precedenti:

– selezione del migliore supporto tra un insieme di finestre che differiscono per offset e per raggio

– Questo approccio è applicato da Variable Windows [40]:

ove l’ultimo termine è indipendente dalla misura di matching e serve a favorire finestre grandi nelle regioni uniformi (i primi due termini tendono ad essere simili)

– Approcci analoghi sono [41-43].

( ){ })(),( min)(),(

maxmin

rWCyxC ij

rWjirrr

VW

xy∈≤≤

=

γβα

+++⋅+=

2)12())(var()())((

rdSADdDASrWC ij


•Finora: supporto costituito da un’unica finestra quadrata.• Multiple Windows [18]: utilizzo di più finestre di correlazione (5,9,25). Per ogni corrispondenza si calcola la misura di matching sulla finestra centrale e sulle altre finestre (2,4,8) che la circondano che forniscono il migliore score (best supporting windows). In questa maniera la finestra di correlazione effettivamente impiegata tende ad evitare di sovrapporsi ad un bordo (le best-supporting windows sono quelle che hanno la maggior probabilità di coprire un’area a disparità costante).

Utilizzo di più finestre

),(),(),(),(

2min1min dpCdpCdpCdpCH

++=

Aggregazione su 5 finestre:

),(),(),(),(),(),(

4min3min2min

1min

dpCdpCdpCdpCdpCdpCH

++++=

Aggregazione su 9 finestre:


Approcci avanzati

• Estensioni dell’approccio a supporto variabile:

1. Il supporto variabile non è più vincolato ad essere costituito dall’unione di finestre rettangolari, bensi può avere forma qualsiasi.

Es. Segmentation-based [44]: la forma del supporto viene modellata tramite informazioni ottenute dalla segmentazione dell’immagine di riferimento.

Altri approcci basati su supporti variabili con forma qualsiasi sono [45, 46].

λ

λ

1 11

1111 1

1

11

1 1

1 1

1

111 1

λ

λλ

11

1

11 1

111 1 1

λλλλ

λλ

λ λ λλ

λλ

λ

1≤λ


Approcci avanzati (cont.)

Estensioni dell’approccio a supporto variabile: 2. Per determinare il supporto, associo ad ogni punto un peso w. Più alto è il valore di w,

più la misura di matching calcolata su questo punto influirà nel costo totale associato a quel supporto. I pesi possono essere calcolati sulla base di criteri statistici o deterministici (es. prossimità nel colore, distanza dal punto centrale, ecc..)

– Es. Segment-support [28]: pesi basati su segmentazione e prossimità nel colore

– Approcci analoghi: [47, 48].

( )1.0,

( , ) ( ), ( )exp

i c

i c c r i r c

c

p S

w p p d I p I p

γ

∈⎧⎪= ⎛ ⎞⎨ −⎜ ⎟⎪

⎝ ⎠⎩


Alcuni risultati (locali)

Supporto variabile (Segment support)

Supporto variabile (Shiftable Windows)

Locale a finestra fissaGround truth


Algoritmi globali

•Algoritmi globali: le mappe di disparità vengono modellate come un grafo non orientato, in particolare un Pairwise Markov Random Field (P-MRF)

evidence

compatibility

: osservazione. Rappresenta l’insieme di dati affetto da rumore, legato al modello nascosto dalla evidence, che presuppone correlazione tra i dati originari e i dati affetti da rumore

: modello non osservabile (nascosto). Rappresenta l’insieme di dati non affetto da rumore. Ciascun nodo è legato al vicino dalla compatibility, termine che ipotizza una correlazione tra elementi vicini (o struttura del modello)

•NOTA: Pairwise in quanto ciascun legame tra i nodi (clique) connette non più di 2 nodi.


Algoritmi globali (cont.)• Negli algoritmi globali la determinazione della mappa di disparità è tipicamente

formulata come un problema di minimizzazione di una funzione energia globale calcolata su tutti i nodi del grafo(o analogamente di massimizzazione di una probabilità congiuntarelativa a ciascun nodo del grafo).

• La funzione energia è generalmente formulata come somma di evidence e compatibility. Il primo termine è rappresentato da un costo locale, mentre il secondo è un termine di regolarizzazione o smoothness che penalizza salti di disparità. E’ anche possibile includere altri termini, ad esempio che modellino la presenza di occlusioni.

• La minimizzazione di tale funzione risulta essere un problema NP-completo. Tipicamente occorre adottare un metodo di inferenza approssimata (es. belief propagation[27], simulated annealing [20, 21], programmazione dinamica [23], graph-cuts [24, 25], maximumflow [26], non-linear diffusion [22], Junction Tree, Markov Chain Monte Carlo, ICM, …).

• Gli algoritmi globali forniscono tipicamente risultati significativamente più accurati rispetto agli algoritmi basati su correlazione. Tuttavia, questi algoritmi risultano attualmente ancora troppo onerosi dal punto di vista computazionale per poter essere impiegati in applicazioni caratterizzate da requisiti di tempo reale.

( ) ( )( ) , ( ) , ( )η λ= +∑ ∑c ep p

E s E p p E p D p


Alcuni risultati (globali)

Belief Propagation

Graph Cuts

Ground truth


• Un approccio alternativo è rappresentato dall’impostare il problema di minimizzazione della funzione energia in modo analogo all’approccio globale, ma riducendo la dimensionalità del problema. Questo permette di ottenere tecniche particolarmente veloci, vicine alle specifiche real-time. L’utilizzo di funzioni energia di tipo globale, invece, permette di avere più accuratezza, con risultati migliori delle tecniche locali tradizionali. Per questo per alcune di esse è stato coniato il termine semi-globale.

• Tipicamente si considera come sottoinsieme di punti una riga della mappa di disparità(scanline). Per ciascuna riga, si risolve un problema di minimizzazione di un funzionale energetico tramite tecniche quali Dynamic Programming o Scanline Optimization [29], che sono in grado di determinare il minimo globale con complessità polinomiale [35].

L’approccio “semi-globale”

Left scanline

Rig

ht s

canl

ine

Minimum cost pathHori

zon (d=

0)


•Analizzo una scanline lungo una certa direzione (es. da sx a dx). Ad ogni nuovo punto p, riempio la matrice di costi C per ogni valore possibile di disparità analizzando il costo calcolato al passo precedente (ovvero per il punto p-1):

•Il costo C si calcola sommando due termini: uno relativo alla similarità locale (costo di matching Cmatch), l’altro che contempla una correlazione tra elementi vicini. Possono dunque essere interpretati come gli analoghi di evidence e compatibility del modello MRF.

•Il termine P rappresenta una penalità fissa che si “paga” ogni qualvolta si ha un cambiamento di disparità lungo il percorso minimo. Questo serve per eliminare salti di disparità dovuti a rumore o ambiguità favorendo le superfici a disparità costante (vincolo di smoothness)

Scanline Optimization (SO)

⎩⎨⎧

≠+−−

+=ddPdpC

dpCdpCdpC match ',)',1(

),1(min),(),(


Scanline Optimization (SO) (cont.)

•Se la penalità è troppo elevata, si rischia di annullare salti di disparità relativi a cambiamenti di profondità reali nella scena. Questo produce i cosiddetti “streakingeffects” nelle mappe di disparità

{ }),(minarg)( dpCpdd

best =

Scanline OptimizationMiddlebury Stereo Evaluation

•Finito il calcolo di C, la mappa di disparità si ottiene come:


Un modello più raffinato

•Un modello più raffinato contempla la possibilità di avere variazioni lente della disparità lungo le superfici connesse degli oggetti nella scena (es. slantedsurfaces). Per fare ciò, si utilizza una penalità P1<P2 quando la disparità relativa al nuovo punto varia di ±1 rispetto a quella calcolata al punto precedente.

⎪⎪⎩

⎪⎪⎨

⎧

>−+−++−+−−

−

+=

1',)',1()1,1()1,1(),1(

min),(),(

2

1

1

ddPdpCPdpCPdpC

dpC

dpCdpC match


Dynamic Programming (DP)

• Come SO, ma ad ogni passo viene tenuta traccia per ogni disparità del percorso fatto (cost path) fino ad allora per raggiungere quel punto. Questo richiede una ulteriore matrice M in cui memorizzare i vari percorsi.

• Finito il calcolo del costo cumulativo C in modo analogo a quanto fatto per SO (forward step), partendo dal valore di disparità associato al costo minimo C(w, d) si ripercorre a ritroso il DSI mediante M(backward step). Questo permette di determinare il percorso di costo minimo (minimum cost path)da cui l’insieme di disparità da assegnare alla scanline.

C( ) = 20

1 w

C( ) = 8C( ) = 12C( ) = 5 minimum

cost path


•Tipicamente DP ottiene migliori risultati rispetto a SO. Infatti il minimum cost path s determinato da DP su una scanline S minimizza un funzionale energetico del tipo:

•Inoltre si può dimostrare che DP applica il vincolo di ordinamento (ordering constraint)•Questo a fronte di una maggiore spesa computazionale e di un più elevato utilizzo della memoria.

Dynamic Programming (DP) (cont.)

SO, “Teddy” dataset DP, “Teddy” dataset

( )( ) , ( ) ( )∈

= + ⋅∑ matchp S

E s C p d s P N s


Approcci avanzati basati su SO e DP

• Utilizzando più processi basati su Scanline Optimization è possibile ottenere migliore accuratezza a fronte di una maggiore complessità ed una più alta spesa computazionale.

• Hirschmuller [29]: utilizzo di più SO utilizzando N scanlines (tipicamente 8 o 16). Queste scanlines non coincidono con le righe dell’immagine ma sono diversamente orientate.

•Per ogni scanline Si, si calcola il costo cumulativo Ci(p,d)•La disparità per il punto p si seleziona sommando i vari costi cumulativi calcolati sulle varie scanlines:

⎭⎬⎫

⎩⎨⎧

= ∑∈Ni

id

best dpCpd ),(minarg)(


Approcci avanzati basati su SO e DP (cont.)

MRF, 4-connectedGraph (non orientato)

Standard DP and SO scanline-based tree

Use of edgesor segmentation [36]

Use of multiple scanlines [29] Use of multiple scanlines [37]

In generale, SO e DP vengono applicati su grafi orientati (tree) per avere problemi non NP-hard. Diversi modelli di grafi orientati sono stati proposti in letteratura su cui utilizzare queste tecniche in ambito stereo [37].


Accuratezza Vs. Efficienza

Efficienza(computation time)

Accuratezza(% errors)

Real-timeNear real-timeminuteshours…

100%(Ground Truth)

90%

80%

70%

60%

Graph Cuts BP

SO, DP

Variablesupport

Local


Stereo per applicazioni real-time

• Anche considerando l’algoritmo più semplice (locale, finestra fissa) la complessitàcomputazionale è molto elevata (I2 × W2 × D operazioni): è indispensabile un’implementazione “ottimizzata”.

• Ricerca coarse-to-fine: efficace anche ai fini della riduzione del carico computazionale (maggior efficienza: scaling anche della dimensione della finestra)

• Accelerazione HW: DSP [3], schede basate su FPGA [30, 31, 32] o chip dedicati [33].

• Schemi ricorsivi volti all’eliminazione delle operazioni ridondanti nel calcolo della funzione C(i,j,d) [3, 4, 17].

• Impiego delle istruzioni parallele di tipo SIMD (Single Instruction Multiple Data) orientate all’elaborazione di dati multimediali (e.g. MMX) disponibili nelle attuali CPU general-purpose [4].


Schemi di calcolo ricorsivi

Left

x

y

2n+1

2n+1

∑−=

+++−++=n

nji

iyjdxRiyjxLdyxSAD,

),(),(),,(

Right

x+d

y

2n+12n+1

Y+1 Y+1

),1,(),,(),1,( dyxUdyxSADdyxSAD ++=+

∑−=

++++−+++n

nj

nyjdxRnyjxL )1,()1,(=+ ),1,( dyxU ∑−=

−++−−+n

njnyjdxRnyjxL ),(),(−


Schemi di calcolo ricorsivi (cont.)

Left

x

y

2n+1

2n+1

Y+1

Right

x+d

y

2n+1

2n+1

Y+1

∑−=

++++−+++n

njnyjdxRnyjxL )1,()1,(=+ ),1,( dyxU ∑

−=

−++−−+n

njnyjdxRnyjxL ),(),(−

),1,(),,(),1,( dyxUdyxSADdyxSAD ++=+ [ ]max..0 dd ∈

x-n-1

y+n+1 D

x+d-n-1

y+n+1 D'

x+n

C

x+d+n

C'

y-n A y-n A'B B'

( ) ''''),1,1(,1, DDCCBBAAdyxUdyxU −−−+−−−++−=+

( ) ''''),1,1(),,(,1, DDCCBBAAdyxUdyxSADdyxSAD −−−+−−−++−+=+


Vincolo di unicità

• L’approccio di base area-based sfrutta il vincolo di unicità solo rispetto all’immagine di riferimento (L). E’ possibile allora sfruttare il vincolo di unicità anche rispetto all’altra immagine (R): se durante il processo di matching L-R pR risulta il miglior match sia per pL sia per p’L (“conflitto” su pR) allora fra i due possibile match si sceglie quello caratterizzato dal valore più elevato della funzione di correlazione [4].

• Questo approccio fornisce risultati molto simili al left-right check (che implica l’unicitàanche rispetto ad R) ma non richiede l’esecuzione della correlazione R-L.


Risultati con algoritmi real-time

SMP (Single MatchingPhase [4])

(www.middlebury.edu/stereo)

(Sawtooth (L), ground-truth disparity map)

SVS 2.0 (Small Vision System [34])


Risultati con algoritmi real-time (cont.)

SMP SVS ground-truth

SMP SVS ground-truth


Accuratezza Vs. Efficienza (2)

Efficienza(computation time)

Accuratezza(% errors)

Real-timeNear real-timeminuteshours…

100%(Ground Truth)

90%

80%

70%

60%

Graph Cuts BP

SO, DP

Variablesupport

Local SMP


Applicazioni

Le applicazioni della visione stereo sono numerose e svariate:

• Realizzazione di modelli 3D di oggetti mediante sistemi poco costosi rispetto ad altri approcci (es. laser scanner)

• Sistemi biometrici non invasivi, es. basati su face recognition

• 3D tracking


Applicazioni (cont.)

•3D people counting:

Conteggio automatico delle persone che attraversano un varco (fisico ma anche virtuale).



• Applicazione della visione stereo alla video-sorveglianza

• Realizzazione di un approccio che integra informazioni 3D e 2D per realizzare rilevazione del moto (motion detection

• L’integrazione opportuna delle informazioni 3D permette:

– l’eliminazione dei falsi positivi dovuti alle ombre

– una segmentazione più robusta rispetto al problema del camouflage

– robustezza nel confronto di distorsioni fotometriche rispetto al modello del background

– una segmentazione del foreground dal background proporzionale all’accuratezza della rilevazione dei bordi di profondità da parte dell’algoritmo di stereo matching utilizzato



•Guida automatica di veicoli (AutomaticGuided Vehicles, AGVs)

–DARPA Grand challenge , UrbanChallenge (2M$ first prize in 2007)

–Spirit e Opportunity rovers, esplorazione di Marte (2004)

Team Terramax vehicle, 2005 DARPA Grand Challenge


Bibliografia (1)

[1] E. Trucco, A. Verri “Introductory Techniques for 3-D Computer Vision”, Prentice Hall, 1998. [2] O. Faugeras “Three-Dimensional Computer Vision: A Geometric Viewpoint”, The MIT Press, 1993. [3] O. Faugeras et. al. “Real time correlation-based stereo: algorithm, implementations and applications”, INRIA Rapport de recherche N. 2013, 1993. [4] L. Di Stefano, M. Marchionni, S. Mattoccia “A Fast Area-Based Stereo Matching Algorithm”, Image And Vision Computing, Vol. 22, No. 12, Oct. 2004. [5] L. Matthies “Stereo vision for planetary rovers: stochastic modeling to near real-time implementation”, Int. Journ. of Computer Vision, 1992. [6] T. Kanade et. al. “A video-rate stereo machine and its new applications” Fast Area-Based Stereo MatchingAlgorithm”, Proc. 27th Int. Symp. on Industrial Robots, 1996. [7] K. Konolige “Small Vision Systems: Hardware and Implementation”, Proc. 8th Int. Symp. on Robotics Research, 1997. [8] H.K. Nishihara “Practical real-time imaging stereo matcher”, Optical Engineering, 1984. [9] R. Zabih, J. Woodfill “Non parametric local transforms for computing visual correspondence”, Proc. 3° EuropeanConf. On Computer Vision, 1994. [10] D. Bhat and S. Nayar, “Ordinal measures for image correspondence”, IEEE Trans. Pattern Recognition and MachineIntelligence, 20(4):415–423, April 1998.[11] A. Mittal and V. Ramesh, “An intensity-augmented ordinal measure for visual correspondence”, Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), volume 1, pages 849–856, 2006.[12] B. Xie, V. Ramesh, and T. Boult, “Sudden illumination change detection using order consistency”, Image and Vision Computing, 22(2):117–125, 2004


Bibliografia (2)

[13] F. Tombari, L. Di Stefano, and S. Mattoccia, “A robust measure for visual correspondence”, Proc. Int. Conf. on Image Analysis and Processing, 2007.[14] H.P. Moravec “Visual mapping by a robot rover”, Proc. of. 6th Int. Joint Conf. on Artificial Intelligence, 1979.[15] M.J. Hanna “SRI's Baseline Stereo System”, Proc. Image Understanding Workshop, 1985. [16] L. Robert, M. Buffa, M. Hebert “Weakly-calibrated stereo perception for rover navigation”, Proc. Fifth Int. Conf. on Computer Vision, 1995. [17] P. Fua “A parallel stereo algorithm that produces dense depth maps and preserves image features”, Machine Vision and Applications, 1993.[18] H. Hirschmuller, P. Innocent, J. Garibaldi “Real-time correlation-based stereo vision with reduced border errors”, Int. Journ. of Computer, 2002.[19] A. Bobick, S. Intille, “Large occlusion stereo”, International Journal of Computer Vision, 33(3):181–200, 1999.[20] S. Geman, D. Geman “Stochastic relaxation, gibbs distributions, and the bayesian restoration of images”. IEEE Trans. on PAMI, 1984.[21] S. T Barnard “Stochastic stereo matching over scale”, Int Journ. of Computer Vision, 1989. [22] D. Scharstein, R. Szeliski “Stereo matching with non linear diffusion”, Int. Jorn. of Computer Vision, 1998.[23] A. F. Bobick, S.S. Intille “Large occlusion stereo”, Int Journ. of Computer Vision, 1999. [24] Y. Boykov, O. Veksler, and R. Zabih “Fast approximate energy minimization via graph cuts”, IEEE Trans. on PAMI, 2001.[25] V. Kolmogorov, R. Zabih “Computing visual correspondence with occlusions using graph cuts”, In Eighth Intern. Conf. on Computer Vision, 2001.


Bibliografia (3)

[26] S. Roy and I. Cox, “A maximum-flow formulation of the n-camera stereo correspondence problem,” Proc. Int’l Conf. Computer Vision, pp. 492–499, 1998.[27] A. Klaus, M. Sormann and K. Karner, “segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure”, Int’l Conf. Pattern Recognition 2006.[28] F. Tombari, S. Mattoccia, L. Di Stefano, “Segmentation-based adaptive support for accurate stereo correspondence“, IEEE Pacific-Rim Symposium on Image and Video Technology, 2007[29] H. Hirschmüller,“Stereo vision in structured environments by consistent semi-global matching”, CVPR 2006.[30] J. Woodfill, B. Von Herzen “Real-time stereo vision on the PARTS reconfigurable computer”, Proc. IEEE Symp. On FPGA for Custom Computing Machines, 1998. [31] P. Corke, P. Dunn, J. Banks “Frame-rate stereopsis using non parametric transforms and programmable logic”, Proc. IEEE Conf. On Robotics and Automation, 1999.[32] Y. Jia, Y. Xu, W. Liu, C. Yang, Y. Zhu, X. Zhang, L. An “A Miniature Stereo Vision Machine for Real-Time Dense Depth Mapping”, 3th Int. Conf. Computer Vision Systems, 2003. [33] G. Van der Val, M. Hansen, M. Piacentino “The ACADIA Vision Processor”, 5th Int. Work. on Computer Architecture for Machine Perception, 2001.[34] Videre Design Home Page, http://www.videredesign.com.[35] D. Scharstein and R. Szeliski, “A taxonomy and evaluation of dense two-frame stereo correspondencealgorithms”, International Journal of Computer Vision, 47(1/2/3):7–42, 2002.[36] O. Veksler, “Stereo correspondence by dynamic programming on a tree”, Proc. IEEE Conf. on Computer Vision and Pattern Recognition, pages 384-390, 2005[37] M. Bleyer, M. Gelautz, “Simple but effective tree structures for dynamic programming-based stereo matching”, Proc. VISAPP, 2008


Bibliografia (4)

[38] S. Adhyapak, N. Kehtarnavaz, and M. Nadin, “Stereo matching via selective multiple windows”, Journ. of Electronic Imaging, 16(1):013012, 2007

[39] M. Okutomi and T. Kanade, “A locally adaptive window for signal matching”, Int. Journal of Computer Vision, 7(2):143–162, 1992.

[40] O. Veksler, “Fast variable window for stereo correspondence using integral images”, in Proc. Conf. Computer Vision and Pattern Recognition, pages 556–561, 2003.

[41] S. Kang, R. Szeliski, and J. Chai, “Handling occlusions in dense multi-view stereo”, in Proc. Conf. Computer Vision and Pattern Recognition, pages 103–110, 2001.

[42] S. Chan, Y. Wong, and J. Daniel, “Dense stereo correspondence based on recursive adaptive size multi-windowing”, in Proc. Image and Vision Computing New Zealand, volume 1, pages 256–260, 2003

[43] C. Demoulin and M. Van Droogenbroeck., “A method based on multiple adaptive windows to improve the determination of disparity maps” In Proc. IEEE Workshop on Circuit, Systems and Signal Processing, pages 615–618, 2005.

[44] M. Gerrits and P. Bekaert, “Local stereo matching with segmentation-based outlier rejection”, in Proc. Conf. Computer and Robot Vision, pages 66–66, 2006

[45] Y. Boykov, O. Veksler, and R. Zabih, “A variable window approach to early vision”, IEEE Trans. PAMI, 20(12):1283–1294, 1998

[46] O. Veksler, “Stereo matching by compact windows via minimum ratio cycle”, in Proc. Int. Conf. Computer Vision, volume 1, pages 540–547, 2001

[47] Y. Xu, D. Wang, T. Feng, and H. Shum, ”Stereo computation using radial adaptive windows”, in Int. Conf. Pattern Recognition, volume 3, pages 595– 598, 2002.

[48] K. Yoon and I. Kweon, “Adaptive support-weight approach for correspondence search”, IEEE Trans. PAMI, 28(4):650–656, 2006.

Dipartimento di Elettronica, Informatica e Sistemistica ...unina.stidue.net/Elaborazione di Segnali...

Documents

Transcript of Dipartimento di Elettronica, Informatica e Sistemistica ...unina.stidue.net/Elaborazione di Segnali...