Studio della Geometria Epipolare per la Stima di ... · in Problemi di Robotica Mobile Relatore...

DII – Universita di Siena

Studio della Geometria Epipolareper la Stima di Traiettorie Planariin Problemi di Robotica Mobile

Relatore Tesi di laurea di

Chiar.mo Prof. Ing. Domenico Prattichizzo Gian Luca Mariottini

Correlatori

Chiar.mo Prof. Ing. Antonio Vicino

Ing. Jacopo Piazzi

A.A. 2001/2002 - Sessione Autunnale

DII - UNIVERSITA DI SIENA

Obiettivo principale della tesi

Progetto di algoritmi di Visual Servoing

per robot mobili con tecniche avanzate

di Geometria Epipolare.

robot in posizione attuale

robot in posizione desiderata

telecamera

P1

P2

S

S

1

2 Scopo :Utilizzo delle informazioni visive

(features) per controllare il moto di un

robot mobile dotato di telecamera da

una posizione iniziale (o attuale) verso

una posizione f inale o desiderata).

“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”


Telecamera: il modello pin-hole

PROIEZIONE PROSPETTICA

f Y

Z

f

X;Y;ZT( )=X

Z

Y

centro dellacamera

centro immagine

Π '

v

O

(punto principale)

v = f YZ

u = f XZ

PUNTO PRINCIPALE

y

x

pp xcam

ycam

f px f

py

(X, Y, Z)T

7→

(

fX

Z+ px, f

Y

Z+ py

)

Km ,

f 0 px

0 f py

0 0 1

ROTAZIONE e TRASLAZIONE

P = K[R|t]

CCD: K ,

α 0 x0

0 α y0

0 0 1



La Geometria Epipolare: definizioni

La Geometria Epipolare e definita a partire dalle immagini estratte da due telecamere.

O

l

u

R t;

O

l

u'

'

'

C C'

I I '

X

π

e e'

u'u

baseline

BaselineLa baseline e quella linea che unisce i

centri delle due telecamere.

Epipolo

L’epipolo e (e′

) e quel punto che ∈ I(I′

) di intersezione tra la baseline ed il

piano immagine.

Punti corrispondenti

I punti corrispondenti u ed u′

sono

le proiezioni, su due differenti piani

immagine, di uno stesso punto X.Piano EpipolareIl piano epipolare e quel piano contenente la baseline.

Linea Epipolare

La linea epipolare lu (l′

u′ ) e l’intersezione del piano epipolare con il piano immagine I (I ′

).

Rappresentazione algebrica della Geometria Epipolare ≡ Matrice Fondamentale F



La Geometria Epipolare: Matrice Fondamentale

z

e

e

z

Centro dirotazione

u

u

1

2'

'

X

R Rt

+

θ R

I

I '

C

C2

1

O

Asse dirotazione

robot in posizione attuale

robot inposizione desiderata

θ

RR

Rt

O

ex

e'x

Ipotesi di lavoro1. Moto planare del robot

2. Gli assi ottici si incontrano in un punto O

Proprieta. (Legge delle Corrispondenze)

Se u e u′

sono punti corrispondenti allora vale la seguente uguaglianza: u′T

Fu = 0



Parametrizzazione degli epipoli: Rt 6= 0

a

e

d

R R

c

f

b

I

θ

x

z

y2

2

2

he

I

ϕR t

x1

y1

z1

'

Se K 6= I ⇒ e′

x = −αxγ

β+ u0

a

m

R R

c

f

b

θ

x

z

y2

2

2

he

I

R t

x1

y1

z1

ψ

Se K 6= I ⇒ ex = −αxγ

γ sin θ−β cos θ+ u0

ove γ, sin θ, β, 1/p − cos θ, e p = (R + Rt)/R



Parametrizzazione degli epipoli

L’epipolo assume lo stesso valore per due angoli θi e θj differenti.

θ1

θ2

θ3

e2e1=

O1

O2

O3

e3

O

θ1

R

R

Rt

O

ex

θ2

θ1exθ2

=

S

PROBLEMA INTRINSECO DELLA PARAMETRIZZAZIONE!



Parametrizzazione:duplice soluzione

Scopo: Trovare θj t.c. e(θi) = e(θj)

In generale

θj , θi + S

S = 2 arctan(

p cos θi−1

p sin θi

)

da cui e possibile ricavare una

“zona di lavoro”...

θ ∈ (0, 3] ∪ [15, 90)deg.

p = 1.075

S

S

θi

e



Parametrizzazione di F: nuovo approccio

F = K′−T

EK−1 ove E = [t]×R inoltre K ,

αx 0 x0

0 αy y0

0 0 1

F =

1αx

0 0

0 1αy

0

− u0αx

− v0αy

1

0 −β 0

β cos θ − γ sin θ 0 γ cos θ + β sin θ

0 −γ 0

1αx

0 − u0αx

0 1αy

− v0αy

0 0 1

ove

γ , sin θ

β , 1

p− cos θ

ν ,β

αx

η ,γ

αx

si ha:

F =

0 −ν v0ν

ν cos θ − η sin θ 0 [αxη − u0ν] cos θ + [u0η + αxν] sin θ

v0[η sin θ − ν cos θ] u0ν − αxη v0[u0ν − αxη][cos θ − 1] − v0 sin θ[u0η + αxν]



Stima della Matrice Fondamentale F

Legge di controlloStima dellamatrice F

Epipoli

• Metodo lineare dei minimi quadrati:

minF

∑ni=1

(u′

i

TFui)

2

In teoria: 7 corrispondenze necessarie.

Nuova parametrizzazione: soli 2 punti.

Utilizzare i contorni ? (2 punti di tangenza)

• Metodo non lineare (Distanze Euclidee):

minF

n∑

i=1

(

1

(Fui)12 + (Fui)2

2+

1

(FT u′

i)12

+ (FT u′

i)22

)

(u′

i

TFui)

2

• Metodo non lineare (Gradiente):

minF

n∑

i=1

(u′

i

TFui)

2

(Fui)12

+ (Fui)22

+ (FT u′

i)12

+ (FT u′

i)22



Nuovo approccio alla stima della matrice F

Stima lineare (classica) della F 7 punti corrispondenti

necessari.

Stima della F(p,θ)Solo 2 punti corrispondenti

necessari.



Stima di F: i contorni apparenti

θ

Puntofrontiera

Xf

Γ

γ

Generatore dicontorno

ContornoApparente

CC '

p

r

Superficie M

R,t

Punti corrispondenti

Contorni apparenti

R , t Epipoli

La Geometria Epipolare aiuta a stimare gli epipoli dai contorni apparenti!!



La Geometria Epipolare con curve nello spazio 3D

θ

Puntofrontiera

Xf

Γ

γ

Generatore dicontorno

ContornoApparente

CC

u

1 γ21

2

Tangente

epipolare

e1 e2

Epipolo

Superficie M

f uf'

La Geometria Epipolare aiuta (tan-

genti al contorno) a trovare le

proiezioni del punto frontiera (punti

corrispondenti):

u′

f

T

Fuf = 0

1. p = p0 e θ = θ0 (initial guess)

2. Si calcolano e(p, θ),e′

(p, θ).

3. Si calcolano i punti u e u′

in cui si appoggia la tangente epipolare.

4. Avendo quindi u,u′

e F(p, θ) si calcola di(p, θ) (che e nullo per i valori veri).

5. Aggiorna i valori di p e θ.

6. Ripartire dal punto 1.



Stima di F dai contorni apparenti

Scopo: ∃! minF

∑

i(di)2 ove di , u

′

i

TFui

ATTENZIONE:u e u′

cambiano a seconda di dove si appoggia la tangente

2

1

2

1

1

2

u

u Ma allora:

di(p, θ,O,O′

) , u′

i(p, θ,O′

)TF(p, θ)ui(p, θ,O)

Si studia l’ESISTENZA ed UNICITA della soluzione parametrizzando

il contorno apparente




Oggetto 3D ≡ SFERA ⇒ Proietta in ellissi

t

f

r t

Immagine Immagine Attuale Desiderata

origine origine

e

ϕtangenteui

a

ui = ra cosϕi

vi = ra sinϕi

,ove ϕi = arccos

(

α√α2+β2

)

+ arccos

(

− γ√α2+β2

)

,ove

α , ex − tx;

β , −ty ;

γ , −ra;

. di(p, θ) , u′

i(p, θ)TF(p, θ)ui(p, θ)

Se di(pstim, θmin) e minimo ⇒pstim = pvero

θstim = θvero

⇒ Posizione relativa delle telecamere.




d1 d2+θ(p , ) θ(p , )

θ

p

Stima di p

θ

d1 d2+θ(p , ) θ( , )vero p

vero

Stima di θ

I minimi esistono unici !



Risultati sperimentali (1 oggetto)

A

R Rt+

R

Β

θ

pvero = R+Rt

R= 1;

θvero = 36◦;

Funzionale Lineare Funzionale Non Lineare

(Dist Geom.)

Funzionale Non Lineare

(Grad.)



Risultati sperimentali (2 oggetti)

pvero = R+Rt

R= 0.98;

θvero = 10◦;

Funzionale Lineare Funzionale Non Lineare (Dist

Geom.)Funzionale Non Lineare (Grad.)



Visual Servoing per robot olonomo

Robot Olonomo ⇒ nessun vincolo cinematicoDinamica :

Xa = ux

Ya = uy

αa = ω

Xa

Ya

zc

xc

<b> X

Y



Visual Servoing per robot olonomo

Ca

Ca'R

R

Cd

θ

Ο

R

t Ci

Cd

θ

Ο

ϕd

ϕa

ψ

C '

R0R −R0

Ο

• 1◦ Passo TraslazioneCa → C′

a

Rt(t) = λeu(t), λ > 0 ove eu(t) =1

feax

+1

fedx

• 2◦ Passo Rotazione daC′

a aCd

˙ψ(t) = −λaes(t) λa > 0 ove es(t) =1

feax

− 1

fedx

10

20

30

40

50

60

2030

4050

60

202

Tel.Desiderata

Caso di moto rotatorio per diverse stime iniziali di R

Tel. Attuale

L=4

L=3

L=2 L=1

L=0.1=0.01



Visual Servoing per Robot Anolonomo

Modello Cinematico

x

y

θ

=

− sin θ 0

cos θ 0

0 1

u

ω

• 1◦ Passo: Spostamento

da C a Ci

• 2◦ Passo: Traslazione da

Ci a Cd

θ

πa

πd

C

Ci

Cd

πi

eaed

e

Traiettoria

anolonoma



Visual Servoing per Robot Anolonomo: 1◦ PassoSistema MIMO

⇓

x = −v sin θ

y = v cos θ

θ = ω

y1 = eax

y2 = edx

Linearizzazione Ingresso-Uscita

⇓

Trasformare dinamiche sist. non

lineare in lineari: convergenza uscita

(epipoli) a zero!

Matrice E(x) di disaccoppiamento: y(r) 7→ u

f [− sin(θ(t))β + cos(θ)γ] fα

f[

Y (t) sin(θ(t))−X(t) cos(θ(t))Y 2(t)

]

0

Non singolare!

Ingresso Linearizzante

u = E−1(x)

ν1

ν2

︸︷︷︸

ν(t)

ove

ν(t) = yd(t) − Ke(t) ed

e =

ea(t) − edes

a (t)

ed(t) − edesd

(t)

da cui

˙e(t) + Ke(t) = 0

Il controllo dipende anche da X!



Visual Servoing per Robot Anolonomo: 2◦ Passo

Idea:Si usano direttamente i perimetri dei contorni estratti!Schema del V.S.

Uniciclo πi

Calcolo

perimetro

L:d:C:v

vCCD i

πd

CCDd

ω

ω

p

p

πi

πd

Idea

Legge di Controllo

ω = 0

v = λ(pπd − pπi), λ > 0



Sviluppi futuri

Progetto di un controllo IBVS basato sui contorni

apparenti nel caso tridimensionale.

Studio del Tensore Trifocale T per la sintesi di algo-

ritmi di Visual Servoing robusti da tre immagini di una

medesima scena 3D.

Studio ed utilizzo della Geometria Epipolare Estesa per

il visual servoing di un Team di Robot.

Utilizzo delle tecniche epipolari per la ricostruzione

virtuale di ambienti e oggetti reali.



Conclusioni

Lavoro svolto:

X Parametrizzazione a due gradi di liberta della matrice F (caso K generale)

X Studio delle proprieta dei contorni apparenti per stimare la geometria

epipolare

X Innovativa parametrizzazione del contorno apparente, forma esplicita del

funzionale di costo e studio dell’esistenza ed unicita della soluzione del

problema di stima della Matrice Fondamentale.

X Realizzazione della Legge di Controllo IBVS per veicoli olonomi.

X Studio della dinamica degli epipoli per la sintesi di una Legge di Controllo IBVS

per veicoli anolonomi.


Studio della Geometria Epipolare per la Stima di ... · in Problemi di Robotica Mobile Relatore...

Documents

Transcript of Studio della Geometria Epipolare per la Stima di ... · in Problemi di Robotica Mobile Relatore...