Sviluppo e confronto di tecniche

di stima della traiettoriadi sensori 3D

LaureandoAndrea Bidinost

RelatoreProf. Felice Andrea Pellegrino

Tesi di Laurea Magistrale in Ingegneria Informatica

Università degli Studi di Trieste

Stimare la traiettoria imposta ad un sensore 3D

Obiettivo del progetto

Matrici di rototraslazione

r0,0 r0,1 r0,2 tx

r1,0 r1,1 r1,2 ty

r2,0 r2,1 r2,2 tz

r0,0 r0,1 r0,2 tx

r1,0 r1,1 r1,2 ty

r2,0 r2,1 r2,2 tz

r0,0 r0,1 r0,2 tx

r1,0 r1,1 r1,2 ty

r2,0 r2,1 r2,2 tz

Algoritmo di allineamento

Sequenza di

Traiettoria imposta

Robotica mobile (odometria)

Robotica industriale (pilotaggio di un braccio meccanico)

Ricostruzione virtuale

Casi d’utilizzo

Campo di ricerca (robotica): Simultaneous Localization And Mapping (SLAM)

Soluzione più diffusa: stereovisione

Approccio recente: acquisizione 3D (luce strutturata, Time of Flight)

Nel progetto: Iterative Closest Point (ICP), InverseDepth-ICP

Stato dell’arte

Due nuovi approcci per l’allineamento di una coppia di immagini: «Frame Based» e «Color Fusion»

Ambiente Matlab

Cosa ho realizzato

Algoritmi

Modello dei dati

Algoritmi

Immagine Infrarossi

Immagine di

disparità

Immagine di

profondità

Nuvola di punti

Input(coppie)

Algoritmo di riferimento

Input: coppia di nuvole di punti (origine e destinazione)

Iterazione di 5 fasi:

1. Selezione

2. Accoppiamento

3. Pesatura

4. Rigetto

5. Minimizzazione

Output: matrice di rototraslazione

Iterative Closest Point (ICP)

Algoritmi

Minimizza un funzionale d’errore che ha minimo assoluto nella rototraslazione che allinea perfettamente due nuvole di punti.

Selezione Estrazione di punti da nuvola di origine (casuale, selettivo)

AccoppiamentoAssociazione di ogni punto estratto con un punto della nuvola di destinazione (più vicino, criteri locali)

Pesatura Peso del contributo di un accoppiamento alla stima (costante, distanza, adattativa)

Rigetto esclusione di coppie (percentuale, soglia sul peso)

MinimizzazioneMinimizzazione del funzionale d’errore attraverso minimi quadrati (punto-punto, punto-piano)

Arresto Numero massimo di iterazioni o diminuzione dell’errore al di sotto di una certa tolleranza

Algoritmi

Dati due punti accoppiati

Generica rotazione (3 DOF)

Generica Traslazione (3 DOF)

Sistema (non lineare)

Nota: minimizzazione

Algoritmi

Spazio di profondità inversa:◦ errore di misura isometrico (altrimenti funzionale alla distanza dal

sensore)◦ si costruisce dall’immagine di disparità attraverso coefficienti di

calibrazione

Approssimazione a piccole rotazioni:

Stesse fasi e Output di ICP, trasformazione dell’Input in spazio di profondità inversa

Sfruttamento della linearità del nuovo sistema da minimizzare

Implementazione articolo «Robust Egomotion Estimation using ICP in Inverse Depth Space», D. Luis 2012

InverseDepth-ICP

Algoritmi

Idea: sfruttare l’informazione sulla posizione reciproca dei punti presente nell’immagine acquisita (disparità o profondità)

Nuovo modello dei dati: 3D-frame

Frame Based ICP

Algoritmi

Ricerca dei punti da accoppiare all’interno

una finestra

Sfruttare i punti vicini per caratterizzare la

regione locale da ricercare nell’immagine di

destinazione per l’accoppiamento

Input: coppie di frame di disparità (o

profondità)

Stesse fasi di ICP, ipotesi di piccole rotazioni

Output: matrice di rototraslazione

Algoritmi

Idea: sfruttare l’informazione sul colore dei punti data dall’acquisizione a colori per ottenere un accoppiamentovalido al primo tentativo

Input: coppie di immagini di profondità (o disparità) e relative acquisizioni a colori

Non è richiesta nessuna iterazione 3 Fasi:

1. SIFT e accoppiamento2. Pesatura e Rigetto3. Stima dei coefficienti rototraslazionali

Output: matrice di rototraslazione

Color Fusion

Algoritmi

Algoritmo per la caratterizzazione di punti notevoli in un’immagine a colori con invarianza a trasformazioni di scala, rotazione e luminosità. Estrae punti notevoli da immagini a colori Associa ad ogni punto notevole un vettore

di descrittori invarianti alle trasformazioni dell’immagine

Color Fusion - SIFT

Algoritmi

Implementazione utilizzata: VLFeat (Vedaldi, http://www.vlfeat.org/overview/sift.html)

Metodo per l’accoppiamento già disponibile

Color Fusion – SIFT (2)

Algoritmi

Risultati

Coppia consecutiva di acquisizioni (origine, destinazione) Nuvole di punti

Stima rototraslazione Allineamento

Accoppiamento (, ) Per ogni coppia, distanza euclidea Errore (mm): distanza media

Errore di allineamento

Risultati

Sequenza comune di acquisizioni

Valutazione errore di allineamento tra coppie di acquisizioni consecutive

Algoritmi confrontati◦ ICP (spazio euclideo, inverse depth)◦ Inverse depth ICP◦ Frame Based (spazio euclideo, inverse depth)◦ Color Fusion (spazio euclideo, inverse depth)

Metodo

Risultati

Distribuzione cumulata: numero di allineamenti affetti da un errore minore di…

Approccio standard: ICP spazio euclideo

Base di confronto

Errore (mm)

%

18

Risultati

Risultati notevoli

Errore (mm)5.8

ICP (Inverse Depth)

Risultati

%

Fame Based (Inverse Depth)

Errore (mm)5.4 7.3

Risultati

%

Color Fusion (Inverse Depth)

Risultati

9.5 Errore (mm)

%

Allocazione di memoria◦ Unità minima di allocazione: punto 3D

◦ Unità richieste (numero di punti da allocare)

◦ Landau:

◦ Metodi non più onerosi di ICP, Color Fusion più svantaggioso

Complessità computazionale

Risultati

Numero di operazioni (in funzione di)◦ Numero di pixel delle immagini ()◦ Numero di punti sottocampionati ()◦ Parametri di configurazione ()

Complessità computazionale

Risultati

Considerazioni sul numero di operazioni:

◦ Complessità sostanzialmente paragonabile per metodi su ICP (minimi quadrati, asintotico)

◦ Color Fusion metodo più oneroso per SIFT (un ordine di grandezza, asintotico)

◦ Frame Based approccio più leggero

Risultati

Conclusioni

Risultati

Utilizzo dello spazio di profondità inversa riduce l’errore di allineamento ma richiede conversione

Ottimi risultati dall’utilizzo dello spazio di profondità inversa con ICP

Confermati risultati dell’articolo implementato tramite InverseDepth-ICP

Sullo stato dell’arte

Conclusioni

Migliori risultati nell’errore di allineamento rispetto ad IC

Complessità computazionale paragonabile ad ICP, Frame Based metodo più vantaggioso

Color Fusion estende la possibilità di stima anche in ambienti sfavorevoli per ICP (piano ortogonale frontale) purchè in presenza di colori diversi

Sui metodi sviluppati

Necessità di test per approfondire le cause degli errori di allineamento

Implementazione più performante (C, GPU) in termini di tempo di esecuzione (real time)

Riscrittura per il calcolo parallelo,

Imposizione della traiettoria stimata ad un dispositivo semovente

Possibili sviluppi

Grazie per l’attenzione

Risultati