ROBOTICA MOBILE Sensori - ladispe.polito.it · rispetto a un riferimento fisso Guide a ultrasuoni...

Basilio Bona – DAUIN – Politecnico di TorinoAA 2007/08 001/1

RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

ROBOTICA MOBILE

Sensori

Basilio BonaDAUIN – Politecnico di Torino


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori per la Robotica

Sensori propriocettivi (PC)– Misurano grandezze “proprie” cioè relative allo stato interno del

robot: es. velocità delle ruote, coppie motrici, carica delle batterie, accelerazione, assetto, ecc.

Sensori eterocettivi (EC)– Misurano grandezze esterne al robot, cioè proprie dell’ambiente in

cui il robot opera: ed. distanze da muri, campo magnetico, posizione di oggetti, ecc.

Sensori passivi (SP)– Per effettuare le misurazioni utilizzano l’energia fornita

dall’ambiente (non confondere con l’energia necessaria per essere alimentati)

Sensori attivi (SA)– Utilizzano la propria energia, ma in questo modo possono

modificare l’ambiente


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori per la Robotica

Sensori analogiciSensori digitaliSensori continuiSensori binari ON/OFF

Sensori analogici ON/OFF, sensori digitali continui, sensori analogici continui, sensori digitali ON/OFF


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori

Telecamera 360o

Telecamera convenzionale (pan-tilt=brandeggiabile)

Sonar

Laser Scanner

IMU=Inertial Measurement Unit

Encoder alle ruote motrici

Bumpers=contatto

Ruota passiva


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori

EC – SP/AInclinometri

EC – SAGuide (Beacons) ottiche o RF

EC – SAGPS (solo per outdoor)

Sensori di posizione cartesiana rispetto a un riferimento fisso EC – SAGuide a ultrasuoni

EC – SAGuide a riflessione

Sensori di orientamento rispetto a un riferimento fisso

Sensori alle ruote motrici

Sensori tattili o di “vicinanza”

Categoria

PC - SPGiroscopi

EC - SPBussole e girobussole

PC - SAEncoder ottici, magnetici, effetto Hall, induttivi, capacitivi, syncro e resolver

PC - SPEncoder potenziometrici

EC - SASensori di distanza (induttivi/capacitivi)

EC - SASensori di prossimità(induttivi/capacitivi)

EC - SPSensori di contatto (on/off)

TipoSensore


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori

EC - SALuce strutturata (2D)

EC - SATriangolazione ottica (1D)

EC - SASoluzioni integrate (package) per object tracking

Sensori di visione: distanza, analisi features, segmentazione, object recognition

Sensori di velocità relativa a oggetti fissi o mobili

Sensori attivi di distanza (active ranging)

Categoria

EC - SASoluzioni integrate (package) per visual ranging

EC - SA(Tele)-camere CCD o CMOS

EC - SASuono doppler

EC - SARadar doppler

EC - SALaser range finders (Laser scanners)

EC - SASensori a ultrasuoni

EC - SASensori a riflessione

TipoSensore


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Caratteristiche di un sensore

Trasduttore = Sensore (per semplificare le definizioni)RisoluzioneRipetibilitàPrecisione/AccuratezzaIsteresiCoefficiente di temperaturaLinearità– Funzione di Trasferimento– Range dinamico– Ampiezza di banda

Rumore e disturbi: rapporto segnale/rumore


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Caratteristiche di un sensore

Problematiche legate al rumore/errore/disturbo: modellazione con segnali stocastici


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Rumore

Shot noiseRumore termicoFlicker noiseBurst noiseAvalanche noise


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Shot noise


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Rumore termico


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Flicker noise


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Burst e Avalanche noise


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Colore dei rumori


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Noise Floor – Rumore di fondo


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Le sfide della robotica mobile

Obbiettivo: percepire, analizzare e interpretare lo stato dell’ambiente intorno al robotLe misure cambiano (sono relative a oggetti che hanno una loro dinamica) e sono fortemente affette da errore/rumoreEsempi:– Variabilità dell’illuminazione– Riflessioni– Superfici diversamente assorbenti/riflettenti suono e luce– Sensitività della misura alla posa e all’ambiente


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Le sfide della robotica mobile

Comportamento dei segnali dei sensori modellato da una distribuzione statistica– Si conosce poco o nulla delle cause degli errori random– Si usa spesso una distribuzione gaussiana o simmetrica, ma ciò

può essere molto sbagliato

Esempio:– I sensori a ultrasuoni (sonar) possono sovrastimare la distanza e

quindi non hanno una distribuzione simmetrica dell’errore– Bisogna considerare diverse situazioni: quando il segnale ritorna

direttamente o quando ritorna dopo riflessioni multiple– La visione stereo può correlare due immagini in modo scorretto e

generare risultati senza senso


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Questi punti vanno correlati: come cercarli nelle due immagini?

Correlazione immagini stereo


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Encoder

Misurano la posizione o la velocità dei vari motori presenti sul robotLe misure vengono integrate per generare una stima della posizione (odometria)Forniscono misure (imprecise) rispetto al riferimento locale (propriocettori)


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Encoder


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori di orientamento (Heading)

Possono esser PC (giroscopi, inclinometri) o EC (bussole) o misti (girobussole)Permettono di misurare l’angolo sia orizzontale sia verticale rispetto a una direzione di riferimentoCongiuntamente a misure di velocità, permettono di integrare il moto, per stimare una posizione Questa procedura si chiama dead reckoning ed è propria della navigazione marittima


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Bussole

Strumento conosciuto fin dall’antichitàDipende dal campo magnetico terrestre (misura assoluta)Metodi: meccanico, effetto Hall, effetto magnetostrittivoLimiti– Debolezza del campo magnetico terrestre– Facilmente disturbato dalla presenza di oggetti metallici nei

dintorni– Poco adatto per navigazione indoor


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Giroscopi

Misura assoluta, in quanto mantengono l’orientamento iniziale rispetto ad un sistema di riferimento fissoSono meccanici oppure otticiMeccanici– Standard (assoluti)– Rated (differenziali)

Ottici– Rated (differenziali)


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Concetto: proprietà inerziali di un rotore che ruota velocemente: fenomeno della precessioneIl momento angolare mantiene l’asse della ruota stabileNessuna coppia è trasmessa dal supporto esterno all’asse della ruotaLa coppia di reazione è proporzionale alla velocità di rotazione, all’inerzia e alla velocità di precessione

Giroscopi meccanici

τ ΓωΩ=

Se l’asse di rotazione viene allineato lungo il meridiano N-S, la rotazione della Terra non influisce sulla misuraSe viene puntato lungo la direzione E-O, l’asse orizzontale misura la rotazione della Terra


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Gimbal=giunto cardanico

Giroscopi meccanici

Asse di rotazione


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Giroscopi differenziali

Stesso concetto costruttivo, ma i giunti cardanici sono vincolati da una molla a torsione.– Si misura una velocità angolare invece di un angolo

Altri giroscopi usano l’effetto delle forze di Coriolis per misurare le variazioni di assetto (ad es. Analog Device ADXRS150 e ADXRS300)


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Giroscopi ottici

Utilizzano due raggi laser o monocromatici originati dalla stessa sorgente e “iniettati” in una fibra ottica avvolta intorno a un cilindroUno gira in un senso, l’altro in senso oppostoIl raggio che gira nella direzione di rotazione– Percorre un cammino più corto, mostra una frequenza maggiore– La differenza di frequenza tra i due raggi è proporzionale alla

velocità angolare del cilindro

Sono sensori a stato solido che possono facilmente essere integrati direttamente su silicio insieme all’elettronica


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Beacon

Sono degli apparati di guida con una posizione assoluta nota. Si chiamano anche landmarks e possono essere naturali o artificiali– Conosciuti e usati fin dall’antichità: sole montagne, campanili,

fari

Insostituibili per interni, dove il GPS è inefficaceCostosi, richiedono interventi sull’ambienteNon facilmente adattabili a variazioni dell’ambiente


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

GPS


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori di distanza

Detti anche range sensors, misurano distanze “grandi”Utilizzano il “tempo di volo” (time-of-flight)Si adoperano sensori a ultrasuoni o laser che utilizzano la conoscenza della velocità del suono o della luce per ricavare la distanza

d ct=

Distanza (andata e ritorno)

Tempo impiegatoVelocità dell’onda

(sonora/elettromagnetica)


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori di distanza

Velocità di propagazione del suono 0.3 m/msVelocità di propagazione della luce (nel vuoto) 0.3 m/nsRapporto 106

3 m– 10 ms per il suono– solo 10 ns per un sensore laser– difficile da misurare– sensori laser costosi e delicati


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori di distanza

La qualità delle misure dipende da– Incertezze sul tempo di arrivo del segnale riflesso (laser e sonar)– Incertezze sul tempo di volo (laser)– Angolo di apertura della trasmissione (sonar)– Interazioni (assorbimento ecc.) con la superficie– Variazione della velocità di propogazione– Eventuale velocità del robot o dell’oggetto


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori a ultrasuoni

Viene generato e trasmesso un pacchetto di onde sonore (di pressione) il cosiddetto chirpLa distanza dall’oggetto che riflette il pacchetto è semplicemente

2ct

d =

La velocità del suono nell’aria è data da

rapporto calore specificocostante del gastemperatura in gradi Kelvin

c RTcRT

γ====


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensore a ultrasuoni


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori a ultrasuoni

Frequenze usate 40-200 kHzGenerate da un sorgente piezoelettricaTrasmettitore e ricevitore possono essere separati o noIl suono di propaga in un cono– Angoli di apertura 20-40 gradi

Distribuzione spazialedell’intensità


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori laser

Raggio trasmesso e ricevuto coassialiRaggio collimato che illumina il bersaglioIl ricevitore misura il tempo di volo (andata e ritorno)Ci può essere un meccanismo per variare alzo e angolo (misure 2D o 3D)


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori laser

Laser pulsati: si misura direttamente il tempo (dell’ordine dei picosecondi)Frequenza di battimento tra una modulante e l’onda riflessaRitardo di fase– È più facile da realizzare tecnicamente dei due precedenti metodi


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori laser

velocità della lucefrequenza della modulantedistanza totale percorsa

MHz m

22

5 60

cD L D L

f

cfD

f

θλ λ

π

λ

′= = + = +

==′ =

= =

La confidenza nella stima della fase (e quindi della distanza) è inversamente proporzionale al quadrato dell’ampiezza del segnale ricevuto


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori laser

Immagine tipica da un laser scanner con specchio rotante.La lunghezza dei segmenti intorno ai punti di misura indica l’incertezza


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Triangolazione

Si proiettano raggi di luce o pattern bidimensionali (light sheets)La luce riflessa è catturata da un sensore lineare o a matriceSi usano semplici relazioni trigonometriche


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Triangolazione

LD f

x=


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Luce strutturata

tanH D α=


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Luce strutturata

Elimina il problema di trovare le corrispondenze proiettando un pattern noto sulla scenaI pattern sono rilevati e interpretati da una videocameraLa distanza da un punto illuminato può essere calcolata utilizzando semplici relazioni geometriche


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Luce strutturata

Schema di principio monodimensionale

cot

cot

bux

f u

bfzf u

α

α

=−

=−


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Visione

Per gli esseri umani la vista (visione) è il senso piùimportante. La visione comprende tre fasi – Ricezione/trasduzione mediante l’occhio– Trasmissione mediante i nervi ottici– Elaborazione nei centri della visione del cervello


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Visione naturale


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Visione naturale

La risonanza magnetica dinamicarivela le aree del cervello

interessate ai fenomeni neurali associati alla visione

chiasma ottico


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Visione artificiale

Telecamera (o videocamera o camera)Frame grabberCPU


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Linee parallele Linee convergenti

Visione artificiale

Proiezione da mondo 3D su un piano 2D: effetti di prospettiva e proiezione (matrici di trasformazione)Effetti della discretizzazione dovuta ai pixel del trasduttore (CCD o CMOS)Effetti di errore di disallineamento


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

asse ottico

piano immagine principalepiano focale

piano immagine riflesso

Visione artificiale


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Visione artificiale


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Riscalamento Correzioneottica

Visione artificiale

Applicazione di numerose trasformazioni rigide e prospettiche


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

y

x

x

y

Visione artificiale


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

f

P′

P′′

P

cCiC

ck

ci

cz

−f

cx

′ix

πrπ

A

Visione artificiale


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Visione artificiale


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori di visione

Sensori di distanza– profondità dal fuoco (depth from focus)– visione stereo

Moto e flusso otticoSensori di colore


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori di visione

Profondità dal fuoco (depth from focus)


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Sensori di visione

Messa a fuoco vicina Messa a fuoco lontana


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Vision in General

Vision provides us with a large amount of information about the environment and enables us to interact intelligently with it, without direct physical contact

It is therefore not surprising that an large amount of effort has occurred to give machines a sense of vision

Vision is also our most complicated sense. Whilst we can reconstruct views with high resolution on photographic paper, the next step of understanding how the brain processes the information from our eyes is still in its infancy

Vision

Vision is the most important sense


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Vision

An image is the projection of a 3 dimensional scene onto a 2 dimensional plane.

In order to recover some information from the image, edge detectors are usually used to find the contours of the objects.

Algorithms use the edges to provide the necessary information required to reconstruct the 3-D scene.

Even in simple situations, the edge fragments are not perfect, and careful processing is required to recover a clean line drawing representing the complete outline of objects.

Therefore the interpretation of 3-D scenes from 2-D images is not a trivial task.

Using stereo imaging or triangulation methods, vision can become a powerful tool for environment analysis.


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Vision-based Sensors: Hardware

CCD (Coupled Charge Device, light-sensitive, discharging capacitors of 5 to 25 micron)

2048 x 2048 CCD array

CMOS (Complementary Metal Oxide Semiconductor technology)

Vision-based Sensors: Hardware


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Rescaling

Opticalcorrection

Artificial Vision Geometry

Several geometrical (rotations & translations) and perspective transformations are necessary to recover the relation between pixel image and 3D object


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

( )

( )

/ 2 / 2,

/ 2

/ 2

r

r

r

r

r

r

r

x xx b x bf z f zx x bf zx x

x bx xy y

y by yf

z bx x

+ −= =

−=

+=

−+

=−

=−

Idealized camera geometry for stereo visionDisparity between two images → Depth computation

Geometric optical principles

left lens right lensx

z

( ),r rx y( ),x y

( ), ,x y z

f

bbaseline


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Distance is inversely proportional to disparity

closer objects can be measured more accurately

Disparity is proportional to b.

For a given disparity error, the accuracy of the depth estimate increases with increasing baseline b.

However, as b is increased, some objects may appear in one camera, but not in the other.

A point visible from both cameras produces a conjugate conjugate pairpair

Conjugate pairs lie on epipolar line (parallel to the x-axis for the arrangement in the figure above)

Stereo Vision


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

These two points are corresponding: how do you find them in the two images?

Stereo points correspondence

LEFT RIGHT

Disparity

rightleft


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Epipolar lines

epipolar lines

corresponding points lie on the epipolar lines

these two points are knownand fixed

cameracenterpoint camera

centerpoint


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Stereo Vision

Stereo Vision

Calculation of Depth

– The key problem in stereo is how to solve the correspondence problem

Gray-Level Matching

– match gray-level waveforms on corresponding epipolar lines

– “brightness” = image irradiance I(x,y)

– zero-crossing of Laplacian of Gaussian is a widely used approach for identifying feature in the left and right image


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Stereo Vision

Zero crossing of Laplacian of Gaussian

Identification of features that are stable and match well

Laplacian of intensity image

Step/edge detection of noisy image: filter through gaussian smoothing

2 2

2 2( , ) ;

I IL x y L P I

x y∂ ∂

= + = ⊗∂ ∂

0 1 0

1 4 1

0 1 0

P

⎡ ⎤⎢ ⎥⎢ ⎥= −⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦

1 2 112 4 2

161 2 1

G

⎡ ⎤⎢ ⎥⎢ ⎥= ⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦


RO

BO

TIC

A –

01

CFI

DV

02

CFI

CY

Stereo Vision

L R

VERTICAL FILTERED IMAGES

Confidence image Depth image

ROBOTICA MOBILE Sensori - ladispe.polito.it · rispetto a un riferimento fisso Guide a ultrasuoni...

Documents

Transcript of ROBOTICA MOBILE Sensori - ladispe.polito.it · rispetto a un riferimento fisso Guide a ultrasuoni...