Anno Accademico 2005/2006 Tommaso Guseo tommy Lezione del 14 marzo 2006 Spazi dei colori, Bayer...

Anno Accademico 2005/2006Tommaso Guseo

http://robotics.dei.unipd.it/~tommy

Lezione del 14 marzo 2006

Spazi dei colori, Bayer pattern e robotica umanoide

Lezione: 14 marzo 2006Tommaso Guseo

Sommario della lezione

• Il sistema visivo umano

• Modelli per gli spazi dei colori.

• L’interpolazione del Bayer Pattern.

• Il robot umanoide Leonardo.


• Le cellule visive sono formate da coni e bastoncelli.

• I bastoncelli sono attivi al buio e in condizioni di bassa luminosità.

• Alla luce del giorno solo i coni sono responsabili della visione.

• I coni sono sensibili a 3 differenti lunghezze d’onda.

Il sistema visivo umanoLa tricromia

Il sistema visivo umano Modelli per gli spazi dei colori

L’interpolazione del Bayer PatternIl robot umanoide Leonardo

Il sistema visivo umano


Il sistema visivo umanoLa tricromia



La Tricromia

• Esperimenti hanno dimostrato la necessità di tre componenti cromatiche per poter ricostruire un colore.

• L’occhio umano è più sensibile alla componente verde rispetto alla rossa e alla blu.

• I tre stimoli CIE hanno valore X,Y,Z.


Tiziano, Flora (1515), Firenze Uffizi

Esempio tratto dal dizionario Webster:

Rosso Tiziano:

“Un arancione tendente al bruno che appare un po’ più giallo e chiaro del marrone spezia, come pure del marrone prateria e del marrone di Windsor, ma un po’ più rosso e scuro del colore ambra o del fagiano dorato”

(“Luce colore visione”, Editori Riuniti)




Modelli per gli spazi dei colori

Lo spazio XYZ Lo spazio CYMKLo spazio RGBLo spazio YUVGli spazi HSx (HSI/HSV/HSL)




• Necessità di un modello per definire i colori in maniera standard, condivisa e comunicabile.

• Standard Hardware: RGB (Red, Green, Blue): monitor e telecamere;

CMYK (Cyan, Magenta, Yellow, blacK): stampanti;

YCbCr, YUV: nelle trasmissioni per la televisione.

• Standard Software per l’elaborazione: RGB (Red, Green, Blue): monitor e telecamere;

YUV (luminance, chrominance);

HSI/HSV (Hue, Saturation, Intensity/Value).





• La somma di due colori primari produce un colore Es.: R+G= giallo, R+B=magenta, B+G=ciano.

• Ciano (C), magenta (M) e giallo (Y) sono colori secondari o complementari.

• Miscelando i tre primari o un secondario con il suo primario opposto, nella giusta intensità, produce bianco.

Sintesi additivaSomma di onde luminose di diversa frequenza che raggiungono il nostro occhio (monitor e TV)





• Si parte dalla luce bianca sottraendo, per assorbimento alcune componenti dello spettro, fino ad arrivare al nero.

• Ciano (C), magenta (M) e giallo (Y) sono colori primari di questo spazio, spesso assieme al nero (K).

Sintesi sottrattivaLa luce bianca (emessa dal una sorgente luminosa)

colpisce il pigmento e ne viene selettivamente riflessa (ovvero selettivamente assorbita).





Le caratteristiche che si usano per distinguere un colore da un altro sono tinta, saturazione e brillantezza.

Tinta, saturazione e brillantezza

Tinta (Hue): • legata alla lunghezza d’onda dominante;• la tinta è l’attributo fondamentale di un colore: quando chiamiamo un colore arancio, rosso o giallo stiamo specificando la tinta.





Saturazione (Saturation): • si riferisce alla purezza relativa del colore ovvero alla quantità di bianco aggiunto al colore puro;

• rosa è meno saturo del rosso;• i colori puri sono pienamente saturati;

Brillantezza (Brightness):• è legato alla nozione acromatica di intensità;• è un attributo soggettivo e difficile da misurare;• alcune tinte sono implicitamente più luminose (brillanti) di altre.





• Hue e saturation assieme si chiamano cromaticità;

• Un colore è descritto dalla sua luminosità e cromaticità.

• Un modo di specificare i colori è il diagramma di cromaticità CIE.

• CIE: Commission Internationale de l'Eclairage, è l’istituzione che regola la definizione dei sistemi di colore.





Lo spazio XYZ

ZYX

Zz

ZYX

Yy

ZYX

Xx

,,

Normalizzando i coefficienti X,Y,Z si hanno i cosiddetti coefficienti tricromatici:

Si noti che x + y + z = 1, quindi z = 1 - x – y ;





• Sono coefficienti (positivi) che dipendono solo dal valore di tinta e saturazione (croma) e sono indipendenti dalla brillantezza.

• La componente del rosso e del verde variano rispettivamente lungo l’asse x e y.

• L’asse del blu (z) è perpendicolare al piano.

• Il diagramma rappresenta tutti i valori cromatici visibili, ma NON la brillantezza.

• I colori corrispondenti a punti interni sono misture di colori puri.

• Il diagramma è utile nella miscela di colori, poiché una linea retta tra due punti rappresenta tutti i diversi colori che si possono ottenere dalla combinazione additiva dei due.





Legge di Grassman

• La combinazione di tre colori è definita dal triangolo che ha i tre punti per vertici.





Lo spazio RGB

• Il classico spazio dei computer;

• 3 canali differenti in relazione ai tre stimoli;

R

G

B





• Nel modello RGB, un colore è definito da 3 componenti che rappresentano i colori primari.

• Per convenienza, si normalizzano le componenti in modo da avere un cubo con componenti RGB appartenenti all’intervallo [0,1].

• Tutti i colori che giacciono all’interno del cubo possono essere riprodotti da un sistema di riproduzione che si basa sui colori primari (monitor).





Original ImageOriginal Image R-ComponentR-Component

G-ComponentG-Component B-ComponentB-Component





Lo spazio YUV

• Modello usato per lo standard di trasmissione televisivo PAL.

• La componente Y è la luminanza ed è la sola che serve per la visualizzazione in bianco e nero.

• La crominanza è rappresentata da UV Piano UV per Y=0.5





RGB->YUV in forma ANALOGICA

YUV->RGB in forma DIGITALE con saturazioni [16,240]

Y

U

V






• YCbCr usato in JPEG ed MPEG, YIQ usato in NTSC.

• La componente Y (luminanza) e le compoenti UV (crominanza) sono ortogonali.

• Una variazione della luminosità influisce esclusivamente sulla luminanza e non sulle componenti di crominanza.

• Il nostro sistema visivo è più sensibile ai cambi di luminanza che di crominanza: si assegna più risoluzione alla componente Y e meno alle altre 2





IntensityOriginal Image

U-Component V-Component





Gli spazi HSx (HSI / HSV / HSL)

Richiamo:

• Hue è l’attributo che descrive il colore puro;

• Saturation è una misura del grado di purezza con cui il colore puro è diluito con la luce bianca;

La componente Intensity (I), o Value (V), Lightness (L) è ortogonale alle componenti cromatiche (HS).

L’ortogonalità permette di ottenere l’informazione cromatica indipendentemente dall’illuminazione.





• Hue (H) è definita come angolo fra 0 e 2:

• “red” at angle of 0;• “green” at 2/3;• “blue” at 4/3.

• Saturation (S) modella la purezza del colore:

• S=1 for a completely pure or saturated color; • S=0 for a shade of “gray”.





• Lo spazio HSI o i suoi simili, risultano essere molto utili nella scelta dei colori e molto impiegati ad esempio nei programmi di fotoritocco per la ortogonalità delle componenti.

S

H

I,V,L





Original Image Hue

Saturation Intensity





Lo spazio CYMK• Il modello CMY (Cyan, Magenta, Yellow), è usato nella stampa a colori.

• Cyan, Magenta, Yellow sono i colori primari dei pigmenti (secondari nella luce).• A differenza di tutti quelli visti finora si basa sulla sintesi sottrattiva del colore.

• La stampa del colore viene invece fatta sovrapponendo inchiostro colorato sulla carta bianca, che non emette ma riflette la luce incidente.





Lo spazio CYMK

• In generale, il pigmento assorbe (sottrae) dalla luce (bianca) i colori complementari al suo e riflette il resto.

• Per vedere il nero basterebbe miscelare in parti ugyuali i tre pigmenti. In realtà si ottiene un colore marrone, quindi si preferisce aggiungere il nero direttamente (blacK) CMYK.

B

G

R

Y

M

C

1

1

1

Ad esempio che il ciano puro assorbe il rosso…




VGA Bayer patternQVGA Bayer patternPeriodic Reconstruction InterpolationStima dell’efficacia dei metodi di interpolazione

L’interpolazione del Bayer Pattern

• Come più volte evidenziato per ricostruire un colore sono necessarie tre componenti.• Due metodi per ottenere le tre componenti necessarie:

3-CCD, 3-CMOS sensor; Color Filter Array (CFA) come il Bayer pattern.





Il Bayer pattern, rispetto alla tecnologia 3-CCD presenta alcuni vantaggi:• Necessità di un solo sensore;• Non sono necessari prismi;• Non è necessario l’allineamento;• Costo e dimensioni inferiori;• Peso inferiore: dispositivi portatili.In compenso l’informazione del Bayer pattern è campionata. In ogni pixel è necessario ricostruire le componenti mancanti, si parla di DEMOSAICING.





Il VGA Bayer pattern è il CFA attualmente più diffuso nei dispositivi fotografici.In letteratura sono presenti numerosi metodi di interpolazione, ne analizzeremo 3.

• Nearest Neighbor Replication (NNR)

• Bilinear Interpolation (BI)

• Linear Interpolation with Laplacian Second-order Correction Terms (LIL2)

L’interpolazione del VGA Bayer Pattern





Nearest Neighbor Replication• Le componenti mancanti vengono interpolate con i valori dei pixel vicini.• Il più vicino può essere in qualsiasi delle quattro direzioni fondamentali, sopra, sotto, sinistra o destra.





PREGI: • L’interpolazione computazionalmente più veloce.

DIFETTI:• Propagazione alcune componenti cromatiche.• Creazione di molti falsi colori che possono creare problemi a livello di image processing.• Zipper effect: transizioni a gradiente elevato risultano essere molto frastagliate.• L'immagine interpolata tende ad essere rumorosa.

Nearest Neighbor Replication (cont.)





Bilinear Interpolation• Le componenti mancanti vengono interpolate con un’interpolazione bilineare dei pixel vicini.• Le componenti possono essere interpolate contemporaneamente.





• Verde (b):

• Blu (c):

• Rosso (d):

• Rosso (e):

• Blu (f):

Bilinear Interpolation (cont.)





PREGI: • Questo algoritmo risulta molto efficiente e spesso costituisce la base per altri migliori.

DIFETTI:• Il colore “puro” di pixel adiacenti può cambiare in maniera brusca.• Effetto di blur: l'intera immagine è soggetta ad un filtraggio di tipo passa basso.• Zipper effect ridotto ma non eliminato.

Bilinear Interpolation (cont.)





Adattativo = opera in modo differente adattandosi alla variabilità tipica dell’immagine in esame.

Linear Interpolation w. Laplacian 2° Correction• Le componenti mancanti vengono interpolate in maniera adattativa, seguendo i gradienti cromatici.• Massime performance nel caso di immagini con edge verticali o orizzontali.• Prioritaria l'interpolazione dei pixel verdi.





Linear Interpolation with Laplacian… (cont.)• VERDE: si definiscono i gradienti orizontale e verticale,

• L’interpolazione segue l’algoritmo





Linear Interpolation with Laplacian… (cont.)• ROSSO/BLU: vi sono 3 possibili casi

I due pixel più vicini dello stesso colore della componente mancante si trovano nella stessa colonna:

I due pixel più vicini dello stesso colore della componente mancante si trovano nella stessa colonna:

R1

R4

R7

R1 R2 R3





Linear Interpolation with Laplacian… (cont.)• ROSSO/BLU: Si definiscono i gradienti orizontale e verticale,

• L’interpolazione segue l’algoritmo





Original Nearest Bilinear Laplace

Comparison VGA Interpolation





Comparison VGA Interpolation (cont.)

Original Nearest Bilinear Laplace





QVGA Bayer pattern

• Accanto al funzionamento VGA con risoluzione (640x480) la maggior parte delle telecamere ne fornisce uno a risoluzione ridotta QVGA (320x240).• Questa risoluzione è ottenuta campionando il Bayer pattern classico eliminando due colonne ogni quattro.• L’interpolazione di questo tipo di Bayer pattern non è trattata in letteratura.





• Nel funzionamento a risoluzione ridotta non si vuole ricostruire tutta l’immagine in alta risoluzione.• Si considerano come unità base le celle in giallo centrate nei pallini.• Si ricostruisce quindi la struttura a tre componenti all’interno di ogni cella.• I primi due metodi di interpolazione presentati sono la naturale estensione dei precedenti al QVGA.

Demosaicing QVGA Bayer pattern





Nearest Neighbor Replication• La componente verde non viene interpolata. • Le componenti rosse e blu mancanti vengono interpolate con i valori dei pixel vicini.• Il più vicino può essere in qualsiasi delle due direzioni fondamentali: sinistra o destra.





Bilinear Interpolation• La componente verde non viene interpolata. • Le componenti rosse e blu mancanti vengono interpolate con una bilineare.





Periodic Reconstruction Interpolation• Necessità di ricostruire una struttura periodica.• Componente verde viene interpolata, per prima. • Nella strutture precedenti la distanza fra due pixel verdi non è costante all'interno della matrice.• Scelta di algoritmo adattativo.

Lezione: 14 marzo 2006




Periodic Reconstruction InterpolationVERDE:• Si considera un interpolazione che approssimi una bilineare su un dominio non regolare:

• Si pesano i pixel inversamente in funzione della distanza.

Tommaso Guseo





Periodic Reconstruction Interpolation

• Si definiscono i gradienti nelle direzioni negativa, positiva e orizzontale.

• Opera l’algoritmo seguente:

ROSSO e BLU:

Tommaso Guseo





Tommaso Guseo

Comparison QVGA Interpolation

Original Nearest Bilinear Periodic





Tommaso Guseo

Stima dell’efficacia dei metodi di interpolazioneIl confronto non può svolgersi solo visivamente:• palese soggettività;• assenza di riproducibilità• necessità di lavorare ad alta risoluzione;• impossibilità di creare metodi automatici.

ESEMPI DI FUNZIONI DI STIMAMean Square Error (MSE)Peak Signal to Noise Ratio (PSNR)Normalized Difference Criterion (NCD)





Tommaso Guseo

Stima dell’efficacia dei metodi di interpolazione

1. non forniscono un indice normalizzato;2. MSE e PSNR sono indici assoluti; sono non

significativi tra immagini di variabilità differente;3. non si possono confrontare immagini di

dimensioni differenti;4. NCD introduce classi di equivalenza legate alla

luminosità nell'immagine.





Tommaso Guseo

Indici di dipendenzaL’indice di dipendenza normalizzato è definito come

ove è l’informazione sulla prima mutabile fornita dalla seconda e ove

sono l’entropie congiunte, residue e marginali.




Tommaso Guseo

Il robot umanoide Leonardo

• Alto circa 290 mm e pesante circa 1,9 Kg.

• Dotato di 22 gradi di libertà così suddivisi:

6x2 DOF Gamba,

4x2 DOF Braccio,

2 DOF Busto.

• Accelerometro situtato nel busto.

• Gli attuatori sono servomotori.

Caratteristiche di Robovie-M

Robovie-M della VStone

Architettura softwareVisioneDecisore dell’azioneMovimentazione





Tommaso Guseo

• Microprocessore SH7054 a 40MHz Renesas.

• Periferiche: RAM esterna, EEPROM esterna, accelerometro, telecamera digitale, 32 motori.

• Algoritmi di visione per l’individuazione del target rappresentato da una palla.

• Algoritmi di reasoning.

• Algoritmi di movimentazione.

Scheda VS-7054 con Telecamera OV7620

RobotCore: Firmware per la scheda VS-7054




Tommaso Guseo

Architettura software

Classico paradigma Hierarchical

REASONINGSENSE ACT






Tommaso Guseo

Architettura software

Struttura a tre anelli

ROUTE PROCESS MOTOR

• Motor: genera il segnale PWM per i servocomandi.

• Process: gestisce la ricezione di comandi da seriale e altre funzioni rapide e l’interpolazione delle posizioni dei motori.

• Route: è il processo più lento si occupa della cattura ed elaborazione dell’immagine e della scelta dell’azione da compiere.




Tommaso Guseo

Visione

Scopo del sistema di visione è

l’individuazione del target e di altre features nell’ambiente.

ACQUISIZIONE

SEGMENTAZIONE

BLOB DETECTION

FEATURESEXTRACTION





Tommaso Guseo

Acquisizione

Il processo di acquisizione è costituito di due fasi:• acquisizione nei formati RGB e YUV, tramite canale DMA;• interpolazione del QVGA Bayer Pattern al fine di ricostruire un immagine.





Tommaso Guseo

Segmentazione

Il processo di segmentazione è la fase di riconoscimento dei colori nell’immagine. Si utilizza una Look Up Table generata off-line su un insieme di immagini campione e salvata nella EEPROM del robot.

Immagine originaria Immagine quantizzata

L’immagine viene quantizzata in uno spazio a nove colori.






Tommaso Guseo

Blob Detection

L’operazione di Blob detection ha come scopo l’estrazione dicomponenti connesse del medesimo colore.

Componente rossa nell’immagine

Blob detection conl’individuazione

della palla

Riduzione degli effetti del rumore mediante erosione e dilatazione. Si calcolano:

• baricentro (x,y);• varianza (x,y);• area;• numero di pixel.





Tommaso Guseo

Decisore dell’azione

Il decisore dell’azione da compiersi valuta la

posizione della palla e decide l’azione.

if ( blob_target is at right )

playMove(turnRight)

else if ( blob_target is at left )

playMove(turnLeft)

else if ( blob_target is in front and far )

playMove(walk)

else if ( blob_target is in front and near )

playMove(kickAndStop)

else if ( don’t see blob_ target )

playMove(rotateHead)





Tommaso Guseo

Movimentazione

Il sistema di movimentazione implementa la camminata statica: in ogni istante il robot assume posizioni di equilibrio statico.

La proiezione del baricentro sul piano di appoggio è sempre interna all’area della superficie d’appoggio.





Tommaso Guseo

Movimentazione

La funzione utilizzata per interpolare due posizioni successive è una cubica: questo permette accensioni e spegnimenti dei motori dolci limitando le vibrazioni.





Tommaso Guseo

Fine

Domande?

Anno Accademico 2005/2006 Tommaso Guseo tommy Lezione del 14 marzo 2006 Spazi dei colori, Bayer...

Documents

Transcript of Anno Accademico 2005/2006 Tommaso Guseo tommy Lezione del 14 marzo 2006 Spazi dei colori, Bayer...