2008 - S. Battiato ¾Una metrica di qualità è un metodo che permette di dare una valutazione

Transcript

Multimedia A.A. 2007/2008 - S. Battiato

MetricheMetriche didi QualitàQualitàper le per le

ImmaginiImmagini DigitaliDigitali

Prof. Sebastiano BattiatoProf. Sebastiano Battiato

Multimedia A.A. 2007/2008 - S. Battiato

Una metrica di qualità è un metodo che permette di dare una valutazione qualitativa di un’immagine. E’ quindi fortemente legata al modello di percezione del sistema visivo umano.

La valutazione oggettiva della qualità suscita grande interesse fra i produttori di display per applicazioni mobili e fisse in quanto le misure soggettive richiedono elevate risorse umane, tempi lunghi e forniscono scarsa ripetibilità; tuttavia le metriche oggettive adottate spesso non forniscono un giudizio concorde con i dati soggettivi e con le reali preferenze delle persone.

Multimedia A.A. 2007/2008 - S. Battiato

La qualità percepità può essere misurata?

Multimedia A.A. 2007/2008 - S. Battiato

Qualità Assoluta …

La qualità assoluta in quanto tale è un dato oggettivo, completamente descritto dall’immagine e caratterizzabile mediante un insieme di attributi dell’immagine, alcuni semplici,altri composti da sotto–attributi, alcuni misurabili, altri non misurabili. Fra questi ricordiamo:

il contenuto informativo dell’immagine, comprendente i soggetti raffigurati e il contesto: naturalmente non risulta matematicamente misurabile; la luminosità, forse l’unico attributo semplice e misurabile; il colore, con i suoi sotto-attributi, quali la saturazione, la naturalezza, l’omogeneità, lo scolorimento;

Multimedia A.A. 2007/2008 - S. Battiato

Qualità Assoluta …

….il contrasto, rappresentativo sia del rapporto chiaro/scuro che delle rappresentazioni di contorni e dettagli; la nitidezza (“sharpness”), costituita dallo sfocamento (“blur”), dalle rappresentazioni dei dettagli (“detail rendering”) e dei contorni (“contour rendering”); la naturalezza dei contenuti, quali la rettilinearità delle linee rette (“line straightness”), la curvilinearità delle linee circolari (“circle rendering”), l’uniformità delle forme; le distorsioni spaziali (e/o temporali), come il rumore, gli errori di pixel e di contorni (“silhouettes”).

Multimedia A.A. 2007/2008 - S. Battiato

….e Qualità PercepitaLa qualità percepita, è invece un parametro soggettivo, dipendente oltre che dalle caratteristiche dell’immagine, cioè dai suoi attributi descrittivi, anche da altri fattori, quali ad esempio:

L’elaborazione effettuata sull’immagine, che potrebbe avere in qualche modo migliorato/alterato l’immagine secondo il gusto dell’osservatore umano: le tecniche di compressione /decompressione responsabili di artefatti tipici che degradano la qualità dell’immagine (“blocking” e “ringing”); i filtraggi per la riduzione del rumore indotto dal canale di trasmissione e gli algoritmi di “enhancement”, miglioramento, della qualità (“peaking”); le conversioni di formato, per ottenere rappresentazioni migliori o far dialogare standard diversi (NTSC –PAL).

Multimedia A.A. 2007/2008 - S. Battiato

….e Qualità Percepita

Le caratteristiche tecnologiche del display impiegato per la rappresentazione e del sistema video di uscita, con i vincoli imposti, quali per esempio: il tipo di schermo, LCD o CRT; le dimensioni dello schermo; le dimensioni dei pixel; la risoluzione spaziale; la frequenza di refresh; la memoria dedicata della scheda grafica; la velocità del bus.

La fisiologia e la cognizione della percezione visiva umana, comprendente i meccanismi percettivi del sistema visivo, quali:la percezione della luminosità; la percezione del contrasto e i fenomeni di mascheramento del contrasto; la percezione di contorni e orientamenti; la percezione del colore; la percezione stereo della profondità; la percezione spazio – temporale della visione.

Multimedia A.A. 2007/2008 - S. Battiato

Dove sta il problema?Potremmo pensare di confrontare tra loro i pixel corrispondenti di due immagini, potendo così stabilire se le due immagini sono diverse ma non possiamo dire nulla da un punto di vista “quantitativo” sulla reale distanza percettiva esistente.

Multimedia A.A. 2007/2008 - S. Battiato

Image Quality and Human Vision System

Parallel processing of orientation, texture, color and motion feature

Object identification

Detection of 2D patterns, contours and regions

Color processing

Perceptual decompositionPerceptual

decompositionContrast sensitivity

Contrast sensitivity

Masking effects

Masking effects Pooling Pooling

Multimedia A.A. 2007/2008 - S. Battiato

Classificazione delle Metriche

Soggettive OggettiveApplicare una metrica soggettivavuol dire effettuare una valutazione dell’immagine che tenga conto della percezione soggettiva del sistema visivo umano (HVS - Human Visual System).

Applicare una metrica oggettiva vuol dire mettere in atto una computazione che, attraverso l’ausilio di formule matematiche, elabora in maniera automatica la valutazione di un’immagine, senza alcuna interazione col sistema visivo umano.

Nello studio delle metriche di qualità è possibile distinguere le metriche in:

Multimedia A.A. 2007/2008 - S. Battiato

Classificazione delle metriche

Full Reference

Le metriche di qualità possono essere poi classificate in base alla presenza di una maggiore o minore disponibilità del segnale di riferimento, con il quale confrontare l’immagine distorta. FR (Full Reference) è una metrica di qualità nella quale si ha la completa disponibilità dell’immagine di riferimento e quindi può essere effettuato un confronto completo tra l’immagine distorta, della quale si vuole conoscere la qualità, e l’immagine di riferimento.

Multimedia A.A. 2007/2008 - S. Battiato

Classificazione delle metriche

No Reference

NR (No-Reference) è una metrica di qualità nella quale non si ha alcuna informazione sull’immagine di riferimento. In molte applicazioni video le immagini di riferimento o le sequenze video, spesso non sono accessibili, quindi è desiderabile, per poter gestire tali situazioni, utilizzare metriche che possano valutare la qualità di un’immagine o di un video senza un riferimento.

Multimedia A.A. 2007/2008 - S. Battiato

Classificazione delle metriche

Reduced Reference

RR (Reduced Reference) è una metrica di qualità nella quale l’immagine di riferimento non è per intero disponibile. In questo caso si estraggono, dall’immagine originale, solo alcune informazioni parziali che vengono in qualche modo elaborate per fornire una valutazione della qualità, dell’immagine distorta, presa in esame.

Spatial details;Amount of motion;EXIF metadata;…

Multimedia A.A. 2007/2008 - S. Battiato

Che fare in pratica?

Vista la difficoltà intrinseca legata all’individuazione di metriche soggettive affidabili ci si rifà in pratica alle seguenti metriche oggettive:

MSE - (Mean Square Error)

PSNR - (Peak Signal-to Noise Ratio)

ΔE*a,b CIELAB

Multimedia A.A. 2007/2008 - S. Battiato

MSE e PSNR

dove N è il numero di pixel presenti nell’immagine, cioè N=n*m dove n ed m rappresentano rispettivamente l’altezza e la larghezza dell’immagine, e si riferiscono all’i-esimo pixel, rispettivamente, nell’immagine di riferimento e nell’immagine distorta; infine, L è il range dinamico dei valori dei pixel, cioè per un segnale che presenta n bits/pixel, L è uguale a 2n-1 .

∑=

−=N

iii yx

NMSE

2)(1MSELPSNR

10log10=

Multimedia A.A. 2007/2008 - S. Battiato

MSE e PSNR

MSE e PSNR sono molto usati perché semplici da calcolare, però non sempre danno un risultato fedele a quello dato dal sistema visivo umano. Infatti:

La sensibilità del sistema HVS agli errori può essere diversa per diversi tipi di errori, e può variare anche in base al contesto visuale. Tale differenza non può essere colta adeguatamente dall’MSE.Due immagini distorte possono avere tipi molto diversi di errori pur avendo lo stesso MSE.Entrambe le metriche sono fortemente influenzati ancheda “impercettibili” movimenti spaziali (traslazioni,rotazioni, flipping di righe e/colonne)

∑=

−=N

iii yx

NMSE

2)(1MSELPSNR

10log10=

Multimedia A.A. 2007/2008 - S. Battiato

Rappresentazione del colore

Nel caso monocromatico, l’unico attributo necessario a caratterizzare in ogni punto l’immagine è l’intensità, che si traduce nel valore di grigio del corrispondente pixel.Nel caso della radiazione cromatica, per ogni punto dell’immagine occorre tener conto dei tre valori dei primari che ne determinano il colore. A tal fine la classica rappresentazione delle immagini acolori prevede l’impiego di tre matrici di intensità, una di rosso, una di verde, una di blu.In altre parole, nel caso della radiazione cromatica, l’intensità da sola non è sufficiente a caratterizzare l’immagine, in quanto occorre anche esprimere quantitativamente la presenza delle appropriate lunghezze d’onda, la cosiddetta crominanza (o cromaticità)

Multimedia A.A. 2007/2008 - S. Battiato

Sintesi dei colori

Multimedia A.A. 2007/2008 - S. Battiato

RGBE’ molto comune descrivere i colori riferendosi allo spazio colore RGB (red, green,

e blue). Lo spazio RGB è basato sul fatto che ogni colore possa essere rappresentato dauna “miscela” dei tre colori primari red, green, e blue. I vari contributi sono assuntiindipendenti l’uno dall’altro (e quindi rappresentanti da direzioni perpendicolari traloro). La retta che congiunge nero e bianco è la retta dei grigi.

RGB è molto usato nelle videocamere e nei monito dato che risulta essere lo spaziocolore più semplice per registrare e visualizzare immagini digitali a colori.

Multimedia A.A. 2007/2008 - S. Battiato

TrueColor (24 bit)

Multimedia A.A. 2007/2008 - S. Battiato

1 11

Multimedia A.A. 2007/2008 - S. Battiato

RGB Color Display

1 pixel = 3 R,G,B, phosporswith different illumination

Multimedia A.A. 2007/2008 - S. Battiato

RGB Color Display “24 bit: “TrueColor”

Multimedia A.A. 2007/2008 - S. Battiato

Colour Images

RR GG BB

HH SS LL

CC MM YY

Multimedia A.A. 2007/2008 - S. Battiato

Rappresentazione del coloreDue sono gli elementi della crominanza: la tinta (hue in inglese) e la saturazione.La tinta è un attributo associato con la lunghezza d’onda dominantein una miscela di onde luminose. Rappresenta pertanto quello cheviene normalmente denominato il colore dominante di un oggetto.La saturazione è un attributo che si riferisce alla purezza del colore, ovvero alla quantità di luce bianca mescolata con una tinta.I colori puri dello spettro hanno una saturazione del 100%, mentre colori come il rosa, che è una miscela di rosso e bianco, o il lavanda, che è una miscela di blu e bianco, sono meno saturi, con il grado di saturazione inversamente proporzionale alla quantità di bianco. La luce bianca ha invece saturazione nulla.Un altro modo in cui può essere specificato un colore è in termini delle quantità di R, G e B necessarie a formarlo, i cosiddetti valori di tristimolo X, Y e Z.

Multimedia A.A. 2007/2008 - S. Battiato

Spazio CIE xyzUn colore può essere specificato mediante dei coefficienti tricromatici. I valori di tristimolo necessari a rappresentare il colore corrispondente ad una certa lunghezza d’onda possono essere determinati da curve, tabelle e diagrammi determinati sulla base di una estesa sperimentazione, condotta in particolare negli anni’60. Uno di essi è il diagramma CIE di cromaticità, che mostra la composizione di un colore in funzione di x e y, mentre il corrispondente valore di z è calcolato direttamente dalla z = 1 - (x + y). Il diagramma di cromaticità CIE 1931, è solo una "fetta" di uno spazio più completo, lo spazio dei colori CIE 1931 al quale si assegnano le coordinate XYZ.

La sua proiezione su un piano è un diagramma di cromaticità xy. Le relazioni per passare dalle coordinate tridimensionali XYZ alle coordinate xy sono: x = X/(X+Y+Z), y = Y/(X+Y+Z).

Multimedia A.A. 2007/2008 - S. Battiato

Modelli del ColoreScopo di un modello del colore (o spazio dei colori o sistema dei colori) è di consentirne la specificazione dei colori con modalità standardizzate, che fanno normalmente riferimento ad un sistema di coordinate 3-D (dato che tre sono comunque le caratteristiche che definiscono un colore), o meglio ad un suo sotto-spazio, nel quale ogni colore è rappresentato da un punto.

I modelli del colore più utilizzati in image processing sono orientati o all’hardware di acquisizione (RGB) e restituzione (RGB, CMY) delle immagini o alla loro trasmissione (YUV, YIQ), compressione (YCbCr), elaborazione (od analisi) mediante trattamento del colore (RGB, HSI, HSV, LUV, ...).

Alla poca chiarezza derivante dalla abbondanza di modelli dello stesso tipo, si aggiunge l’uso ambiguo delle lettere nei nomi dei modelli (I o V significano cose diverse in modelli diversi), e soprattutto il fatto che in letteratura esistono differenti versioni delle equazioni di conversione dall’uno all’altro dei modelli indicati.

Multimedia A.A. 2007/2008 - S. Battiato

Altri modelli coloreIl principale difetto del sistema CIE (e di tutti i modelli del colore da esso derivati mediante trasformazioni lineari o non lineari di coordinate) è che esso non è dotato di uniformità percettiva.In altre parole, dati due colori C1 e C2, consideriamone le distanze ∆C, rispettivamente, dal colore C3 = C1 + ∆C e dal colore C4 = C2 + ∆C Supponendo che le due distanze siano quantitativamente uguali, sarebbe desiderabile che i due colori C3 e C4 fossero percepiti come ugualmente distanti da C1 e C2 Dato che il sistema non è percettivamente uniforme, in generale le due distanze, benchèuguali, saranno percepite come differenti. Dopo molti anni di elaborazione, la CIE ha standardizzato nel 1976 due spazi di colore percettivamente uniformi, chiamati rispettivamente CIE L*u*v*e CIE L*a*b*(u e v non hanno alcuna relazione con le componenti video U e V)

Multimedia A.A. 2007/2008 - S. Battiato

ΔE*a,b CIELAB

La metrica ΔE*a,b CIELAB lavora sullo spazio colore

CIELAB. Differentemente da altri spazi colore, lo spazio colore CIELAB, è percettivamente uniforme. I parametri che lo determinano sono: L*, a*, b*.

L* rappresenta la luminanza mentre a* e b* rappresentano la crominanza.

L*, a* e b* sono le trasformazioni dei tre valori di tristimoloX, Y e Z dello spazio colore CIE XYZ.

Multimedia A.A. 2007/2008 - S. Battiato

FormuleAttraverso le seguenti formule, si può passare dallo spazio colore CIE XYZ allo spazio colore CIELAB, e viceversa

Dove X/Xn, Y/Yn, e Z/Zn , sono maggiori di 0.01 e Xn , Yn e Zn definiscono il punto bianco. Lo spazio colore CIELAB in confronto al CIE XYZ rispetta maggiormente la risposta non lineare dell’occhio umano alle radiazioni elettromagnetiche.La metrica CIELAB si ottiene dalla seguente formula:

16116*31

−⎟⎟⎠

⎞⎜⎜⎝

⎛=

nYYL

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

⎟⎟⎠

⎞⎜⎜⎝

⎛−⎟⎟

⎠

⎞⎜⎜⎝

⎛=

500*nn Y

YXXa

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

⎟⎟⎠

⎞⎜⎜⎝

⎛−⎟⎟

⎠

⎞⎜⎜⎝

⎛=

200*nn Z

ZYYb

( ) ( ) ( )222* *** baLE ab Δ+Δ+Δ=Δ

Multimedia A.A. 2007/2008 - S. Battiato

VQEG

Il VQEG (Video Quality Expert Group – www.vqeg.org) dal 1997 cerca di sviluppare, convalidare e standardizzare nuove metriche soggettive di qualità dell’immagine.I criteri di valutazione di una metrica tengono conto di:

Prediction Accuracy (accuratezza della previsione): la capacità di predire una soggettiva valutazione della qualità con basso errore.Prediction Monotonicity: l’esattezza con la quale le previsioni concordano con le valutazioni soggettive della qualità.

VQEG fornisce un ampio video database, a disposizione del pubblico, con valutazioni affidabili di tipo soggettivo.

http://www.vqeg.org/

Multimedia A.A. 2007/2008 - S. Battiato

VQEG - SSCQE (Single Stimulus Continuous Quality)

SSCQE: l’immagine da valutare viene mostrata ai soggetti che la devono valutare in intervalli di tempo successivi; essa di volta in volta, presenta diversi rumori. I soggetti, ad ogni osservazione, esprimono le loro impressioni sulla qualità dell’immagine, utilizzando una scala articolata su cinque livelli di qualità;

Multimedia A.A. 2007/2008 - S. Battiato

VQEG - DSCQS (Double StimulusContinuos Quality Scale).

DSCQS: l’immagine di riferimento e l’immagine distorta vengono presentate in sequenza l’una dopo l’altra ed il soggetto le valuta entrambe usando la stessa scala utilizzata nel metodo SSCQE.

Multimedia A.A. 2007/2008 - S. Battiato

MOS – Mean Opinion Score

Tra le metriche soggettive, negli ultimi anni, la metrica MOS è stata considerata la più affidabile, essa consiste nella valutazione media di giudizi espressi da diversi osservatori umani, relativi alla qualità di un’immagine. Questa metrica però presenta i alcuni svantaggi: - è molto lenta, costosa e non può essere condotta in tempo reale;- non può essere utilizzata per quelle applicazioni che necessitano di metriche automatiche.

Multimedia A.A. 2007/2008 - S. Battiato

Esempi

Compressione JPEG

Originale

Low Quality

High Quality

Multimedia A.A. 2007/2008 - S. Battiato

PSNR vs MSE

0 10 20 30 40 50 60 70 80 90 10015

45PSNR

dB0 10 20 30 40 50 60 70 80 90 100

100

200

300

400

500

600

700

800

900

1000MSE

MSERMSEGMSEBMSE

Multimedia A.A. 2007/2008 - S. Battiato

Rate Distortion

0 0.5 1 1.5 2 2.50

100

200

300

400

500

600

700

800

Bit per Pixel (bpp)

Rate Distortion

Multimedia A.A. 2007/2008 - S. Battiato

Matlab codefunction [MSE_R, MSE_G, MSE_B, MSE, PSNR,bpp] = compress()

fname=input('Inserisci il nome dell''immagine: ','s');a=imread(fname); [M,N,c]=size(a);a=double(a); dim=size(fname(:));fnamenew=fname(1:dim(1)-4);

for i=1:100str=num2str(i);imwrite(uint8(a),[fnamenew str

‘comp.jpg'],'JPEG','Quality',i);b=imread([fnamenew str 'comp.jpg' ]);

info_file=dir([fnamenew str 'comp.jpg' ]);n_bit=info_file.bytes*8;bpp(i)=n_bit/(M*N*c);b=double(b);

….

Multimedia A.A. 2007/2008 - S. Battiato

…..

SE_R=(a(:,:,1)-b(:,:,1)).^2; MSE_R(i)=mean(SE_R(:));SE_G=(a(:,:,2)-b(:,:,2)).^2; MSE_G(i)=mean(SE_G(:));SE_B=(a(:,:,3)-b(:,:,3)).^2; MSE_B(i)=mean(SE_B(:));

MSE(i)=mean([MSE_R(i),MSE_G(i),MSE_B(i)]);

PSNR(i)= 10*log10((255^2)/MSE(i));endfigure; plot(PSNR);figure; plot([1:100], MSE_R,'r', [1:100], MSE_G,'g',

[1:100], MSE_B, 'b', [1:100], MSE, '--k');figure; plot(bpp, MSE);end