Cenni di Psicofisica e Rendering 3D

Giovanni Magenes & Virginio CantoniDip. Ingegneria Industriale e dell’Informazione

Università of Pavia

Overview della lezione

• Cosa il nostro sistema visivo è in grado di percepire in un’immagine? (Psicofisica della visione)• Quali indizi ci consentono di apprezzare la terza

dimensione di una scena attraverso un’immagine 2D? (Percezione della profondità)• Come è possibile ottimizzare un’immagine per poter

apprezzare la profondità? (Modelli Iluminazione -Phong)• Quali metodi si possono usare per «vedere» in 3D

all’interno di strutture anatomiche? (Ray Casting, … )

1

2

La percezione in breve

• Integrazione dell’informazione proveniente dai sistemi sensoriali periferici a livello del SNC per la rappresentazione di se stessi in rapporto con il mondo esterno o per la rappresentazione del mondo esterno nella nostra mente.

• La percezione è la sequenza di tre eventi:– uno stimolo fisico– la trasformazione dello stimolo in

segnale neurale – la sua elaborazione, che provoca

una risposta �percettiva�(interpretazione della sensazione)

Percepire non significa solo � registrare� ciò che avvieneintorno a noi, ma costruire un�interpretazione per mezzo delsistema sensoriale e dell’esperienza.

3

• Lo studio moderno dei sistemi percettivi comincia dallaPsicofisica che stabilisce correlazioni quantitative tra stimoli esensazioni. Le informazioni essenziali possono essere ricavatedallo studio delle varie classi di recettori e dalle vie sensorialiche convogliano l’informazione fino alla corteccia. Perciò,eventi fisiologici possono essere correlati a tipi di stimolazionied entrambi ad un comportamento sensoriale discriminativo.(Kandel, �Principles of Neuroscience, 1985).

La percezione in breve

• Gli aspetti o dimensioni di uno stimolo fisico si dividono in duegrandi categorie:

• Dimensioni Protetiche: al variare progressivo di una proprietà fisica dello stimolo si associa spontaneamente l'impressione di una corrispondente variazione della sensazione lungo un unico asse sensoriale (concetto di valore più alto o più basso e di valore intermedio: peso, lunghezza, )

• Dimensioni Metatetiche: al variare progressivo di un proprietà fisica corrisponde una impressione di cambiamento qualitativo della sensazione (colori).

• In termini di scale di misura è possibile associare la scala fisica a quella delle sensazioni provocate da stimoli con dimensione protetica.

La percezione in breve

La Psicofisica

• La Psicofisica si occupa dello studio dei rapporti quantitativi che legano gli stimoli fisici alle risposte ‘mentali’ da essi provocate.

• L’idea che sta alla base di tale disciplina è quella di considerare il sistema percettivo umano come uno strumento di misura in grado, similmente ad uno strumento fisico, di fornire risposte, e quindi dati, che possano essere sistematicamente analizzate e che facciano da tramite per una quantificazione dell'esperienza sensoriale (Baird e Noma, 1978).

• Vi sono tre concetti fondamentali e le relazioni tra di essi:• Il mondo fisico esterno• L’attività della mente (corpo) derivante dalla stimolazione

esterna• La percezione conscia, ovvero la sensazione derivante

(Fechner, “Elemente der Psychophysik”,1860 )

• Per quantificare le relazioni tra il continuum fisico e quello sensoriale i “padri” della psicofisica si erano posti due domande:• Qual è il livello di stimolazione minima necessaria per

suscitare una sensazione? (soglia assoluta, absolutelimen)• Qual è la minima differenza necessaria per distinguere

una stimolazione come più intensa di un’altra (soglia differenziale, difference limen).

• Sia le soglie differenziali che quelle assolute sono determinabili in modo sperimentale e solo approssimativamente.

La nascita della Psicofisica

7

Soglie assolute e soglie differenziali

Dicesi soglia assoluta AL di uno stimolo il valore di esso che elicita una sensazione nel 50% delle presentazioni

8

Soglie assolute e soglie differenzialiDicesi soglia differenziale DL di uno stimolo la minima differenza di intensità in grado di essere rilevata nel 50% delle presentazioni di due stimoli messi a confronto

La legge di Weber

• Ernst Weber (1795-1878) fu autore della prima legge quantitativa della psicologia sperimentale.• La legge afferma che una soglia differenziale DL è sempre una

frazione costante dello stimolo R a cui si riferisce.

kRRkRR =D=D / quindi k è detto rapporto di Weber

RR1 R2 R3 R4

DL1 DL2 DL3

k = DL1/R1 = DL2/R2 = DL3/R3… = (R2-R1)/R1=(R3-R2)/R2 = (R4-R3)/R3 ...

Rapporto di Weber

• Stimoli tattili 0,02• Corrente elettrica 0,03• Posizione di punti (v) 0,03• Lunghezza di linee (v) 0,04• Estensione di aree (v) 0,06• Pesantezza 0,07• Chiarezza 0,08• Volume sonoro 0,10• Gusto salato 0,14• Gusto dolce 0,17• Vibrazioni (pelle) 0,20• Odore 0,24

Valori sperimentali del rapporto di

Weber per alcuni stimoli fisici (fonte

Baird e Noma, 1978)

• Assunzioni di base di Fechner (1860):• esiste una corrispondenza biunivoca tra gli elementi del

mondo esterno e quelli mentali tali da rendere plausibile misurare gli ultimi a partire dai primi.• esiste una scala interna unica che opera la

“trasformazione psicofisica” ovvero la misura dello stimolo secondo una scala interna di sensazione.

• La scala è di tipo logaritmico, ovvero ad un aumento in progressione geometrica della grandezza fisica corrisponde un aumento in progressione aritmetica della sensazione cosciente.

La legge di Fechner

La legge di Fechner

Partendo dall’ipotesi che le soglie differenziali (DL) nel continuum fisico costituiscano le jnd (just noticeabledifferences) in quello sensoriale e che siano tutte uguali, la legge di Fechner collega i continua fisici a quelli sensoriali.

S = c log R + a

La Psicofisica di Stevens

• Negazione della legge di Fechner (non esiste una funzione logaritmica tra continuum fisico e sensoriale).• Applicazione del metodo della bisezione alla percezione (1953)

a continua protetici -> le jnd non sono tutte uguali.Legge di Stevens

Per Fechner se

Per Stevens se

Variazione

23122

3

1

2 SSSSRR

RR

-=-Þ=

2

3

1

2

2

3

1

2 SS

SS

RR

RR

=Þ=

bcRS =

bRRcS )( 0-=

Esperimenti di Stevens

Metodo della “stima di grandezza” (Magnitude Estimation)

15

Caratteristiche della visione e bioimmagini

• Il sistema visivo umano ha un enorme range dinamico (106) ma riconosce un ridotto numero di livelli di grigio (100). Possiede invece una notevole capacità di discriminare colori diversi.• Le immagini mediche sono in generale prive di colore o utilizzano i

cosidetti �falsi colori�.• E� tuttavia impossibile generare uno stimolo che abbia dimensioni protetiche sulle caratteristiche colorimetriche e pertanto non è naturalmente associabile una scala ordinata a variazioni di colore.• In ogni caso per �fruire� di un immagine biomedica è necessario

poter estrarre informazioni che discriminano tra due o più condizioni.

L’acuità visiva

L’acuità visiva del soggetto ovvero il massimo della risoluzione spaziale del sistema visivo può essere ricavata dalla curva di sensibilità al contrastoQuesto limite sembra essere determinato dalla distanza fra coni e fra cellule gangliari nella retina!

Fra gli stimoli più utilizzati negli studi della percezione del contrasto ci sono macchie (spot) di luce su sfondo scuro oppure i reticoli (definiti in numero di cicli per grado di angolo visivo).La sensibilità al contrasto dipende da numerosi fattori: la luminanza, l’eccentricità del reticolo rispetto al centro della fovea, …

Risoluzione spaziale dell’occhio umano

Il limite dell’acuità visiva per la visione foveale è circa 0.017° il che combacia quasi perfettamente con la distanza centro a centro dei coni a livello della fovea che ricordiamo è di circa 0.008°. Infatti per poter discernere le due fasi di un reticolo quello di cui abbiamo bisogno sono almeno due coni 0.008°*2=0.016°

17

Campionamento spaziale (coni) e effetto aliasing a frequenza spaziale troppo elevata

L’acuità visiva

Con

tras

to

Frequenza spaziale

L’acuità visiva

La curva di sensibilità al contrasto

Gli studi neurofisiologici hanno mostrato sia nel gatto (Maffei e Fiorentini 1973) che nella scimmia (De Valois,Alberecht e Thorrel1982) che molti neuroni si comportano come filtri nel dominio della frequenza spaziale oltre che dell’orientamento (Hubel e Wiesel 1968)

I canali di frequenza spaziale

Questi dati neurofisiologici insieme a quelli psicofisici sull’uomo suggeriscono che la la curva di sensibilità misurata nell’uomo risulti dall’integrazione di numerosi meccanismi detti canali di frequenza spaziale specializzati per particolari dimensioni degli stimoli

La curva di sensibilità al contrasto

Sensibilità al contrasto e livelli di luminanza

Sensibilità al contrasto ed eccentricità

Inibizione laterale

Sensibilità al contrasto vs rumore

Contrasto

Frequenza del rumore sovrapposto

27

Formazione e fruizione di un immagine

• La formazione di un’immagine è il risultato della interazione dell�energia prodotta da una sorgente con la materia costituente gli oggetti della scena trasferita sull’occhio. A tale interazione è generalmente associata una trasformazione geometrica 3D -> 2D• Per fruizione di un�immagine si intende invece l’estrazione

di informazioni utili dalla osservazione dell�immagine. Essa comporta due attività mentali: la percezione e l�interpretazione. • Spesso si comprendono entrambe con il termine di

percezione cosciente.

28

Interpretazione visiva del mondo reale

Marr (1982)

29

Top down

Bottom up

Elaborazione bottom-up e top-down

Elaborazione bottom-up e top-down

• La prima modalità ipotizza una modalità di elaborazioneguidata dai dati sensoriali, ossia dalle singole parti dellostimolo.• La seconda ipotizza che la percezione sia guidata dallaconoscenza o guidata dai concetti cioè basata sullerappresentazioni contenute in memoria.• Es.: possiamo riconosciamo un�automobile a partiredalla proprietà fisiche oppure partendo dal concetto diautomobile.

• Il problema della strategia � top-down o bottom-up �dipende dal contesto e dal task cognitivo

31

Non abbiamo tutti la stessa interpretazione

32

….. e non sempre quello che vediamo è reale

33

Angolo visivo α

d

h

La Legge di Emmert

La percezione di un'immagine che venga proiettata sulla retina variandone la distanza (immagine consecutiva o afterimage) è direttamente proporzionale alla distanza stessa. Più l'immagine è vicina, più piccola viene vista e viceversa. E' altresì proporzionale all'elevazione rispetto l'orizzonte

34

Vi sone tre categorie di illusioni:• ottiche, quando sono causate da fenomeni puramente ottici e

pertanto non dipendenti dalla fisiologia umana;• percettive, in quanto generate dalla fisiologia del sistema visivo.

Un esempio sono le immagini postume che si possono vedere chiudendo gli occhi dopo avere fissato un'immagine molto contrastata e luminosa;

• cognitive, dovute all'interpretazione che il cervello dà delle immagini. Un caso tipico sono le figure impossibili e i paradossi prospettici.

Un miraggio è un esempio di illusione naturale dovuta a un fenomeno ottico. La variazione nella dimensione apparente della Luna (più piccola quando è sopra la nostra testa, più grande quando è vicina all'orizzonte) è un'illusione cognitiva.

Illusioni ed errori percettivi

35

.

Quando la luna piena appare appena sopra l'orizzonte, essa sembra più grande di quando, successivamente, si trova ad una elevazione più alta, verso lo zenit del cielo. Questa è un’illusione poichèl'angolo che il diametro della luna sottende all'occhio dell'osservatore misura circa 1/2 grado di arco, indipendentemente dalla posizione in cui la luna si trova nel cielo.

Illusioni ottiche ed errori percettivi

36

Illusioni ottiche ed errori percettivi

37

Altri errori cognitivi

La percezione della profondità

38

Il nostro cervello è in grado di percepire la profondità di un oggetto nello spazio, pur basandosi su un sistema di recettori bidimensionali. Esso utilizza due diverse modalità: a) il confronto tra vari indizi di profondità; b) uno specifico sistema di elaborazione, detto visione stereoscopica. In entrambe le modalità utilizziamo indizi legati alla terza dimensione sia di tipo fisiologico, sia di tipo psicologico.

Gli indizi fisiologici sono meno forti di quelli psicologici, e in caso di conflitto, prevalgono i secondi sui primi.

Indizi di profondità fisiologici

39

Gli indizi fisiologici sono:• l’accomodamento del cristallino: il cristallino modifica la suaforma in funzione della distanza del fuoco• la vergenza degli occhi: l’azione coordinata dei muscoli checontrollano il movimento degli occhi• la disparità binoculare: l’occhio destro vede infatti l’oggetto un po’ più a destra, l’occhio sinistro un po’ più a sinistra• la parallasse di movimento: rispetto al punto di fissazione,gli oggetti più lontani appaiono muoversi nella stessa direzionedel movimento dell’osservatore, mentre quelli più vicini sembrache si muovano in direzione opposta.

→ Rispecchiano il funzionamento dei recettori sensoriali.

Indizi di profondità pittorici (o psicologici)

40

• L’occlusione: quando un oggetto è interposto, nascondendone quindi in parte un altro, il secondo viene percepito come più lontano.• La grandezza relativa: a parità di condizioni, l’oggetto più grande viene visto più vicino.• L’altezza relativa: sotto all’orizzonte, oggetti più in alto nel campo visivo appaiono più lontani.• La luminosità: l’oggetto più luminoso appare più vicino.• Le ombreggiature: comprendiamo l’orientamento delle superfici in 3D per mezzo delle ombre• La prospettiva aerea: gli oggetti più nitidi e brillanti sono visti più vicini.

41

• La prospettiva lineare: le linee parallele tendono a convergere all’aumentare della distanza.• Il gradiente di tessitura: gli oggetti con trama più fitta appaiono più lontani.• La dimensione familiare: la conoscenza delle dimensioni degli oggetti aiuta a giudicare la distanza da essi e da quelli che li circondano.

-> Rispecchiano il funzionamento della mente nell’organizzare i dati sensoriali.

Indizi di profondità pittorici (o psicologici)

42

Indizi di profondità monoculari

Esempi di indizi pittorici

43

a) occlusione b) gradiente di tessitura e dimensione familiare

c) prospettiva lineare d) prospettiva aerea

Bioimmagini e visione naturale

44

a) le strutture anatomiche e/o funzionali contenute devonoessere identificabili sulla base delle soglie note di sensibilità alcontrasto (luminosità minima in funzione della frequenzaspaziale) e, per poterne fare valutazioni comparative in terminigeometrici, devono soddisfare i relativi rapporti di Weber(soglia differenziale sugli stimoli di vicinanza, lunghezza, area);

b) la terza dimensione può essere percepita se sono presentisufficienti indizi pittorici non ambigui, in particolarel’occlusione (anche parziale in semitrasparenza), la prospettivalineare, le ombreggiature e la dimensione familiare (il clinicoconosce le dimensioni delle strutture esaminate).

Illuminazione e ombreggiatura

Se non inseriamo un modello di illuminazione non percepiamo la terza dimensione e tutto appare piatto

Modelli di illuminazioneUn modello di illuminazione è basato sulle proprietà ottiche degli

ogetti che compongono la scena visiva.Tipici effetti ottici (che richiedono una o più sorgenti di luce) sono:• La riflessione (di tipo Lambertiano e/o speculare)• La rifrazione (se gli oggetti sono trasparenti o semitrasparenti)• Le ombre (possono essere di varie tipologie )

Backward Ray Tracing• Idea: partire dai pixel e seguire il percorso dei raggi fino ad una

sorgente• Ogni pixel riceve la luce solo da una una direzione – la retta che

congiunge il punto focale con quel pixel sul piano immagine. • Ogni contributo fotonico ad un determinato pixel deve provenire

da questa direzione, pertanto si procede lungo una direzione e sitrova cosa sta inviando la luce da quella direzione.

• Tutto ciò è equivalente a fare un “forward” ray tracing, ma solo per i raggi che contribuiscono a formare l’immagine.

Il modello di Phong (1973)

48

Il colore di ogni pixel dell’immagine è determinato dall’illuminazione e comprende:a) Un contributo dovuto alla illuminazione dell’ambienteb) La diffusione di tipo Lambertiano, proporzionale all’angolo di incidenza della

luce (dovuta a sorgenti luminose posizionate nello spazio 3D)c) La riflessione speculare (dipendente dal punto di vista dell’osservatore, dalla

‘lucidità’ della superficie e dall’angolo di incidenza della luce)

49

Phong’s model (1973)

! = # − %# − %

The intensity of light is known to decrease with the factor 1/d2 due to energy laws, where d is the distancefrom the light source.From experience, the factor 1/d2 is modified to 1/(a+bd) or somethingsimilar, where a and b are constantsto prevent the nominator to approach zero.

ks=the coefficient of specularreflection for the surface (not reallya constant but a function of the angle a)(n.h)m

s determines how shiny the surface is; typically 1≤ms≤10000, means from dull (chalk) to veryshiny (mirror)

!" = $%&% +1

) + *+[ $.&. /. 1 +$2&2 /. 3 4 ]

50

3D model

+diffuse reflection+ diffuse reflection + specular

Phong’s model (1973)

Ambient light

Light source position and depthperception

51

Light And Shade: Highlights and shadows can provide information about an object’s dimensions and depth. Because our visual system assumes the light comes from above, a totally different perception is obtained if the image is viewed upside down.

Global rendering:Ray Tracing

52

Radiosity

53

Comparison : Phong model vs. Radiosity

54

Phong Model

Radiosity

….but how can we make a 3D rendering of the internalstructures?

multiplanar reformation (MPR), surfacerendering, (SR) and volume rendering, (VR).

Direct Volume Rendering: Ray Casting

•Only consider Primary Ray •Trace from each pixel as a ray into object space• Compute color value along the ray, composite.• Assign the value to the pixel

Similar to ray tracing in surface-based computer graphics. In DVR rendering only primaryrays, i.e. no secondary rays for shadows, reflection or refraction are considered. Since we have no surfaces in DVR we have to carefully step through the volume. A ray iscast into the volume, sampling the volume at certain intervals. The sampling intervals areusually equidistant, but they don't have to be (e.g. importance sampling). At eachsampling location, a sample is interpolated/reconstructed from the voxel grid. Popularfilter are nearest neighbor (box), trilinear, or more sophisticated (Gaussian, cubic spline).Volumetric ray integration: rays are casted through the volume, color and opacity are accumulated along each ray (compositing).

The basic goal of ray casting is to allow the best use of the three-dimensional data and not attempt to impose any geometric structure on it. It solves one of the most important limitations of surface extraction techniques, namely the way in which they display a projection of a thin shell in the acquisitionspace.

Surface extraction techniquesfail to take into account that, particularly in medicalimaging, data may originate from fluid and other materialswhich may be partiallytransparent and should be modeled as such. Ray casting doesn't suffer from this limitation.

Basic Idea: Ray Casting

Data Representation

•3D volume data are represented by a finite number of cross sectional slices (hence a 3D raster)•On each volume element (voxel), stores a data value (if it uses only a single bit, then it is a binary data set. Normally, we see a gray value of 8 to 16 bits on each voxel.)

N x 2D arraies = 3D array

Data Representation

What is a Voxel? – Two definitions

A voxel is a cubic cell, whichhas a single value cover the entire cubic region

A voxel is a data pointat a corner of the cubic cellThe value of a point inside the cell is determined by interpolation

Ray Casting

a) Stepping through the volume: a ray is cast into the volume, sampling the volume at certain intervals

b) The sampling intervals are usually equi-distant, but don�t have to be

c) At each sampling location, a sample is interpolated / reconstructed from the grid voxels: popular filters are nearest neighbor (box), trilinear (tent), Gaussian, cubic spline

d) Classification: map from density to color, opacity

e) Composite colors and opacities along the ray path

c1

c2

c3

Raycasting

color c = c s as(1 - a) + c

opacity a= a s (1 - a) + a

1.0

object (color, opacity)

volumetric compositingInterpolationkernel

Front-to-back

Raycasting

color

opacity

1.0

object (color, opacity)

volumetric compositing

Raycasting

color

opacity

object (color, opacity)

volumetric compositing

Ray Traversal Schemes

Depth

IntensityMax

Average

Accumulate

First

Ray Traversal - First

Depth

Intensity

First

• First: extracts iso-surfaces (again!)done by Tuy&Tuy �84

Ray Traversal - Average

Depth

Intensity

Average

• Average: produces basically an X-ray picture

Ray Traversal - MIP

Depth

IntensityMax

• Max: Maximum Intensity Projectionused for Magnetic Resonance Angiogram

Ray Traversal - Accumulate

Depth

Intensity

Accumulate

• Accumulate opacity while compositing colors: make transparent layers visible!Levoy �88

DVR Pipeline

Esempi di DVR

70

Esempi di DVR

71

Esempi di DVR

72