1

Image Based Rendering

Daniele Marini

2

Image based rendering

• ricavare informazioni per il rendering dalle immagini acquisite– profondita’– colore– BRDF– luminanza

3

Ricavare la geometria

• Ricostruzione della profondità da immagini multiple

• problema della inversione della proiezione prospettica

4

la “costruzione legittima” L.B. Alberti

5

6

Come ricavare la forma?

• Shape from shading

• Shape from motion

7

Shape from stereo

8

x

zxs

'

f

x bz

xd

'

f

z bf

x' s x'd

b= 65 mm distanza interpupillare

9

Ricerca dei punti corrispondenti

10

Metodi basati su immagini

• Ricostruzione “a quinte”

• Mapping di panoramiche su forme regolari (cilindri, calotte sferiche)

11

Ricostruzione a “quinte”

• Ricavando z per diversi piani di profondità permette di organizzare la scena come “quinte” teatrali

• Ogni immagine viene mappata come texture su una superficie a profondità z

• Si può esplorare la scena con sistemi di visualizzazione 3D

12

Panoramiche: QuickTimeVR

• Costruzione dello “stitch”– Stima dell’obiettivo– Correzione prospettica– Collimazione fotogrammi

• Mapping dello stitch

• Costruzione sequenza video

• Dislay con interpolazione

13

14

Un esempio

15

Stima obiettivo

16

Collimazione immagini

17

18

Mapping dello stitch

19

Tiling: fotogrammi chiave e traiettorie di navigazione

20

Tiling e compressione

21

Il risultato

22

Struttura ipertestuale

• Si possono inserire “hot spots” per collegare scenari diversi

• La struttura del meta-filmato:

23

Oggetti

• Si possono creare modelli virtuali di oggetti

• Riprese multiple di un oggetto, organizzate in un array 2D

• Il mapping idealmente è su una struttura sferica

24

25

Scene e link

• Panorami e oggetti si possono organizzare in scene

• Il passaggio a scene, panorami e oggetti diversi avviene con hot spots

• Sono disponibili links URL

26

Costruzione dello “stitch”

• Determinare lo scarto tra due immagini:– Basato su caratteristiche delle immagini– Correlazione di fase

27

Correlazione di fase

• La correlazione di fase è basata sulla valutazione della fase del Cross Power Spectrum (CPS) delle due immagini.

• Se una delle due immagini è una replica sfasata dell’altra, cioè se:

f2(x,y) = f1(x+x0,y+y0)• la fase del Cross Power Spectrum delle due

immagini f1 e f2 è data dall’equazione:

28

Correlazione di fase (cont.)

• F è la trasformata di Fourier dell’immagine f e F* è la sua coniugata complessa.

• La trasformata di Fourier inversa dell’equazione è solitamente un impulso di coordinate (x0,y0) la cui posizione indica lo scostamento cercato.

F1( ,)F2*( ,)

F1( ,)F2*( ,)

e j2 (x0y0 )

29

Correlazione di fase (cont.)

30

Ricostruzione con luce coerente

• Esame del profilo della forma delineato con un fascio laser

31

La faccia nascosta della luna

• Ricostruzione da proiezioni multiple (TAC, NMR)

32

Proiezioni multiple

33

Trasformata di Radon

R (x') f (x 'cos y 'sin ,x'sin y 'cos )dy '

• x’,y’ coordinate del punto trasformato per rotazione

• R viene rilevato più volte al variare dell’angolo

• l’inversione dell’equazione produce f(x,y)

34

HDRI e Image-Based lighting• Uso di immagini ad alta dinamica di un

ambiente per illuminare oggetti virtuali.

35

HDRI• Bisogna acquisire un’immagine ad alta

dinamica di un ambiente.

• Varie soluzioni:Mirrored Ball Fisheye lens

Panoramic camera Stitching

36

Mirrored ball

37

Fisheye lens

38

Image-Based Lighting (1\4)

• L’immagine ad alta dinamica fornisce i valori di luminanza reali di tutti i 360° della scena.

• Utilizzandola come environment riesco a renderizzare oggetti virtuali che sembrano inseriti nella scena reale

39

Image-Based Lighting (2\4)

40

Image-Based Lighting (3\4)

41

Image-Based Lighting (4\4)