Introduzione alla Realtà Virtuale Parte...

26
1 1/52 http:\\homes.dsi.unimi.it\borghese\ A.A. 2005-2006 Introduzione alla Realtà Virtuale Parte II Alberto Borghese 2/52 http:\\homes.dsi.unimi.it\borghese\ A.A. 2005-2006 Sommario • Introduzione Sistemi di Input Generatori di mondi Motore di calcolo Sistemi di Output • Conclusioni

Transcript of Introduzione alla Realtà Virtuale Parte...

Page 1: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

1

1/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Introduzione alla Realtà VirtualeParte II

Alberto Borghese

2/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Sommario

• Introduzione• Sistemi di Input• Generatori di mondi• Motore di calcolo• Sistemi di Output• Conclusioni

Page 2: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

2

3/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Sistemi di Output::display aptici

4/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Haptic displays

Convey to the subject the sensorial information generated in theinteraction with the virtual objects: force, material texture…

Measure the force exerted by the subject on the virtual environment.

Aptic displays provide a mechanical interface for Virtual Reality applications.

Most important developments have been made in the robotics field.

International Haptic society - http://www.isfh.org/

Page 3: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

3

5/47 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Cyber Grasp: • max 12 N per dito • Peso 350 grammi

Cyber grasp

6/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Requirements of Haptic displays

• Large bandwidth.• Low intertial and viscosity.

Technological solutions (oggetto intermediario):• Direct drive manipulandum (Yoshikawa, 1990), Phantom (2000).• Parallel manipulandum (Millman and Colgate, 1991; Buttolo and Hannaford, 1995). • Magnetic levitation devices (Salcudean and Yan, 1994; Gomi and Kawato, 1996).• Gloves (Bergamasco, 1993).

Page 4: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

4

7/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Direct drive manipulandum (phantom)

8/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Parallel manipulandum (schema)

Page 5: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

5

9/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Gloves (Blackfinger, 2000)

10/49 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2004-2005

Percro gloves (2002)

Sensori goniometrici – non devono essere calibrati sulla lunghezza delle falangi.

http://www.percro.org

Page 6: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

6

11/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Sistemi di Output::display

12/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Optical Output systems

Requirements for the monitor:• Large field of view (180o x 150o).•High spatial resolution (35 pixels/degree, equivalent to12,000x12,000 pixels for a 19" display positioned at 70cmfrom the viewer).

Requirements for the world generator:•Stereoscopic vision for objects with D < 10m.•Monocular cues for objects with D > 10m.

• - Occlusions.• - Geometrical perspective and a-priori model

knowledge.• - Shading.• - Motion.

Page 7: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

7

http:\\homes.dsi.unimi.it\∼borghese13/79A.A. 2004-2005

La camera come strumento di ripresa

Modello pin-hole

Come si forma un’immagine?

•Scena con oggetti riflettenti.•Sorgente di illuminazione•Piano di rilevazione della luce riflessa.

Il motore di questa trasformazione è la

proiezione prospettica.

http:\\homes.dsi.unimi.it\∼borghese14/79A.A. 2004-2005

La pin-hole camera

Pinhole camera

Proiezione prospettica: tutti i raggi di proiezionepassano per un unico punto,detto centro di proiezione.

Page 8: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

8

http:\\homes.dsi.unimi.it\∼borghese15/79A.A. 2004-2005

La lente

Pinhole camera

Lente convergente

http:\\homes.dsi.unimi.it\∼borghese16/79A.A. 2004-2005

Geometria dell’ottica

Oggetti all’infinito

•Distanza focale: distanza del piano immagine quando un oggetto si trova all’infinito.•Asse ottico: raggio che non viene deviato dalla lente.• Intersezione dell’asse ottico con il piano immagine dà il punto principale (F).

Page 9: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

9

http:\\homes.dsi.unimi.it\∼borghese17/79A.A. 2004-2005

L’occhio umano

Its behavior is very similar to that of a camera

18/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Stereo-disparity

Points further away are projected on pointscloser to the image center.

Vergence and focusing are strictlyconnected.

Also monocular cues: shading, apparent size, …..

Page 10: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

10

19/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Passive stereo

20/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Stereo image for passive stereo

Page 11: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

11

21/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Stereogramma con parallasse

Brevetto del 1903

Immagine suddivisa in strisce verticali. Coppie di strisce, associate alla parallasse orizzontale, sono posizionate

in funzione dell’angolo.

22/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Display Autostereoscopici

Page 12: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

12

23/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Output devices (eye-glasses)

Semi-immersive: Eye-glasses (video accuracy, but user is not allowedto move, lateral vision is permitted, which limits virtual realism).

24/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

I-glasses (games)

Page 13: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

13

25/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

HMD (n-vision)

Up to 1280 x 1024, 180Hz. Time multiplexing.

26/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Output devices (BOOM HMD)

Up to 1280 x 1024 pixels / eyeCRT TechnologyHead tracking is integrated.

Page 14: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

14

27/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

CAVE

Room 2.5m x 2.5m with Virtual images(steoscopic) projectedonto its walls.

More people andComplete immersivity.

28/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Responsive work-bench(Strauss et al., 1995)

Virtual 3D objects are positioned on a working table. They are created projecting the stereo images over the table surface.

Page 15: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

15

29/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

LargeLarge screenscreen displaysdisplays

Workwall

30/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Physiological problems

• SIMM and VR sickness limit the exposure time.

• Size and distances misperception.

• Limited range in extrapersonal space.

Page 16: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

16

31/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Other output devices

Audio – Stereo, sound spatialization.

Olfactory – Virtual nose

32/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Stimolatori tattiliCyber touch: • 6 vibratori, uno per dito più 1 sul palmo • Frequenza di vibrazione: 0-125 Hz. • Ampiezza di vibrazione: 1.2 N @ 125 Hz (max).

Page 17: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

17

33/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Wearable devices - Orologi

Xelibrì – Orologio/telefonino(come digitare un numero?)

Wrist-netN3

“Paparazzi”

Computer palmare

34/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Wearable devices – input / output

Characteristics: mobile, contextsensitive, augmented reality.HMD – 320x240 VGA

Interfaccia su stoffa.

Page 18: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

18

35/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Wearable devices – Da indossare

Siemenspenna-telefono

E-textile

Circuito stampato su stoffa

Ciondolo contenente

dati personali

36/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Wearable devices - IV

Electronical cloths - Sony Smart cloths

MIT Media lab and industrial style.

Page 19: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

19

37/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Wearable devices – Micro-sensors

MEMS devices

Typically a MEMS accelerometer consists of interlocking fingers that are alternately moving and fixed. Acceleration is sensed by measuring the capacitance of the

structure, which varies in proportion to changes in acceleration. The elements can be arranged like combs to make a linear accelerometer, as is the

type used in airbags, or like the spokes of a wheel to make a rotational accelerometer.

38/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Robotics – fourth generation

http://world.honda.com/ASIMO/P3/Investimento di 10 anni e 100

milioni di dollari.

Qrio - Sony

Leonardo - MIT

ERS7 ERS7

VisioneMovimento

Coordinazione, flotta di robot (Wifi 802.11b).

AIBO – ERS7

Page 20: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

20

39/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Sommario

• Introduzione• Sistemi di Input• Generatori di mondi• Motore di calcolo• Sistemi di Output• Conclusioni

40/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Applications

• Army• Medicine• Industry (inspection, virtual prototyping)• Chemistry and Physics• Virtual theaters and theme parks• Enterteinment• Comunication• Engineering, Ergonomics and Architecture.• History.

Page 21: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

21

41/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Indossatrice Virtuale

Cf. Politecnico di Losanna

42/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Simulazione di interventi di chirurgia mininvasiva

Page 22: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

22

43/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Simulazione di interventi di chirurgia mininvasiva

44/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Fusione di immagini pre e intra operatorie

Page 23: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

23

45/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Realizzazione di oggetti 3D

46/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Anatomia virtuale

Page 24: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

24

47/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Progettazione: impianti virtuali

48/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Progettazione: motori virtuali

Page 25: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

25

49/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Human Factors

50/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

La città di Giotto

Page 26: Introduzione alla Realtà Virtuale Parte IIhomes.di.unimi.it/borghese/Teaching/AdvancedIntelligent...(Strauss et al., 1995) Virtual 3D objects are positioned on a working table. They

26

51/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

La tomba di Nefertari

52/52 http:\\homes.dsi.unimi.it\∼borghese\A.A. 2005-2006

Sommario

• Introduzione• Sistemi di Input• Generatori di mondi• Motore di calcolo• Sistemi di Output• Conclusioni