KAEMaRT Group HAPTICS: stato dell’arte ed applicazionivcg.isti.cnr.it/EGIT05/EG_IT Terzo...

Monica Bordegoni - Politecnico di Milano

Scuola Invernale 2005 - Eurographics Italian Chapter - Pisa 17-18 febbraio 2005 1

SCUOLA INVERNALE 2005 – Eurographics Italian Chapter – Pisa 17-18 febbraio 2005 1

KAEMaRT Group

HAPTICS: stato dell’arte ed applicazioni

Monica BordegoniPolitecnico di Milano

e-mail: [email protected]

http://www.kaemart.it/~mb


KAEMaRT GroupContenuti

• Haptics: definizioni• Multimodalita’• Interfacce e Sistemi haptic• Dispositivi: classificazione• Haptic Rendering• Applicazioni


KAEMaRT GroupCosa significa HAPTIC

• Haptic = “to grasp” (dal Greco haptesthai)

• Haptic indica informazioni sensoriali che dipendono da

Tatto + Cinestetica

(Gibson, “The senses considered as perceptual systems”, 1966)


KAEMaRT GroupTitpi di sensazioni haptic

• L’eplorazione e la presa di oggetti sono gestiti da:– Informazioni prodotte dai recettori del

tatto sulla pelle (informazione cutanea)– Informazioni relative al movimento e

posizione dei nostri arti prodotte dai recettori localizzati in muscoli e tendini (informazione cinestetica)


KAEMaRT GroupSenso del TATTO

• Perturbazione meccanica della pelle prodotta dal contatto fisico con un oggetto

• Il tipo di perturbazione meccanica dipende: – dalle proprieta’ fisiche dell’oggetto– da come esploriamo l’oggetto


KAEMaRT GroupPercezione Tattile

• Localizzazione dello stimolo tattile:– Risoluzione– Frequenza di vibrazione

• Percezione delle caratteristiche della superficie (texture)

• Percezione della temperatura della superficie




KAEMaRT GroupTatto “attivo”

• Toccare oggetti• Esplorare oggetti muovendo le dita• Secondo il feedback fornito dai

recettori del tatto, viene controllata la pressione delle dita sull’oggetto

contatto iniziale segnali tattili

movimento delle dita


KAEMaRT GroupPercezione cinestetica

• Cinestetica: percezione del movimento e posizione degli arti, forza

• Percezione attraverso i muscoli• Forza: risoluzione, presa


KAEMaRT GroupInformazioni haptic

• Dimensione di un oggetto (estensione nello spazio)

• Proprieta’ del materiale della superficie (texture, rigidezza, ecc.)

• Costruzione mentale del modello di parti non visibili di un oggetto

• ...


KAEMaRT GroupMetafore haptic

• Emozionale• Esplorazione• Contatto• Manipolazione• Proprieta’ di superficie


KAEMaRT GroupMultimodalita’ (1)

• Le interfacce haptic sono spesso multimodali

• Vari studi indagano come i sensi si inflenzano l’uno con l’altro– Il senso del tatto permette di

discriminare e riconoscere oggetti complessi

– Il senso del tatto e’ spesso usato per assistere il riconoscimento visuale in caso di discriminazioni difficili



Messaggi ambigui……

... da diverse situazioni virtuali (reali)

Cubo conscanalatura

Due cubi Un cubo inun angolo

Faconti G., Massink M., Bordegoni M., De Angelis F. and Booth S., Haptic Cues for Image Disambiguation, Computer Graphics Forum. Blackwell, 19(3):169-178, 2000.





60% 14% 62%visual

5% 0% 3%haptic

91% 82% 78%visual &haptic


KAEMaRT GroupInterfacce Haptic

X(t)

F(t)

X(K)

F(K)

Haptic rendering

Sistemahaptic

Continuous-time position and force signalsexchanged between

user and haptic device

Discrete-time position and force signalsexchanged between

haptic device and simulation environment


KAEMaRT GroupSistemi Haptic

Riproduzione nel mondo virtuale informazioni sensoriali

cutanee (tactile feedback) e/o cinestetiche (force feedback)


KAEMaRT Group

Sistemi Haptic:Classificazione

• Tipologia– Cinestetici– Tattili– Haptic

• Generici o dedicati


KAEMaRT Group

Sistemi Haptic:Caratteristiche

• Sistemi Input/Output

• Gradi di Liberta’ (d.o.f.)– Input d.o.f. (sensori)– Output d.o.f. (attuatori)– In generale input d.o.f. ≠ output d.o.f.

• Haptic Rendering– Gestione del rinfrescamento dell’informazione

haptic trasmessa all’utente


KAEMaRT GroupSistemi Haptic: componenti

• Sensori– Meccanici, magnetici

• Attuatori– Motori elettrici, attuatori pneumatici o

idraulici, attuatori piezoelettrici




KAEMaRT Group

Dispositivi cinestetici:force feedback

• Piccolo robot che:– Applica force calcolate da un computer

sulla mano dell’utente – Rappresenta un ambiente virtuale– Agisce come dispositivo di input e di

output: utente percepisce e controlla al tempo stesso


KAEMaRT GroupDispositivi cinestetici

• Finger-based• Point-based• Hand-based• Exoskeleton


KAEMaRT GroupTipi di sistemi cinestetici

• Grounded devices– Simili a robot– Utilizzano cinematica per calcolare

posizione finale, velocita’ e relazioni forze-torsioni

• Ungrounded devices– Piu’ semplici ma con meno DoF


KAEMaRT GroupFinger-based (1)

• PHANToM device

(SensAble Technologies Inc. - www.sensable.com)



• PHANToM device

Input d.o.f.: posizione, rotazioneOutput d.o.f.: forza, coppie



PHANToM device

PHANToM OMNI

PHANToM PREMIUM





• VIRTUOSE

(www.haption.com)SCUOLA INVERNALE 2005 – Eurographics Italian Chapter – Pisa 17-18 febbraio 2005 26


• Robotic and Magnetic Interface

(Iowa State University – www.vrac.iastate.edu/research/)



• HapticMaster

(University of Tsukuba – intron.kz.tsukuba.ac.jp/)SCUOLA INVERNALE 2005 – Eurographics Italian Chapter – Pisa 17-18 febbraio 2005 28

KAEMaRT GroupHand-based (2)

• CyberForce force feedback glove

(Immersion – http://www.immersion.com/)


KAEMaRT GroupPoint-based (1)

• FCS – HapticMaster

(FCS-CS – www.fcs-cs.com/robotics/)SCUOLA INVERNALE 2005 – Eurographics Italian Chapter – Pisa 17-18 febbraio 2005 30


• Magnetic Levitation Haptic Interface

(Carnegie Mellon University - www.cs.cmu.edu)





• OMEGA

(ForceDimension – www.forcedimension.com)SCUOLA INVERNALE 2005 – Eurographics Italian Chapter – Pisa 17-18 febbraio 2005 32

KAEMaRT GroupExoskeleton (1)

• Dextrous Arm

(Sarcos – www.sarcos.com)

(http://www.cs.utah.edu)


KAEMaRT GroupExoskeleton (2)

• PERCRO – PERCeptual RObotics

(Scuola Superiore Sant’Anna – www-percro.sssup.it)


KAEMaRT GroupDispositivi tattili (tactile)

• Dispositivi vibrotattili• Dispositivi termici


KAEMaRT GroupDispositivi termici

(www.cmresearch.com/vr.html)

• Displaced Temperature Sensing System

Thermode


KAEMaRT GroupDispositivi vibrotattili

• Tactile feedback in Minimally Invasive Surgery

(Forschungszentrum Karlsruhe – www.fzk.de)




KAEMaRT GroupDispositivi haptic

• Matrix display• Device basati su sensori non

convenzionali (magnetorheological fluid)


KAEMaRT GroupMatrix display• FEELEX

(University of Tsukuba –intron.kz.tsukuba.ac.jp/)


KAEMaRT GroupMagnetorheological Fluid

(http://www.mrfluid.com)SCUOLA INVERNALE 2005 – Eurographics Italian Chapter – Pisa 17-18 febbraio 2005 40

KAEMaRT Group

Dispositivi dedicati(commerciali)

• Applicazioni industriali• Video giochi• Applicazioni medicali/chirurgiche


KAEMaRT GroupApplicazioni industriali

http://www.immersion.com

iDrive – BMW 7-series


KAEMaRT GroupVideo giochi

(http://www.immersion.com)

Mouse




KAEMaRT GroupVideo giochi

Game Pad Joystick

WheelSCUOLA INVERNALE 2005 – Eurographics Italian Chapter – Pisa 17-18 febbraio 2005 44

KAEMaRT GroupMedicale (1)

• Laparoscopic Impulse Engine (Immersion Corporation)

(http://www.immersion.com)



• Karlsruhe Endoscopic Surgery Trainer

(http://hapticio.iai.fzh.de)SCUOLA INVERNALE 2005 – Eurographics Italian Chapter – Pisa 17-18 febbraio 2005 46


• VEST: Virtual Endoscopic Surgery Training

(Forschungszentrum Karlsruhe –www-kismet.iai.fzk.de/KISMET/VestTech.html)


KAEMaRT GroupInterazione Haptic

Utente

1. Leggere posizione del dispositivo

2. Verificare collisione con mondo virtuale

3. Se si, calcolare F di reazione

4. Inviare F a dispositivo haptic

SistemaHAPTIC

5. Modificare mondo virtuale


KAEMaRT GroupHaptic Rendering

UtenteSistemaHaptic

Applicazione di forze

Variazione posizione dell’interfaccia tattile

Risposte di Forza

Rendering Loop

(KHz)




KAEMaRT Group

Interazione statica con oggetti rigidi

• Dispositivo haptic entra in collisione con modello virtuale di un oggetto rigido

• La forza di reazione si calcola:F = kx

Xuser

Xwall Xwall

Xuser

x x

F

If Xuser > Xwall, F=k(Xwall-Xuser)

Stiffness k>0


KAEMaRT Group

Interazione con oggetti non-rigidi

• Trasformazioni della forma dell’oggetto


KAEMaRT GroupModelli di oggetti non-rigidi

• Modello particle-based

F=ma


KAEMaRT GroupProblemi aperti

• Le simulazioni NRM richiedono elevati tempi di calcolo

• Haptic Rendering e’ un processo real-time• Soluzioni comuni: trade-off tra qualita’ della

simulazione e velocita’ di calcolo– Rinuncia a modelli completamente physically-

based– Rinuncia alla precisione– Rinuncia alla generalita’– ...


KAEMaRT GroupOff-line simulated data

• Geometrie particolari hanno stessocomportamento in ogni punto

• Il comportamento puo’ essere simulatoaccuratamente off-line ed utilizzato a run-time


KAEMaRT GroupRun-time simulated data (1)

• Il simulatore real-time– aspetti fisici ridotti– approssimato– tempi computazionali brevi (ms)– loop di simulazione asincrono rispetto all’ haptic

rendering

NRMSimulation

Force Vector

Human Manipulation1000 Hz

Position

10-100 Hz




KAEMaRT GroupRun-time simulated data (2)


KAEMaRT GroupApplicazioni haptic

• Medicale• Scultura virtuale• Prototipazione Virtuale, Design• Validazione ergonomica• Telemanipolazione• Applicazioni per non vedenti• ...


KAEMaRT GroupVirtual Protptyping

(www.sensable.com)SCUOLA INVERNALE 2005 – Eurographics Italian Chapter – Pisa 17-18 febbraio 2005 58

KAEMaRT GroupVirtual Prototyping

• T’nD – Touch and Design– project is financially supported by FP6 IST Programme

of the European Union• Coordinated by

– Prof. U. Cugini, Politecnico di Milano• Period:

– 01.01.2004-31.12.2006• url:

– www.kaemart.it/touch-and-design• Objectives:

– T’n D aims at developing a novel system for shape generation and modification based on novel hapticinteraction and intelligent shape manipulation operatorsin order to exploit existing manual skills of modelers and designers


KAEMaRT GroupT’nD project partners

Coordinator:

Politecnico di MilanoDipartimento di Meccanicahttp://www.polimi.itcontact: Umberto [email protected]

think3http://www.think3.comcontact: Alain [email protected]

IT providers:

FCS-CShttp://www.fcs-cs.com/robotics/

contact: Piet [email protected]

EIGERhttp://www.eigersl.comcontact: Josep [email protected]

ALESSI S.p.A.http://www.alessi.comcontact: Cristiano [email protected]

Pinifarina S.p.A.http://www.pininfarina.comcontact: Filippo [email protected]

UNIVERSITAT DE GIRONAhttp://www.udg.escontact: Josep [email protected]

Universite Aix-Marseille IPsyCLEhttp://www.univ-mrs.frcontact: Nathalie [email protected]

Academics:

Politecnico di MilanoDipartimento di Meccanicahttp://www.polimi.itcontact: Monica [email protected]

End users:


KAEMaRT GroupT’nD objectives

Industrial context: industrial design sector




KAEMaRT GroupT’nD Scenario

Scraping action Quality check action Finishing action

From real world

... to T’nD simulation


KAEMaRT GroupT’nD prototype


KAEMaRT GroupDispositivi haptic dinamici (1)

• Dispositivi haptic dedicati dinamici• Simulano dispositivi/componenti e loro

comportamento• Comportamento haptic programmabile e

modificabile in real-time



• Progetto di validazione di design ergonomico di componenti di un cruscotto

• Manopola

Progetto MIUR – FIRB –SIMBAR - SIMulation Based on Augmented Realitywww.kaemart.it/simbar








KAEMaRT GroupTelemanipolazione

http://www.sarcos.com/teleop_videos.html


KAEMaRT GroupConclusioni (1)

• Limitazioni– Hardware

• Costoso• Basse forze di reazione

– Software• Virtual Environment complessi• Mancanza di realismo poiche’ i modelli non

sono sufficientemente accurati


KAEMaRT GroupConclusioni (2)

• Il futuro– Miglior comprensione della percezione

umana– Miglioramenti nella progettazione dell’hw

(attuatori)– Tecniche di rendering piu’ efficaci ed

efficienti – Modellazione realistica (materiali

deformabili)– Tactile feedback


KAEMaRT GroupTesti

• The World of Touch by David Katz, Lester E. Krueger (Trans.) Hillsdale, NJ: Erlbaum, 1989

• Handbook of Perception and Human Performance, K. Boff, L. Kaufman, and J. Thomas, Eds., New York: Wiley and Sons, 1986, Volume 1, Chapter 12; Volume 2, Chapter 31

• Force and Touch Feedback for Virtual Reality, Grigore Burdea, John Wiley & Sons, New York, 1996


KAEMaRT GroupWeb site

• The Haptics community website– http://haptic.mech.northwestern.edu

• Haptics-E journal– http://www.haptics-e.org/


KAEMaRT GroupConferenze

• 13th Annual Haptics Symposium, together with Euro Haptics 2005. Pisa, Italy. March 12-16 2005.

• IEEE Virtual Reality 2005 (IEEE-VR2005), in conjunction with Haptics Symposium. Bonn, Germany. 12-16 March 2005.

• ACM CHI 2005. Portland, OR, USA. April 2-7, 2005. With special workshop on Tactile Haptics, April 3-4.

• Graphics Interface 2005. Victoria, British Columbia, Canada. May 9th-11th, 2005.

• American Control Conference 2005. Portland, OR, USA. June 8th-10th, 2005.

• Gordon Research conference on Visualization in Science & Education. Queen's College, Oxford, UK. July 3-8, 2004.

• SIGGRAPH 2005. Los Angeles, CA, USA. July 31st - August 4th, 2005.

• IROS 2005. Edmonton, Alberta, Canada. August 2nd-6th, 2005.

KAEMaRT Group HAPTICS: stato dell’arte ed applicazionivcg.isti.cnr.it/EGIT05/EG_IT Terzo...

Documents

Transcript of KAEMaRT Group HAPTICS: stato dell’arte ed applicazionivcg.isti.cnr.it/EGIT05/EG_IT Terzo...