Introduzione alla Realtà Virtuale e Realtà Aumentata in … Medicina Incontra la RealtàVirtuale:...

Dipartimento di Ingegneria dell’InnovazioneUniversità del Salento, Lecce

&

Consorzio SPACI(Southern Partnership for Advanced Computational Infrastructure)

Lucio Tommaso De Paolis, Giovanni Aloisio

Introduzione alla Realtà Virtuale e Realtà Aumentata in Medicina

La Medicina Incontra la Realtà Virtuale:Applicazioni in Italia della Realtà Virtuale e della Robotica in Medicina e Chirurgia

Roma, 31 Ottobre 2008





Realtà Virtuale e Realtà Aumentata





la Realtà Virtuale rappresenta un ambiente interattivo tridimensionale generato dal computer

la Realtà Virtuale richiede un’immersione dell’utente in un mondo completamente fittizio, dove tutto quello che si percepisce ègenerato dal computer e dove l’utente si ritrova in un mondo distinto, isolato da quello reale

la Realtà Aumentata non isola l’utente dal mondo reale che viene arricchito tramite oggetti virtuali generati dal computer

3

Realtà Virtuale e Realtà Aumentata





Per immersione in un ambiente virtuale si intende la sensazione diessere effettivamente in tale ambiente e circondato da esso

Per creare un senso diimmersione è necessarioessere circondati da svariatistimoli secondo le regole del mondo reale

Realtà Virtuale

E’ necessario che le interazioni avvengano in tempo reale





Interazione con un Ambiente Virtuale

L’interfaccia funziona come una specie di traduttore capace di permettere la comunicazione tra l’utente e l’ambiente virtuale






Occorre disporre di un’interfaccia avanzata uomo-macchina capace di:

registrare i movimenti dell’uomo per replicarli nell’ambientegenerare sull’uomo stimoli sensoriali provenienti dall’ambiente





Le interfacce aptiche sono dispositivi capaci di fornire:

informazioni sul movimento percezione della posizione spaziale degli artisensazioni tattili e di contatto con gli oggetti virtuali

L’utente sente le forze generate in risposta alle forze che egli stesso ha applicato






Realizzazione dell’Ambiente Virtuale





Interazione con l’Ambiente Virtuale

rilevazione delle collisioni

calcolo delle forze di collisione

modellazione fisica dei tessuti





Modellazione delle proprietàanatomiche del cervello

Interazione con l’Ambiente Virtuale





un sistema di Realtà Aumentata è un sistema che, acquisendo una scena reale, è in grado di arricchire tale scena di elementi grafici

il mondo reale è “aumentato”, ovvero virtualmente arricchito, con informazioni grafiche e testuali addizionali, sincronizzate e generate dal computer

il tutto deve essere elaborato in maniera ottimale, ovvero in maniera tale che l’utente abbia la percezione di una singola scena nella quale il reale ed il virtuale sono due entità indistinguibili

scopo della Realtà Aumentata è di migliorare la percezione del mondo e le prestazioni dell’operatore

11

Realtà Aumentata





la scelta della tecnologia dipende fondamentalmente dai requisiti che il sistema di Realtà Aumentata richiede

optical see-through

video see-through

retinal display

handheld display

12

Tecnologie per la Realtà Aumentata





si tratta quindi di tecnologie parzialmente trasmittenti poiché, guardando attraverso la lente, si può vedere l’immagine virtuale sovrapposta a quella reale

tali sistemi molto simili agli Head-Up Display usati dai piloti degli aerei militari

una caratteristica dei combinatori ottici è che riducono l’intensitàdella luce della scena reale

visori optical see-through

13






visori optical see-through

14






usano due telecamere, una per ciascun occhio, con le quali acquisiscono l'immagine reale

si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display

l’immagine del mondo reale è mescolata elettronicamente con l’immagine generata dal computer ed esposta sul display a cristalli liquidi dello schermo

questa scelta permette di realizzare effetti visivi più complessi

visori video see-through

15






visori video see-through

16






semplicità: il blending ottico è più semplice e sicuramente piùconveniente di quello video

risoluzione: le tecnologie video limitano sicuramente la risoluzione della scena

nessun offset dell’occhio: con i video see-through il punto di vista dell’utente coincide con quello della video camera

l’approccio ottico rispetto all’utilizzo di un video see-through ha i seguenti vantaggi:

17






luce e trasparenza degli oggetti virtuali: nei visori optical see-through l’oggetto virtuale non oscura completamente la scena reale quando si sovrappone su di essa

largo campo di visuale: con i video see-through si raggiunge certamente un largo campo di visuale

ritardi visuali: i sistemi ottici offrono una vista quasi istantanea del mondo reale, ma una visione ritardata dell’oggetto virtuale

utilizzare un visore video see-through fornisce dei vantaggi:

18






retinal display

proiettano un fascio di luce direttamente sulla retina

l’osservatore ha l’illusione di vedere l’immagine come se fosse su un display a 14” a 50 cm

caratteristiche:

alta risoluzioneluminosità

19






preciso allineamento e sincronizzazione di due o più elementi sensoriali

tutte le tecniche necessarie affinché l’oggetto virtuale si collochi con precisione nell’ambiente reale

una delle maggiori difficoltà è il calcolo in real-time del punto di vista dell’utente

occorrono precisi algoritmi o metodi basati su fiducial point per posizionare con precisione il modello virtuale nella scena reale

particolarmente critica nelle applicazioni in medicina

21

La Registrazione in AR





Applicazioni di VR in Medicina

Pianificazione pre-operatoria

Training del chirurgo

Computer Aided Surgery

Diagnosi

Riabilitazione






I vantaggi offerti dall'approccio mini-invasivo:

ridotto sanguinamento intra-operatorio grazie all'accurata emostasi; precoce mobilizzazione; ridotto dolore post-operatorio; minore impatto psicologico; precoce ripresa delle normali attività; indubbi vantaggi estetici.





Il chirurgo può preparare l’intervento nel modello virtuale 3D, eseguirepiù volte la procedura ed, infine, utilizzare il modello virtuale come guida durante la reale operazione

Training chirurgico

I simulatori permettono di:

effettuare un addestramento ripetibile, graduabile per difficoltà e adattabile alle esigenze del discente

esercitarsi con patologie rare e difficili da trattare

utilizzare nuove tecniche chirurgiche

ripetere più volte la procedura






Training nelle procedure di chirurgia minimamente invasiva







LAP Mentor II

Simbionix USA Corp.www.simbionix.com





LapSim® System

Surgical Science Ltd - Swedenwww.surgical-science.com






VEST System One (VSOne)

Karlsruhe Virtual EndoscopicSurgery Trainer (VEST)

www-kismet.iai.fzk.de






Procedicus MISTTM

Mentice - Sweden

www.mentice.com

Il sistema fornisce una serie di esercizi per il training su alcuneprocedure quali la colicistectomia

Il sistema permette di valutare le prestazioni

By courtesy of Mentice






L’endoscopia virtuale è una tecnica in cui i dati provenienti da sorgenti non intrusive sono utilizzati per realizzare un ambiente virtuale che può essere esplorato dal chirurgo come se un endoscopio fosse realmente inserito in un paziente

Endoscopic Simulation

Georgia Institute of Technology and the Medical College of Georgia

www.bitc.gatech.edu






VR e Riabilitazione

Poter disporre di un ambiente virtuale nel quale il paziente possa navigare offre notevoli possibilità di training rieducativo in malati con deficit motorio

Al medico interessa evocare condizioni capaci di suscitare un coinvolgimento della coscienza e del subconscio

La possibilità di disporre di canali percettivi alternativi rappresenta un sicuro vantaggio in campo riabilitativo





Applicazioni di AR in Medicina

l’obiettivo è visualizzare strutture anatomiche o patologiche che non possono essere viste direttamente tramite la sovrapposizione di modelli 3D virtuali alla vista reale del paziente

il paziente diventa trasparente

le interfacce di AR forniscono ai medici una visione quasi “a raggi X”

si utilizzano immagini mediche ad alta risoluzione durantel’operazione per sovrapporle all’area chirurgica





Esempio di biopsia guidata da un sistema AR che mette in evidenza il profilo ecografico

Esempio di sovrapposizione di informazioni 3D ricavate da una risonanza magnetica per applicazioni in chirurgia ortopedica






IRCAD (Istitut de Recherche Contre le Cancers de l’Appareil Digestif) Strasburgo - Francia

ODYSSEUS Project: 3D patient modelling, cooperative surgical planning and simulation in robotized surgery

per l’apparato digestivo sono stati sviluppati sistemi che permettono di automatizzare la procedura chirurgica

35

Applicazioni di AR Medicina





CAMP (Computer Aided Medical Procedures) Monaco - Germania

36




Interfaccia virtuale



action buttons

selectionbuttons

cursorposition

active interaction modality




Prof. Giovanni Aloisio ([email protected])

Ing. Lucio Tommaso De Paolis ([email protected])

Dipartimento di Ingegneria dell’InnovazioneUniversità del Salento, Lecce

&

Consorzio SPACI(Southern Partnership for Advanced Computational Infrastructure)

Introduzione alla Realtà Virtuale e Realtà Aumentata in … Medicina Incontra la RealtàVirtuale:...

Documents

Transcript of Introduzione alla Realtà Virtuale e Realtà Aumentata in … Medicina Incontra la RealtàVirtuale:...