La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le...

MIMOS 2007 - Roma, 6-8 Novembre 2007 1

La Realtà Aumentata in Chirurgia

Giovanni Aloisio, Lucio Tommaso De Paolis

Dipartimento di Ingegneria dell’InnovazioneUniversità del Salento

Consorzio SPACI


Realtà Aumentata

un sistema di Realtà Aumentata (AR – Augmented Reality) èun sistema che, acquisendo una scena reale, è in grado di arricchire tale scena di elementi grafici

il mondo reale è “aumentato”, ovvero virtualmente arricchito, con informazioni grafiche e testuali addizionali, sincronizzate e generate dal computer

si catalogano come sistemi di AR tutte quelle applicazioni il cui scopo è di incrementare la percezione visiva dello spazio fisico con immagini prese dallo spazio virtuale


Realtà Aumentata

il risultato è che l’ambiente reale e virtuale sembrano coesistere e l’utente si può muovere liberamente nella scena

il tutto deve essere elaborato in maniera ottimale, ovvero in maniera tale che l’utente abbia la percezione di una singola scena nella quale il reale ed il virtuale sono due entità indistinguibili

il termine Augmented Reality fu coniato nel 1990 da TomCaudell e David Minzell, ricercatori dei laboratori della Boeing


Reality-Virtuality Continuum


Realtà Virtuale e Realtà Aumentata

la Realtà Virtuale rappresenta un ambiente interattivo tridimensionale generato dal computer

la Realtà Virtuale richiede un’immersione dell’utente in un mondo completamente fittizio, dove tutto quello che si percepisce è generato dal computer e dove l’utente si ritrova in un mondo distinto, isolato da quello reale

la Realtà Aumentata non isola l’utente dal mondo reale che viene arricchito tramite oggetti virtuali generati dal computer


Realtà Aumentata

scopo della Realtà Aumentata è di migliorare la percezione del mondo e le prestazioni dell’operatore

dal punto di vista tecnologico, l’obiettivo è la creazione di un sistema in cui non si noti la differenza tra il mondo reale e l’arricchimento virtuale


Tecnologie per la Realtà Aumentata

la scelta della tecnologia dipende fondamentalmente dai requisiti che il sistema di Realtà Aumentata richiede

optical see-through

video see-through

retinal display

handheld display



si tratta quindi di tecnologie parzialmente trasmittenti poiché, guardando attraverso la lente, si può vedere l’immagine virtuale sovrapposta a quella reale

tali sistemi molto simili agli Head-Up Display usati dai piloti degli aerei militari

una caratteristica dei combinatori ottici è che riducono l’intensità della luce della scena reale

visori optical see-through


Tecnologie per la Realtà Aumentatavisori optical see-through



usano due telecamere, una per ciascun occhio, con le quali acquisiscono l'immagine reale

si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display

l’immagine del mondo reale è mescolata elettronicamente con l’immagine generata dal computer ed esposta sul display a cristalli liquidi dello schermo

questa scelta permette di realizzare effetti visivi piùcomplessi

visori video see-through


Tecnologie per la Realtà Aumentatavisori video see-through



semplicità: il blending ottico è più semplice e sicuramente più conveniente di quello video

risoluzione: le tecnologie video limitano sicuramente la risoluzione della scena

nessun offset dell’occhio: con i video see-through il punto di vista dell’utente coincide con quello della video camera

l’approccio ottico rispetto all’utilizzo di un video see-throughha i seguenti vantaggi:



luce e trasparenza degli oggetti virtuali: nei visori opticalsee-through l’oggetto virtuale non oscura completamente la scena reale quando si sovrappone su di essa

largo campo di visuale: con i video see-through si raggiunge certamente un largo campo di visuale

ritardi visuali: i sistemi ottici offrono una vista quasi istantanea del mondo reale, ma una visione ritardata dell’oggetto virtuale

utilizzare un visore video see-through fornisce dei vantaggi:


Tecnologie per la Realtà Aumentataretinal display

proiettano un fascio di luce direttamente sulla retina

l’osservatore ha l’illusione di vedere l’immagine come se fosse su un display a 14” a 50 cm

caratteristiche:

alta risoluzioneluminosità


Tecnologie per la Realtà Aumentatahandheld display


Tecnologie per la Realtà AumentataI vantaggi di utilizzo di tali tecnologie portatili sono:

una reale alternativa agli HMD per applicazioni mobilisupportano applicazioni mobilisupportano applicazioni multi-utentePDA o cellulari hanno prezzi molto accessibili

Gli svantaggi sono:

una limitata screen sizenon forniscono una totale libertà di utilizzo delle manimemoria limitata


La Registrazione

il concetto di registrazione consiste nel preciso allineamento e sincronizzazione di due o più elementi sensoriali e comprende tutte le tecniche necessarie affinché l’oggetto virtuale elaborato attraverso il computer si collochi con precisione nell’ambiente reale

si richiede un’esatta calibrazione della videocamera

una delle maggiori difficoltà nelle applicazioni di AR è il calcolo in real-time del punto di vista dell’utente in maniera che gli oggetti virtuali siano perfettamente allineati con quelli reali


La Registrazione

occorrono precisi algoritmi o metodi basati su fiducial pointper posizionare con precisione il modello virtuale nella scena reale

nel caso di applicazione in medicina, poiché le tecniche di AR vengono utilizzate anche in sede operatoria, se il processo di registrazione fosse errato, il medico andrebbe incontro a errori spesso imperdonabili


Applicazioni di AR


Applicazioni di AR

VOMAR Interface


Applicazioni in Medicinal’obiettivo è visualizzare strutture anatomiche o patologiche che non possono essere viste direttamente tramite la sovrapposizione dimodelli 3D virtuali alla vista reale del paziente

il paziente diventa trasparente

le interfacce di AR forniscono ai medici una visione quasi “a raggi X”


Applicazioni in Medicina

il chirurgo può eseguire con maggiore precisione alcune procedure

le applicazioni si concentrano fondamentalmente sulla chirurgia guidata tramite immagini


Applicazioni in MedicinaIRCAD

(Istitut de Recherche Contre le Cancers de l’Appareil Digestif) Strasburgo - Francia

ODYSSEUS Project:3D patient modelling, cooperative surgical planning and simulation in robotizedsurgery

relativamente all’apparato digestivo, sono stati sviluppati sistemi che permettono di conoscere esattamente l’esatta posizione di ciascuna struttura anatomica del paziente al fine di automatizzare la procedura chirurgica


Applicazioni in MedicinaCAMP

(Computer Aided Medical Procedures) Monaco - Germania


vantaggi della chirurgia minimamente invasiva:vantaggi della chirurgia minimamente invasiva:

diminuzione del trauma postdiminuzione del trauma post--operatorio e della convalescenzaoperatorio e della convalescenza

perdita ridotta di sangue e minore rischio di infezioneperdita ridotta di sangue e minore rischio di infezione

piccoli tagli per lpiccoli tagli per l’’inserimento della strumentazione chirurgicainserimento della strumentazione chirurgica

svantaggi:svantaggi:

una scarsa visione della struttura anatomica di interesseuna scarsa visione della struttura anatomica di interesse

L’applicazione fornisce un utile supporto al medico nell’ambito della chirurgia minimamente invasiva (MIS)

UN SISTEMA DI REALTA’ AUMENTATA AIUTA A RISOLVERE QUESTO PROBLEMA

Applicazione AR - UNILE


ottenere una sorta di visione a “raggi X” del paziente reale tramite

un’opportuna interfaccia AR

scegliere opportunamente il punto in cui effettuare il taglio

valutare il percorso migliore per raggiungere gli organi di interesse

Struttura anatomica virtuale



acquisizione ed elaborazione delle immagini mediche

allineamento esatto della struttura anatomica virtuale con il

corpo del paziente

visualizzazione dei modelli 3D virtuali

configurazione a 6 marker



posizionamento corretto

il sistema riconosce i marker singolarmente

ad ogni marker è stata infatti associata una matrice di trasformazione che

trasla il sistema di coordinate di ogni marker in un sistema fisso centrale

Applicazione AR Sviluppata


estendere la struttura anatomica virtuale da visualizzare

migliorare il processo di registrazione dei modelli virtuali

automatizzare il processo di registrazione

Sviluppi Futuri


Dipartimento di Ingegneria dell’InnovazioneUniversità del Salento

&

SPACI Consortium(Southern Partnership for Advanced Computational Infrastructure)

Prof. Giovanni Aloisio ([email protected])Ing. Lucio Tommaso De Paolis ([email protected])

La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le...

Documents

Transcript of La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le...