Post on 13-Jan-2020
MIMOS 2007 - Roma, 6-8 Novembre 2007 1
La Realtà Aumentata in Chirurgia
Giovanni Aloisio, Lucio Tommaso De Paolis
Dipartimento di Ingegneria dell’InnovazioneUniversità del Salento
Consorzio SPACI
MIMOS 2007 - Roma, 6-8 Novembre 2007 2
Realtà Aumentata
un sistema di Realtà Aumentata (AR – Augmented Reality) èun sistema che, acquisendo una scena reale, è in grado di arricchire tale scena di elementi grafici
il mondo reale è “aumentato”, ovvero virtualmente arricchito, con informazioni grafiche e testuali addizionali, sincronizzate e generate dal computer
si catalogano come sistemi di AR tutte quelle applicazioni il cui scopo è di incrementare la percezione visiva dello spazio fisico con immagini prese dallo spazio virtuale
MIMOS 2007 - Roma, 6-8 Novembre 2007 3
Realtà Aumentata
il risultato è che l’ambiente reale e virtuale sembrano coesistere e l’utente si può muovere liberamente nella scena
il tutto deve essere elaborato in maniera ottimale, ovvero in maniera tale che l’utente abbia la percezione di una singola scena nella quale il reale ed il virtuale sono due entità indistinguibili
il termine Augmented Reality fu coniato nel 1990 da TomCaudell e David Minzell, ricercatori dei laboratori della Boeing
MIMOS 2007 - Roma, 6-8 Novembre 2007 4
Reality-Virtuality Continuum
MIMOS 2007 - Roma, 6-8 Novembre 2007 5
Realtà Virtuale e Realtà Aumentata
la Realtà Virtuale rappresenta un ambiente interattivo tridimensionale generato dal computer
la Realtà Virtuale richiede un’immersione dell’utente in un mondo completamente fittizio, dove tutto quello che si percepisce è generato dal computer e dove l’utente si ritrova in un mondo distinto, isolato da quello reale
la Realtà Aumentata non isola l’utente dal mondo reale che viene arricchito tramite oggetti virtuali generati dal computer
MIMOS 2007 - Roma, 6-8 Novembre 2007 6
Realtà Aumentata
scopo della Realtà Aumentata è di migliorare la percezione del mondo e le prestazioni dell’operatore
dal punto di vista tecnologico, l’obiettivo è la creazione di un sistema in cui non si noti la differenza tra il mondo reale e l’arricchimento virtuale
MIMOS 2007 - Roma, 6-8 Novembre 2007 7
Tecnologie per la Realtà Aumentata
la scelta della tecnologia dipende fondamentalmente dai requisiti che il sistema di Realtà Aumentata richiede
optical see-through
video see-through
retinal display
handheld display
MIMOS 2007 - Roma, 6-8 Novembre 2007 8
Tecnologie per la Realtà Aumentata
si tratta quindi di tecnologie parzialmente trasmittenti poiché, guardando attraverso la lente, si può vedere l’immagine virtuale sovrapposta a quella reale
tali sistemi molto simili agli Head-Up Display usati dai piloti degli aerei militari
una caratteristica dei combinatori ottici è che riducono l’intensità della luce della scena reale
visori optical see-through
MIMOS 2007 - Roma, 6-8 Novembre 2007 9
Tecnologie per la Realtà Aumentatavisori optical see-through
MIMOS 2007 - Roma, 6-8 Novembre 2007 10
Tecnologie per la Realtà Aumentata
usano due telecamere, una per ciascun occhio, con le quali acquisiscono l'immagine reale
si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display
l’immagine del mondo reale è mescolata elettronicamente con l’immagine generata dal computer ed esposta sul display a cristalli liquidi dello schermo
questa scelta permette di realizzare effetti visivi piùcomplessi
visori video see-through
MIMOS 2007 - Roma, 6-8 Novembre 2007 11
Tecnologie per la Realtà Aumentatavisori video see-through
MIMOS 2007 - Roma, 6-8 Novembre 2007 12
Tecnologie per la Realtà Aumentata
semplicità: il blending ottico è più semplice e sicuramente più conveniente di quello video
risoluzione: le tecnologie video limitano sicuramente la risoluzione della scena
nessun offset dell’occhio: con i video see-through il punto di vista dell’utente coincide con quello della video camera
l’approccio ottico rispetto all’utilizzo di un video see-throughha i seguenti vantaggi:
MIMOS 2007 - Roma, 6-8 Novembre 2007 13
Tecnologie per la Realtà Aumentata
luce e trasparenza degli oggetti virtuali: nei visori opticalsee-through l’oggetto virtuale non oscura completamente la scena reale quando si sovrappone su di essa
largo campo di visuale: con i video see-through si raggiunge certamente un largo campo di visuale
ritardi visuali: i sistemi ottici offrono una vista quasi istantanea del mondo reale, ma una visione ritardata dell’oggetto virtuale
utilizzare un visore video see-through fornisce dei vantaggi:
MIMOS 2007 - Roma, 6-8 Novembre 2007 14
Tecnologie per la Realtà Aumentataretinal display
proiettano un fascio di luce direttamente sulla retina
l’osservatore ha l’illusione di vedere l’immagine come se fosse su un display a 14” a 50 cm
caratteristiche:
alta risoluzioneluminosità
MIMOS 2007 - Roma, 6-8 Novembre 2007 15
Tecnologie per la Realtà Aumentatahandheld display
MIMOS 2007 - Roma, 6-8 Novembre 2007 16
Tecnologie per la Realtà AumentataI vantaggi di utilizzo di tali tecnologie portatili sono:
una reale alternativa agli HMD per applicazioni mobilisupportano applicazioni mobilisupportano applicazioni multi-utentePDA o cellulari hanno prezzi molto accessibili
Gli svantaggi sono:
una limitata screen sizenon forniscono una totale libertà di utilizzo delle manimemoria limitata
MIMOS 2007 - Roma, 6-8 Novembre 2007 17
La Registrazione
il concetto di registrazione consiste nel preciso allineamento e sincronizzazione di due o più elementi sensoriali e comprende tutte le tecniche necessarie affinché l’oggetto virtuale elaborato attraverso il computer si collochi con precisione nell’ambiente reale
si richiede un’esatta calibrazione della videocamera
una delle maggiori difficoltà nelle applicazioni di AR è il calcolo in real-time del punto di vista dell’utente in maniera che gli oggetti virtuali siano perfettamente allineati con quelli reali
MIMOS 2007 - Roma, 6-8 Novembre 2007 18
La Registrazione
occorrono precisi algoritmi o metodi basati su fiducial pointper posizionare con precisione il modello virtuale nella scena reale
nel caso di applicazione in medicina, poiché le tecniche di AR vengono utilizzate anche in sede operatoria, se il processo di registrazione fosse errato, il medico andrebbe incontro a errori spesso imperdonabili
MIMOS 2007 - Roma, 6-8 Novembre 2007 19
Applicazioni di AR
MIMOS 2007 - Roma, 6-8 Novembre 2007 20
Applicazioni di AR
MIMOS 2007 - Roma, 6-8 Novembre 2007 21
Applicazioni di AR
VOMAR Interface
MIMOS 2007 - Roma, 6-8 Novembre 2007 22
Applicazioni in Medicinal’obiettivo è visualizzare strutture anatomiche o patologiche che non possono essere viste direttamente tramite la sovrapposizione dimodelli 3D virtuali alla vista reale del paziente
il paziente diventa trasparente
le interfacce di AR forniscono ai medici una visione quasi “a raggi X”
MIMOS 2007 - Roma, 6-8 Novembre 2007 23
Applicazioni in Medicina
il chirurgo può eseguire con maggiore precisione alcune procedure
le applicazioni si concentrano fondamentalmente sulla chirurgia guidata tramite immagini
MIMOS 2007 - Roma, 6-8 Novembre 2007 24
Applicazioni in MedicinaIRCAD
(Istitut de Recherche Contre le Cancers de l’Appareil Digestif) Strasburgo - Francia
ODYSSEUS Project:3D patient modelling, cooperative surgical planning and simulation in robotizedsurgery
relativamente all’apparato digestivo, sono stati sviluppati sistemi che permettono di conoscere esattamente l’esatta posizione di ciascuna struttura anatomica del paziente al fine di automatizzare la procedura chirurgica
MIMOS 2007 - Roma, 6-8 Novembre 2007 25
Applicazioni in MedicinaCAMP
(Computer Aided Medical Procedures) Monaco - Germania
MIMOS 2007 - Roma, 6-8 Novembre 2007 26
vantaggi della chirurgia minimamente invasiva:vantaggi della chirurgia minimamente invasiva:
diminuzione del trauma postdiminuzione del trauma post--operatorio e della convalescenzaoperatorio e della convalescenza
perdita ridotta di sangue e minore rischio di infezioneperdita ridotta di sangue e minore rischio di infezione
piccoli tagli per lpiccoli tagli per l’’inserimento della strumentazione chirurgicainserimento della strumentazione chirurgica
svantaggi:svantaggi:
una scarsa visione della struttura anatomica di interesseuna scarsa visione della struttura anatomica di interesse
L’applicazione fornisce un utile supporto al medico nell’ambito della chirurgia minimamente invasiva (MIS)
UN SISTEMA DI REALTA’ AUMENTATA AIUTA A RISOLVERE QUESTO PROBLEMA
Applicazione AR - UNILE
MIMOS 2007 - Roma, 6-8 Novembre 2007 27
ottenere una sorta di visione a “raggi X” del paziente reale tramite
un’opportuna interfaccia AR
scegliere opportunamente il punto in cui effettuare il taglio
valutare il percorso migliore per raggiungere gli organi di interesse
Struttura anatomica virtuale
Applicazione AR - UNILE
MIMOS 2007 - Roma, 6-8 Novembre 2007 28
acquisizione ed elaborazione delle immagini mediche
allineamento esatto della struttura anatomica virtuale con il
corpo del paziente
visualizzazione dei modelli 3D virtuali
configurazione a 6 marker
Applicazione AR - UNILE
MIMOS 2007 - Roma, 6-8 Novembre 2007 29
posizionamento corretto
il sistema riconosce i marker singolarmente
ad ogni marker è stata infatti associata una matrice di trasformazione che
trasla il sistema di coordinate di ogni marker in un sistema fisso centrale
Applicazione AR Sviluppata
MIMOS 2007 - Roma, 6-8 Novembre 2007 30
Applicazione AR - UNILE
MIMOS 2007 - Roma, 6-8 Novembre 2007 31
estendere la struttura anatomica virtuale da visualizzare
migliorare il processo di registrazione dei modelli virtuali
automatizzare il processo di registrazione
Sviluppi Futuri
MIMOS 2007 - Roma, 6-8 Novembre 2007 32
Dipartimento di Ingegneria dell’InnovazioneUniversità del Salento
&
SPACI Consortium(Southern Partnership for Advanced Computational Infrastructure)
Prof. Giovanni Aloisio (giovanni.aloisio@unile.it)Ing. Lucio Tommaso De Paolis (lucio.depaolis@unile.it)