Università di PisaCorso di Laurea in Terapia Occuapazionale

àCorso di Bioingegneria applicata alla Realtà VirtualeAnno Accademico 2009/2010

Introduzione alla Realtà Vi t l i Ri bilit iVirtuale in Riabilitazione

Stefano Mazzoleni, PhD

Il sistema somatosensoriale

Il sistema somatosensoriale, che comprende i recettori della sensibilitàsomatica, le loro vie centrali e le aree corticali di proiezione, comprendequattro modalità:

t ttil ti di i d ll ti l i ti di tt itattile: tipo di energia dello stimolo meccanica, tipo di recettorimeccanorecettori cutanei

propriocettiva: tipo di energia dello stimolo meccanica tipo di recettoripropriocettiva: tipo di energia dello stimolo meccanica, tipo di recettorimeccanorecettori muscolari, tendinei e articolari

termica: tipo di energia dello stimolo termica, tipo di recettoritermica: tipo di energia dello stimolo termica, tipo di recettoritermorecettoricutanei del caldo e del freddo

nocicettiva: tipo di energia dello stimolo meccanica, termica, chimica,gtipo di recettori meccanorecettori, recettori termo-meccanicie recettoricutanei

Tatto

Percezione aptica

Esterocezione (percezione tattile): Capacita di percepire quantita fisiche misurate all'esterno

Esterocezione Propriocezione

Esterocezione (percezione tattile): Capacita di percepire quantita fisiche misurate all esternodel corpo

ForzeTemperatureTessitura delle superficiUmidita ecc...

P i i ( i i t ti ) P i i à fi i h h i di lPropriocezione (percezione cinestetica): Percepire quantità fisiche che indicano lo statointerno del corpo (contrazione muscolare, stiramento di tendini e legamenti, posizione degli artiecc...):

DimensioniFormaPesoPosizione e orientamento nello spazio

Meccanorecettori

I meccanorecettori sono sensibili a stimolimeccanici:

TattoCinestesia: sensazione provocata dai movimenti del

proprio corpo e in particolare dalla contrazione deip p p pmuscoli striati

Strato corneo: A contatto con l'esterno, di spessoreStrato corneo: A contatto con l esterno, di spessorevariabile. In base alla sue caratteristiche si determinala trasmissione delle forze ai recettori sottostantiVi sono di 4 differenti tipi di meccanorecettoriVi sono di 4 differenti tipi di meccanorecettori

Meccanorecettori

I quattro tipi di meccanorecettorisono:

Collocati negli strati superficiali della pelle

Meissner: sensibili ad una pressioneMeissner: sensibili ad una pressioneprolungata, all’inizio e al termine dellostimolo (vibrazioni a bassa frequenza)– rapido adattamento

Merkel: sentono le pressioni lievi - lentoadattamento

Collocati nel tessuto sottocutaneoCollocati nel tessuto sottocutaneoRuffini: sensibili ad una pressioneprolungata, per tutta la durata dellostimolo – rapido adattamentostimolo rapido adattamento

Pacini: reagiscono a pressioni forti erapide (vibrazioni ad alta frequenza) -lento adattamento

Realtà Virtuale e Realtà Aumentata

La Realtà Virtuale rappresenta un ambienteinterattivo tridimensionale generato dal computerinterattivo tridimensionale generato dal computer

La Realtà Virtuale richiede un’immersioneLa Realtà Virtuale richiede un immersionedell’utente in un ambiente completamente fittizio,dove tutto quello che si percepisce è generato dal

t L’ t t i bi t i l tcomputer. L’utente percepisce un ambiente isolatoe distinto dall’ambiente reale

La Realtà Aumentata non isola l’utentedall’ambiente reale che viene arricchito tramiteoggetti virtuali generati dal computer

Realtà Virtuale

Per immersione in ambiente virtuale si intende lasensazione di essere effettivamente in talesensazione di essere effettivamente in taleambiente e circondato da esso

E’ necessario l’utilizzodi differenti stimolidi differenti stimoli(visivi, acustici, tattili)

E’ necessario che leinterazioni avvenganoin tempo realein tempo reale

Interazione con un Ambiente Virtuale

La comunicazione tra l’utente è l’ambiente virtualeviene effettuata mediante differenti interfacceviene effettuata mediante differenti interfacce

Interazione con un Ambiente Virtuale

Le interfacce aptiche (dal termine greco Haptesthai, che

i ifi l ti l t tt ) di iti i i di f isignifica relativo al tatto) sono dispositivi capaci di fornire

una risposta (feedback):

Informazioni sul movimentoPercezione della posizione degli artiSensazioni tattili e di contatto con gli oggetti virtualiSensazioni tattili e di contatto con gli oggetti virtuali

L’utente “sente” le forze generate in risposta alle forze che eglistesso ha applicatostesso ha applicato

Interazione con un Ambiente Virtuale

Esempi di interfacce aptiche:

J ti k it di f (f f db k)Joystick con ritorno di forza (force feedback)

Guanto interattivo

Phantom

Interfaccia aptica

Una tipica interfaccia aptica solitamente include uno o più trasduttorielettromeccanici per:p

applicare stimoli sensoriali a distinte aree del corpo;

misurare e registrare i movimenti per replicarli nell’ambiente virtuale

Interfaccia aptica

Per pilotare i trasduttori e necessario un sistema computazionale che sia ingrado di gestire il flusso bidirezionale di informazioni tra l'interfaccia egrado di gestire il flusso bidirezionale di informazioni tra l interfaccia el'utente

Scambio di informazioni simultaneo tra utente e interfaccia aptica

Motori e trasmissioni per applicare la stimolazione fisicaElettronica di controllo per sensori e motoriSoftware in grado di gestire algoritmi di simulazione del mondo reale

Tipi di Realtà Virtuale

Realtà Virtuale immersiva

Realtà Virtuale non immersivaDesktop VRDesktop VR

Comandi e controlli

R ltà A t tRealtà Aumentata

Realtà Virtuale immersiva

Immersiva = interazione completa con l’ambiente

virtuale

Nella Realtà Virtuale immersiva si utilizzano:

àvisori montati in prossimità degli occhi,

sensori di posizione in grado di fornire l’indicazione

dell’orientamento del punto di vista dell’utente,

guanti dotati di sensori per manipolare gli oggetti virtuali eg p p g gg

per simulare sensazioni tattili artificiali

Realtà Virtuale non immersiva

Desktop VR

L’ambiente virtuale è presentato sullo schermo di uncomputercomputer

PC, mouse e schermiGiochiWeb

Realtà Aumentata

Un sistema di Realtà Aumentata (Augmented Reality,abbreviato AR) è un sistema in grado di arricchire una scena realemediante elementi grafici e testuali

Il d l è “ t t ” i hit i t l tIl mondo reale è “aumentato”, ovvero arricchito virtualmente coninformazioni grafiche e testuali addizionali, sincronizzate generatedal computerdal computer

L’elaborazione deve essere effettuata in modo tale che l’utenteabbia la percezione di una singola scena in cui l’ambiente reale equello virtuale sono indistinguibili

Lo scopo della Realtà Aumentata è quello di migliorare lapercezione dell’ambiente reale e le prestazioni dell’operatorepercezione dell ambiente reale e le prestazioni dell operatore

Realtà Aumentata

Informazioni aggiuntive

Scena reale

Tecnologie per la Realtà Aumentata

Head Mounted Display (HMD)O ti l th h l’ t tOptical see-through: l’utente

indossa un dispositivo dotato di lentitrasparenti su cui viene proiettata una

i t lscena virtuale

Video see-through: l’utente, conl’ausilio di due display, è completamentel ausilio di due display, è completamenteimmerso in un mondo in cui coesistonooggetti reali e oggetti virtuali

Applicazioni di VR in Medicina

Pianificazione pre-operatoriaPianificazione pre-operatoria

Addestramento del chirurgo

Computer Aided Surgery

Diagnosi

Riabilitazione

Applicazioni di VR in Medicina

Addestramento del chirurgo

I simulatori permettono di:I simulatori permettono di:

effettuare un addestramento ripetibile,

graduabile per difficoltà e adattabile alle

esigenze dell’allievo chirurgo

esercitarsi con patologie rare e difficili da

t tttrattare

utilizzare nuove tecniche chirurgiche

ripetere più volte la procedurap p p

Il chirurgo può preparare l’intervento nel modello virtuale 3D, eseguire piùvolte la procedura ed infine utilizzare il modello virtuale come guida durantel’operazione realel operazione reale

Applicazioni di VR in Medicina

L’ endoscopia virtuale è una tecnica in cui i dati provenienti dasorgenti non intrusive sono utilizzati per realizzare un ambienteg pvirtuale che può essere esplorato dal chirurgo come se unendoscopio fosse realmente inserito in un paziente

Endoscopic Simulationp

Georgia Institute of Technology and the Medical College of Georgia (USA)

www bitc gatech eduwww.bitc.gatech.edu

Applicazioni di VR in Medicina

Training nelle procedure di chirurgia minimamente invasiva

Acquisizione e valutazione della prestazione chirurgica

Applicazioni di VR in Medicina

idvideo

Applicazioni di VR in Riabilitazione

Riabilitazione motoriaRiabilitazione cognitivaApprendimentoppTrattamento dei disturbi psichiatrici

Applicazioni di VR in Riabilitazione

In combinazione con sistemi robotici

Vista del paziente durante i i di hi

Sistema GENTLE/S (Gran Bretagna, 2001)esercizi di reaching

Applicazioni di VR in Riabilitazione

In combinazione con sistemi robotici

Ortesi per l’arto superiore conmeccanismo integrato dicompensazione del peso.

Impugnatura con sensore di pressioneper esercizi funzionali di presa.per esercizi funzionali di presa.

Libreria software con esercizifunzionali per motivare l’interazione delpaziente

Sistema ARMEO (Svizzera, 2006)

paziente.

Applicazioni di VR in Riabilitazione

In combinazione con sistemi robotici

Sistema ARMEO

Esercizi di reaching

Applicazioni di VR in Riabilitazione

In combinazione con pedane mobili per larieducazione dell’equilibrio e della posturarieducazione dell equilibrio e della postura

Sistema CAREN