Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le...

41
Uso del 2D e 3D nei giochi simulati in Medicina delle Catastrofi Dott. Fabrizio La Mura [email protected] Ospedale Maggiore della Carità European Master in Disaster Medicine (EMDM) Centro di Ricerca Interdipartimentale in Medicina d’Emergenza e dei Disastri e di Informatica applicata alla pratica Medica (CRIMEDIM) Università del Piemonte Orientale Novara MIMOS VII – Roma, 7 Novembre 2007

Transcript of Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le...

Page 1: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Uso del 2D e 3D nei giochi simulati in Medicina delle Catastrofi

Dott. Fabrizio La [email protected]

Ospedale Maggiore della CaritàEuropean Master in Disaster Medicine (EMDM)

Centro di Ricerca Interdipartimentale in Medicina d’Emergenza e dei Disastri e di Informatica applicata alla

pratica Medica (CRIMEDIM)

Università del Piemonte OrientaleNovara

MIMOS VII – Roma, 7 Novembre 2007

Page 2: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

“Dottore ho un dolore terribile al fianco, me lo faccia passare!”

Johnsen et al., PRESENCE, Vol. 15, N. 1, the MITpress

Scopi del progetto diJohnsen:

- Training per imparare ad interagire con un Paziente

- Simulazione relazionale / sociale

Simulazione: quando NO

Page 3: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Difficile da apprendere tramite simulazione:

- Empatia

- Raccolta dell’anamnesi e storia fisiopatologica del Paziente

- Instaurare una relazione basata sulla fiducia

Simulazione: quando NO

Assenza di Trial Controllati Randomizzati che provino l’efficacia di una metodica di educazione relazionale medico-paziente classica versus computerizzata

Page 4: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Quando la simulazione è (probabilmente) utile

-Training per la rianimazionecardiopolmonare di base ed avanzata

- Istruzione “trasversale”, utile sia ai medici che a soccorritori occasionali non medici

Page 5: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Quando la simulazione è (probabilmente) utile

Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici

Page 6: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Halvorsrud et al., MATADOR Project (Medical Advanced Training in anArtificial Distributed Environment), 2001, Future Media progam

Desktop VR: MATADOR ®

- Si instaura il concetto di “teamwork”

- L’attenzione si sposta dal Paziente al componente del gruppo di soccorso

- Importanza del monitoraggio ambientale e del debriefing

Page 7: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

BioSimMer, 1999, prodotto da- DARPA- Lockheed Martin- Sandia

Stansfield et al., BioSimMER Project, PRESENCE, 1999, Vol. 9, N. 6MIT Press

- BioSimMERsimula due tipi di patologie classiche della medicina d’emergenza:

• Pneumotorace

• Trauma cranico

- Concetto di teamwork

Realtà Virtuale immersiva classica: BioSimMer ®

Simulazione di attacco terroristico in un aeroportoSimulazione di attacco terroristico in un aeroporto

Page 8: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Punti deboli:

• Sistema molto costoso ..

• .. a fronte di una valutazione statistica opinabile..

• .. e sulla reale efficacia didattica

• migliora davvero la performance dei soccorritori?BioSimMer, 1999, prodotto da

- DARPA- Lockheed Martin- Sandia

Simulazione di attacco terroristico in un aeroportoSimulazione di attacco terroristico in un aeroporto

Realtà Virtuale immersiva classica: BioSimMer ®

Stansfield et al., BioSimMER Project, PRESENCE, 1999, Vol. 9, N. 6MIT Press

Page 9: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Realtà Virtuale immersiva classica: BioSimMer ®

Sessione simulativa con BioSimMer, 1999, Texas Engineering ExtensionService Fire Protection Training Division (TEEEX FPTD)

Ciò che non Ciò che non èè stato divulgato a sufficienza..stato divulgato a sufficienza.. • NON utilizzo di strumenti che si utilizzerebbero nella realtà

• NON utilizzo di divise e strumenti di barriera che si utilizzerebbero nella realtà

• Nonostante questo: tentativo (accennato) di paragonare performance virtuali a quelle reali

Page 10: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Page 11: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

• E’ quindi importante uno Studio di Usabilità ben condotto: – User task analysis

• Definire gli obiettivi operativi e stabilirne le risorse per raggiungerli

– Expert guidelines-based evaluation• Gli esperti del settore valutano prima da soli, poi in gruppo, e

poi propongono, il design del sistema– Formative usability evaluation

• Metodo osservazionale iterativo per proporre e/o corregereproblemi riscontrati nel sistema

– Summative evaluations• Si effettua alla fine dell’iter di progettazione: si paragonano

statisticamente prodotti simili al nuovo prodotto

Burdea, Coiffet, Virtual Reality Technology, 2003, Wiley & Sons

2D o 3D ? Importanza dello “Human Factor” in VR

Page 12: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

2D o 3D ? Importanza dello “Human Factor” in VR

Implementazione della catena ComandoImplementazione della catena Comando--Controllo: esempioControllo: esempio

Swan E, A Comparative Study of User Performance in a Map Based VirtualEnvironment, 2003, IEEE VR Proceedings, 259-266

DRAGON:

- Paragone di mappe militari classiche 2D con un sistema esocentrico 3D

- Si riscontrarono criticità del sistema a fronte di una idea iniziale di interfaccia che sembrava buona e vincente

- necessità di frequenti passaggi da navigazione esocentrica a navigazione egocentrica

Page 13: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Implementazioni 2D del nostro gruppo di ricerca: Spheeg Island

Spheeg Island (2002):

- Gioco multiutentevia Intenet

- Basato sulla gestione di un evento catastrofico in una ipotetica isola ..

- Con diversi insediamenti urbani, infrastrutture ferroviarie, stradali, fognarie

- Navigazione basata su un sistema esocentrico

- Metafora dei fogli di acetato sovrapposti

Page 14: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

• Information Visualization usando ambienti 3D: “.. rappresenta la trasformazione di dati astratti, normalmente mostrati sottoforma bidimensionale, in geometrie tridimensionali; tali geometrie possono essere interattivamente manipolate dall’utente, con attesi benefici cognitivi”

Fra 2D e 3D: l’ “Information Visualization”

Bryson S, Information Visualization in Virtual Environment, 2002, in Kenny (Ed.), The Handbook of Virtual Environmens Technology, Erlbaum publisher, 1101-1118

Page 15: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

• Hospital Disaster PreparednessNetworked Simulator (HDPnetS)– Simulazione di massiccio afflusso di pazienti

presso le strutture ospedaliere di una vasta area metropolitana

• Stratificazione “fisica” (tipo fogli di acetato)• Stratificazione logica

Fra 2D e 3D:il progetto HDPnetS ®

Page 16: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Fra 2D e 3D:il progetto HDPnetS ®

Differenza fra “semplice” emergenza e Disastro

Risorse

Necessità

Necessità

Risorse

Emergenza Disastro / MCI

Page 17: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Decreto Presidenziale n. 225 del 24 febbraio 1992 Decreto Presidenziale n. 225 del 24 febbraio 1992

Linee guida sul sistema di emergenza sanitaria n.1/96Linee guida sul sistema di emergenza sanitaria n.1/96

PIANO DI EMERGENZA INTRAOSPEDALIERA PIANO DI EMERGENZA INTRAOSPEDALIERA PER IL MASSICCIO AFFLUSSO DI FERITI PER IL MASSICCIO AFFLUSSO DI FERITI

(P.E.I.M.A.F.)(P.E.I.M.A.F.)

ConcettualizzazioneConcettualizzazione del pianodel piano

Strutturazione e sviluppoStrutturazione e sviluppo•• SurgeSurge capacitycapacity•• Identificazione di ruoli e responsabilitIdentificazione di ruoli e responsabilitàà•• Gestione delle risorse e modifiche logisticheGestione delle risorse e modifiche logistiche•• Identificazione di aree dedicate allIdentificazione di aree dedicate all’’accettazione e al primo trattamento dei feritiaccettazione e al primo trattamento dei feriti

FormazioneFormazione specifica del personalespecifica del personale

TestingTesting

Fra 2D e 3D:il progetto HDPnetS ®

Page 18: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

•• Riduzione dei Riduzione dei tempitempi di preparazionedi preparazione

•• Riduzione dei Riduzione dei costicosti

•• Riduzione del numero di Riduzione del numero di risorserisorse necessarienecessarie

•• Riduzione del rischio di Riduzione del rischio di interferenzainterferenza con la normale routine con la normale routine assistenziale dellassistenziale dell’’ospedaleospedale

•• PossibilitPossibilitàà di verificare ldi verificare l’’efficacia del piano con maggiore efficacia del piano con maggiore frequenza, migliorando la frequenza, migliorando la formazioneformazione del personaledel personale

•• Mantenimento del piMantenimento del piùù elevato grado possibile di elevato grado possibile di realismorealismo

•• Raccolta e analisi dei Raccolta e analisi dei datidati per lper l’’analisi postanalisi post--simulazionesimulazione

VANTAGGI DI UN APPROCCIO DI VANTAGGI DI UN APPROCCIO DI SIMULAZIONE INFORMATICASIMULAZIONE INFORMATICA

Fra 2D e 3D:il progetto HDPnetS ®

Page 19: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Fra 2D e 3D:il progetto HDPnetS ®

Visualizzazione del territorio: esempioVisualizzazione del territorio: esempio

Page 20: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Fra 2D e 3D:il progetto HDPnetS ®

Stratificazione fisica (piStratificazione fisica (piùù livelli per ogni struttura) ed interlivelli per ogni struttura) ed inter--relazione fra strutture ospedaliere: esempiorelazione fra strutture ospedaliere: esempio

Page 21: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Fra 2D e 3D:il progetto HDPnetS ®

Stratificazione logica: esempioStratificazione logica: esempio

Page 22: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Fra 2D e 3D:il progetto HDPnetS ®

Page 23: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Fra 2D e 3D:il progetto HDPnetS ®

Page 24: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Fra 2D e 3D:il progetto HDPnetS ®

Potenzialità:

- Livello di dettaglio potenzialmente infinito

- Ottenuto tramite un sistema di matrice di matrici

- Descrizione dei mondi: risorse umane, strumentali, popolazione generale, geografia del territorio

- Manipolazione dei dati tramite strutturazione in XML

Page 25: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Fra 2D e 3D:il progetto HDPnetS ®

Esempio di creazione di pazienti (automii a stati finiti) tramite un editor grafico che restituisce un output XML:

- Potenzialmente infinite possibilità di transizione da uno stato ad un altro

- “trigger” attivabili tramite criteriitemporali, o di procedure eseguite, o di allocazione spaziale

- Il mondo così creato (Infrastrutture, risorse umane, ecc) può essere ampliato

- Puo’ essere utilizzato da un motore 3D

Page 26: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

• Nel 2004-2006 è stato prodotto un CVE che permette la partecipazione di svariate figure professionali:

• Personale Medico• Personale Infermieristico e Paramedico• Vigili del Fuoco• Forze dell’Ordine• Volontarii• Protezione Civile• Croce Rossa

E-District CiPro, 2004-2006, Leonardo da Vinci II EU Project, funded with the support of the European Commission

Dal 2D al 3D:il progetto e-DISTRICT CiPro ®

Page 27: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

European DIStance TRaining Interactive and Collaborative Tools for the Civil Protection

• Pilot Project - Leonardo da Vinci II 2000-2006 EU Project

• 11 partners (5 Italy, 1 Belgium,1 Ireland, 2 Romania, 1 Spain, 1 Hungary); Coordinati dal Consorzio ScuolaComunità e Impresa in Novara

• Scopo: Sviluppo di un prototipo di AmbienteCollaborativo Virtuale (CVE) fruibile via Internet, di unaserie di moduli didattici in SCORM, di un sistema divalutazione delle competenze

CVE via Internet: progetto e-DISTRICT CiPro ®

Page 28: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Punti chiave del progetto:

• Simulazione CVE via Internet:• Creazione di squadre di diversi operatori (Medici,

Croce Rossa, Vigili del Fuoco, Pubblica Sicurezza, governo locale, ecc)

• Comunicazione fra squadre• Alto numero di partecipanti arruolabili, che giocano

da casa

CVE via Internet: progetto e-DISTRICT CiPro ®

Page 29: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Setting overview

Soccer field with 23.800 spectators

CVE via Internet: progetto e-DISTRICT CiPro ®

Page 30: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Setting overview

The north-west tier fallsdown: 1.100 victimsinvolved

CVE via Internet: progetto e-DISTRICT CiPro ®

Page 31: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Scenario Overview

A Fireman’s view while performingrescure operation

CVE via Internet: progetto e-DISTRICT CiPro ®

Page 32: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Scenario Overview

A Medical Doctor performing TRIAGE

CVE via Internet: progetto e-DISTRICT CiPro ®

Page 33: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Interfaccia utente del CVE

CVE via Internet: progetto e-DISTRICT CiPro ®

Page 34: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Environmental Information

• What are the Environmental Informationvisualized by the Simulator?– Fire– Smoke– Fallen tiers– Trapped victims

CVE via Internet: progetto e-DISTRICT CiPro ®

Page 35: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Livello di dettaglio: quanto è importante il fotorealismo?

Non photorealisticbut effectivevisualization

CVE via Internet: progetto e-DISTRICT CiPro ®

Page 36: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

CVE via Internet: progetto e-DISTRICT CiPro ®

Page 37: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

CVE via Internet: progetto e-DISTRICT CiPro ®

Page 38: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Minimal data set to create a vast number of emergencysituations

1. Breathing

2. Glasgow Coma Score (GCS)

3. Impaired chest mechanics(e.g., presence of a pneumothorax)

4. Pupillary dimension and reaction to light

5. Wounds

6. Surface of burned body

7. etc

The Virtual Manikin ®CVE via Internet: progetto e-DISTRICT CiPro ®

Page 39: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

CVE via Internet: progetto e-DISTRICT CiPro ®

Page 40: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

Conclusione e sviluppi futuri

• Analisi statistica dei dati raccolti nelle varie sessioni di gioco

• Miglioramento del sistema tramite i dati che provengono dallo studio di usabilità– Miglioramento del sistema di comunicazione

fra partecipanti– Miglioramento del sistema di navigazione

CVE via Internet: progetto e-DISTRICT CiPro ®

Page 41: Uso del 2D e 3D nei giochi simulati in Medicina delle ... mura slide.pdf · Scolari che imparano le tecniche di rianimazione cardiopolmonare di base usando manichini meccanici. Halvorsrud

2D: HDPnetS ®www.hdpnets.com

3D: e-DISTRICT CiPro ®www.edcipro.org

Grazie per l’attenzione.

Domande?

CVE via Internet: progetto e-DISTRICT CiPro ®