Post on 15-Feb-2019
05/10/2017
1
Torino, 4 Ottobre 2017
La tele-riabilitazione domiciliare per il condizionamento motorio: strumenti, metodi e applicazioni
Corso precongressuale 3
Organizzatori: Andrea Cereatti, Alberto BorgheseDocenti: Francesca Baglio, Alberto Borghese, Andrea Cereatti, Erika Giannotti, Danilo Pani
L’esperienza del progetto REWIRE per la riabilitazione autonoma a casa basata su exer-game
Docente: Nunzio Alberto BorgheseUniversità degli Studi di Milano
Torino, 4 Ottobre 2017
05/10/2017
2
The REWIRE FP7 project http://www.rewire-project.eu
Rehabilitative Wayout In Responsive home EnvironmentsICT-2011.5.1: Personal Health Systems (PHS)
REWIRE Platform for autonomous rehabilitation athome
• Goal
– Portare la riabilitazione a casa del paziente
• Gerarchia di piattaforme
– Networking station
– Hospital station
– Patient station
• Strumenti
- Exergames
- Trasferimento alla vita reale
• Caratteristiche
- Unobrusive
- A basso costo
- Intelligenza fornita dall’ICT
Web basedservices
Exer-games +Acqusizione dati
Focus è sulla
configurazione e
valutazione
Focus è sul
training
intensivo a
casa
http://www.rewire-project.eu, http://innovation4welfare/fitrehab.htmlBorghese et al., Augmented Reality and Serious Games for Healthcare 1, 2014
05/10/2017
3
SIAMOC 2017 – N. Alberto Borghese
Riabilitazione classica
• Esercizio in sessioni “one-to-one” con il terapista• Riabilitazione “in-patient” (in ospedale, fase acuta, sessioni intensive)
• Riabilitazione “out-patient” (occorre raggiungere i centri di riabilitazione, fase di mantenimento).
• Quanto intensiva? Giornaliera?
• Quanto a lungo? Fino a quando non si verifica il recupero spontaneo.
• Chi sponsorizza?
SIAMOC 2017 – N. Alberto Borghese
Tele-riabilitazione
Ospedale
Casa
Supervisione in persona in tempo realeda remoto.Pro: non richiede trasposto, più pazientipossono essere supervisionaticontemporaneamente (quanti?)Contro: mancanza di contatto personale, guadagno economico limitato.
05/10/2017
4
SIAMOC 2017 – N. Alberto Borghese
(Ri)apprendimento di strategie motorie
• Apprendimento di uno strumento da un insegnante.
Apprendimento del cammino dai genitori
Apprendimento di uno sport da un allenatore
La riabilitazione consiste nel ri-
imparare abilità motorie con l’aiuto
di un terapista come allenatore in
sessioni one-to one.
SIAMOC 2017 – N. Alberto Borghese
I video giochi non sono sufficienti
E’ risultato presto evidente che questa soluzione non è sufficiente:- Sviluppo di danni muscolo-scheletrici (e.g. Prosperini et al., 2015; Bower et al., 2014)- Parziale mancanza di motivazione- Mancanza di valutazione quantitative durante il training (Cameirao et al., 2010)- Nessun adattamento alle abilità residue dei pazienti.
05/10/2017
5
SIAMOC 2017 – N. Alberto Borghese
L’eredità dei video-giochi
I principi della buona progettazione dei video-giochi devono essere soddisfatti (Schell, 2008).
Bella grafica (non necessariamente grafica complessa)Lontano dall’»uncanny valley»Effetto chiaro di ogni azioneFeed-back chiaro per ogni azioneBuona meccanicaSoprese!
SIAMOC 2017 – N. Alberto Borghese
Mihály Csíkszentmihályi, Flow: The Psychology of Optimal Experience, New York, Harper & Row, 1990
Inoltre, deve essere fornito un livello di difficoltà adeguato (fisico e cognitivo) perchèil paziente possa essere assorbito dal video-gioco
La teoria del flow
05/10/2017
6
SIAMOC 2017 – N. Alberto Borghese
Exergame terapeutici
A) Gli exergame BUONI sono divertenti e/o piacevoli.
Ma non è sufficiente. Occorre:1) Monitoring per la sicurezza.
• I video-giochi hanno a che vedere con gli obbiettivi (goal primari) -> che cosa fare? In riabilitazione, occorre anche specificare come farlo?
2) Adattamento del livello di difficoltà. Possibilità di variare la difficoltà di un gioco lungo le dimensini associate allo specifico esercizio associato (e.g. ampiezza del movimento, velocità, accuratezza). Si possono definire dei livelli associati alla progressione della riabilitazione.
3) Configurabilità. Capacità di utilizzare dispositivi diversi per patologie diverse: middleware adeguato.
4) FACILITA’ D’USO. Utilizzo di «Natural User Interfaces» (il PC scompare).
Quindi il messaggio è: un exergame terapeutico deve essere costruito attorno all’esercizio specificato dai terapisti, tenendo in considerazione i vincoli definiti per correttezza ed efficacia (Pirovano … Borghese, 2016).
SIAMOC 2017 – N. Alberto Borghese
Exergame terapeutici
• Soddisfare gli obbiettivi terapeutici (aumentare ampiezza movimento, velocità, accuratezza).
• Intensity: (time*challenge_level) avoid boredom of repeated activities or to avoid anxiery and maladaptation.
• Safety: we need to avoid stress, wrong postures and maladaptation
• Effectiveness: challenge level has to be adapted to patient level
05/10/2017
7
SIAMOC 2017 – N. Alberto Borghese
Exer-game riabilitativi vs commerciali
• Exergame: game + exercise: (video)gioco + esercizio• Gli esercizi sono richiesti per l’efficacia della
riabilitazione• I videogiochi possono risultare utile per fornire
motivazione estrinseca.• Bonus: la tecnologia può aiutare.
Attenzione: siamo a casa, e quindi non ci sono terapisti!!
Videogiochi commercialiMancano delle caratteristiche richieste dalla riabilitazione
Riabilitazione mediante VRNon viene effettuata con sistemi che seguano le regole di buona progettazione dei videogiochi.
Non c’è supervisione in entrambi i casi
SIAMOC 2017 – N. Alberto Borghese
Riabilitazione autonoma a casa
Lo scenario prevede un soggiorno con una televisione e uno spazio sufficiente per muoversi (la tecnologia deve essere trasparente all’utente)
Il nostro obbiettivo è spostare la riabilitazione a casa, ma ancora sotto la supervisione asincrona dei clinici
Per raggiungere questo obbiettivo abbiamosviluppato un motore di gioco speciale: Intelligent Game Engine for Rehabilitation (IGER system, Pirovano … Borghese, IEEE Trans. CIAIG 2016).
Elemento chiave è il Virtual Therapist, dotato di intelligenza artificiale, che è contenuto (embedded) all’interno del motore di gioco.
05/10/2017
8
SIAMOC 2017 – N. Alberto Borghese
Motore di gioco classico
Un motore di gioco è un “Sistema progettato per creare e sviluppare video-giochi”. system designed for the creation and development of video games.” Fornisce la funzioni di base dei videogiochi: implementa un ciclo in 3 passi: acquisizione degli input, modifica dei componenti digitali, resa dell’output. Tra i motori di gioco piu’ diffusi: Panda3D, Unity 3D.
SIAMOC 2017 – N. Alberto Borghese
Risultato
• Esercizio: weight shift
• Game: fruit catcher
Costruzione del gioco sull’esercizio
Avatar del terapista per introdurre il gioco e motivare
Non è sufficiente: sono richieste altre funzionalità
05/10/2017
9
SIAMOC 2017 – N. Alberto Borghese
Monitoring
Esercizi eseguiti in modo sbagliato inducono un cattivo adattamento: apprendimento
di pattern motori sbagliati e potenzialmente dannosi. Il terapista reale osserva il/la
paziente e lo/la corregge. Ma non abbiamo il terapista a casa. Come possiamo
implementare questa funzionalità (almeno al livello più semplice)?
SIAMOC 2017 – N. Alberto Borghese
Monitoring basato su conoscenza
Questa auto è parcheggiata nel posto di fianco all’auto bianca a sinistra o a quella nera sulla destra?
E’ basato sui sistemi fuzzy (letteralmente sfumati, Zadeh, 1967) e in particolare sulla“logica fuzzy” applicate ai problem di controllo (Mamdami, 1974). Ha l’obbiettivo di utilizzare la logica anche su concetti la cui verità è sfumata. Consente di tenere contodella “vaghezza” che spesso accompagna gli eventi di tutti I giorni.
La schiena è piegata moltissimo a destra?
Gli insiemi fuzzy associano un attributo qualitative a un evento (poco, medio, tanto…), ma tengono anche conto dell’incertezza della classificazione. Un evento puo’ appartenerecontemporaneamente a due classi (e.g. poco e medio)
05/10/2017
10
SIAMOC 2017 – N. Alberto Borghese
Configurazione monitor (introduzione conoscenza)
Le regole fuzzy di monitoraggio vengono introdotte dal terapista all’inizio della riabilitazione in clinica. Queste sono cucite sul paziente e vengono trasmesse al motore di gioco, IGER.
1) In una prima versione, queste regole erano generate in modo semi-automatico attraverso un’interfaccia grafica.
2) In una seconda versione i monitor vengono scelti da una libreria e il terapista può adattarli al particolare paziente mediante un’interfaccia grafica.
Valoredi fit
I parametri possono essere combinati tra loromediante AND/OR
Definizione automatica di classi a partire dal massimo valore tollerato durante gli esercizi.
SIAMOC 2017 – N. Alberto Borghese
Effetto dei monitor
Il paziente, mentre svolge gli exer-game a casa, deve essere avvisato quando supera i limitiimposti dai monitor.
Mappatura tra grado di pericolosità di esercizioe livello di allarme.
Le classi di allarme definite sono:- OK- Allarme moderato- Allarme- Errore- Shutdown
Come avvisare i pazienti?
05/10/2017
11
SIAMOC 2017 – N. Alberto Borghese
Feed-back mediante smiley
Smiley + suoni – effetto limitato perchè non on-focus
SIAMOC 2017 – N. Alberto Borghese
Feed-back mediante codice colore
Un feed-back mediante codice colore e audio viene prodotto in tempo reale durante gli esercizi.
Le classi di allarme definite sono:- OK -> Verde- Allarme moderato -> Giallo- Allarme -> Arancione- Errore -> Rosso- Shutdown -> Termine della sessione
05/10/2017
12
Video: monitoring.wmv
SIAMOC 2017 – N. Alberto Borghese
Adattamento al paziente
Possibilità di definire dei parametri associati agli aspetti del movimento che il paziente sta cercando di migliorare:• Range (ampiezza), • speed (velocità)• Accuracy (accuratezza)
Intervallo caduta fruttiVelocità vermetto
05/10/2017
13
SIAMOC 2017 – N. Alberto Borghese
Adattamento durante l’esercizio
Obbiettivo è mantenere un livello di sfida adeguato (Dynamic Difficulty Adaptation – DDA)
Viene adottato un approccio Bayesiano che tiene conto la prescrizione del terapista e le attuali prestazioni del giocatore (success/fail nel compito del gioco)
Massimizzazione di una funzione composta
Punto di vista del terapista (né troppo facile né troppo difficile). Conoscenza a priori.
Punto di vista del paziente (livello dello sforzo). Massima verosimiglianza (di un parametro per ottenere un certo success rate).
SIAMOC 2017 – N. Alberto Borghese
Adattamento dinamico di un esercizio
Video: adaptationVideo.wmv
Interazione tra monitoring e adattamento:• Il monitoring blocca e mitiga l’adattamento.• Quando viene sollevato un allarme per maladattamento o esecuzione errata di un
esercizio, l’adattamento deve essere mitigato e modificato per potere intervenire solo in direzione di facilitare l’esercizio.
• Utilizzo limitato della DDA nelle sessioni sperimentali.
05/10/2017
14
SIAMOC 2017 – N. Alberto Borghese
Commenti sull’adattamento
• Nei videogiochi occorre sentirsi continuamente sfidati per rimanere all’interno del canale del “flow”. Questo è il razionaleper le tecniche di DDA.
• In riabilitazione, un chiaro senso del miglioramento acquisito è fondamentale per aumentare la motivazione => la validità delletecniche di DDA viene messa in dubbio.
• Sicuramente in fase di configurazione un livello di difficoltàadeguato deve essere scelto => il clinico varierà il livello di difficoltà => il paziente sarà contento di vedere che e’ migliorato.
• Il cambio di livello deve essere avallato dal terapista.
SIAMOC 2017 – N. Alberto Borghese
Il lato emotivo dell’interazione
• Smileys
• Terapista Virtuale (pupazzo)
• Terapista Virtuale (Hannah)
• Terapista Reale
Per seguire e consigliare il paziente.
05/10/2017
15
SIAMOC 2017 – N. Alberto Borghese
Hannah: l’avatar della Terapista Virtuale
Tutoraggio / suggerimenti / motivazione (Google Talk, animazioni semplici)Suggerimenti (quando movimenti errati vengono eseguiti ripetutamente – allarme rosso)
SIAMOC 2017 – N. Alberto Borghese
Interfacciamento «facile»
Interfacce vocali
• Problemi di rumore di fondo e ambientale
• Direzionalità dei microfoni
• Riconoscimento vocale in ambienti non controllati è ancora problematico
Controllo mediante gesti
• Controllo dei menu mediante movimento della mano
• Implementazione mediante tracking dello scheletro delle SDK di Kinect
• Supporto di gesti e controllo della posizione
• Usabilità è particolarmente importante, più che in altri casi!
05/10/2017
16
SIAMOC 2017 – N. Alberto Borghese
Interfacciamento mediante gesti
SIAMOC 2017 – N. Alberto Borghese
Dispositivi di input
Middleware (IDRA, Input Devices for Rehabilitation Abstraction Layer)
per supportare dispositivi diversi a seconda del tipo di riabilitazione
RGBD camera
Pedane di forza e solette sensorizzate
Tracker aptici Braccio robotico
Smart Phone
05/10/2017
17
SIAMOC 2017 – N. Alberto Borghese
Variabilità mediante randomizzazione
Randomizzazione controllata per massimizzare l’attrattività:
- elementi della scena
- colore, movimento, tessitura
- musica
-…...
SIAMOC 2017 – N. Alberto Borghese
Diversi tipi di alberi
05/10/2017
18
SIAMOC 2017 – N. Alberto Borghese
Gamification
• Per aumentare la motivazione estrinseca a lungo termine:
• Sistema di reward
• Appoggio su una comunità virtuale
• Massimizzazione del «flow»
SIAMOC 2017 – N. Alberto Borghese
Riassumendo
• Intelligent… perché contiene algoritmi di intelligenza computazionale per configurazione, adttamento e monitoring
• Game… perché supporta e incoraggia a giocare, principi di progettazione dei videogiochi
• Engine… perché è un sistema software progettato per creare e svilupparevideogiochi, game template
• Rehabilitation… Perché il suo focus è la riabilitazione, a differenza di altri motori di gioco, supporto di input multipli, natural users interfaces, terapista virtuale, monitoring….
Pirovano M, … Borghese NA, IEEE Trans. CIAIG, 2016)
Monitoring AvatarAdattamento RandomizzazioneDispositivi multipli Acquisizione dati
Personalizzazione di musica e grafica
05/10/2017
19
SIAMOC 2017 – N. Alberto Borghese
Esercizi creati per la riabilitazione della postura
• Stand still
• Weight shift
• Lateral steps
• Steps at 360o
• Lift leg
• Sit to stand
SCARECROW
FRUIT CATCHER
HAY COLLECT
HURDLER
MIX SOUP
FIRE FIGHTER NET CATCHER
BALLOON37
HORSE RUNNER
PUMP WHEEL
SIAMOC 2017 – N. Alberto Borghese
Esercizi per riabilitazione del braccio
38
SHAPE FOLLOWER FAULTY PIECESBALLOON POP
COGNITIVE COGNITIVE COGNITIVE
BUBBLES
COGNITIVE
MIX THE SOUP
COGNITIVE
GATHERING APPLES
COGNITIVE
PUZZLE
COGNITIVE
DOG LEASH
COGNITIVE
05/10/2017
20
SIAMOC 2017 – N. Alberto Borghese
Risultati di usabilità e pilota
A) J Held, B Ferrer, ….. A Luft, NA Borghese Autonomous rehabilitation at home based on virtual rehabilitation: safety, usability and compliance, a pilot study. In press Eur. J. Phys. Rehab. (24 subjects)
B) A. Giovannetti, …… N.A. Borghese, P. Confalonieri. A new computer-based platform for autonomous rehabilitation of balance in people with multiple sclerosis: a pilot study on usability of exergames that incorporate an intelligent virtual therapist. Submitted Dis. Rehab. (16 subjects)
C) B. Ferrer ….. N.A. Borghese. REWIRE project: Clinical assessment of a virtual reality home based rehabilitation programme. To be submitted (16 subjects)
Durata: 3 mesi di riabilitazione (A, C – 5 giorni la settimana; B – 3 giorni la settimana).
Nessun caso avversoCompliance elevataPercezione utilita’, percezione facilita’ d’uso (TAM methodology, SUS methodology)Curva di apprendimento veloce
SIAMOC 2017 – N. Alberto Borghese
Set-up reale
RGBD camera
TV
Balance boardHost PC
05/10/2017
21
SIAMOC 2017 – N. Alberto Borghese
Valutazione clinica
Control Group Experimental Group
Berg Balance Score
Baseline 45.00 ± 11.14 46.38 ± 6.35
Final 45.67 ± 9.29 48.75 ± 5.01
Difference +0.67 ± 3.01 +2.37 ± 2.72
TUG
Baseline 14.33 ± 7.39 21.78 ± 10.34
Final 15.07 ± 8.31 21.32 ± 10.59
Difference 0.73 ± 1.04 -0.46 ± 6.48
6MWT
Baseline 318.00 ± 157.02 215.91 ± 140.65
Final 342.17 ± 174.97 247.38 ± 161.73
Difference 24.17 ± 29.93 31.47 ± 36.03
Miglioramento significativo, anche dopo la dimissione dal programma di riabilitazione
SIAMOC 2017 – N. Alberto Borghese
La hospital station
Funzionamento basato su applicazioni WEB per le prescrizioni del terapista e l’analisidell’andamento della terapia.
Si intravede il ruolo del fornitore di servizi terzo rispetto a paziente e ospedale.
05/10/2017
22
SIAMOC 2017 – N. Alberto Borghese
Programmazione degli esercizi
SIAMOC 2017 – N. Alberto Borghese
Risultati globali
Problemi: più esercizi diversi, esercizi eseguiti in giorni diversi.
05/10/2017
23
SIAMOC 2017 – N. Alberto Borghese
Risultato dettagliato di un esercizio (sit to stand)
MOVECARE: Multiple-actOrs Virtual Empathic CARegiver for the Elder
Project N. 732158
H2020 Work program topic addressed: Objective ICT-26b-2016 System abilities, development and pilot installations
Starting date: 1 January 2017 Duration: 3 years
Movecare
05/10/2017
24
MOVECARE’s 3-levels platform
A multi-component monitoring system provides quantitative information on early physical/cognitive decline and social attitude. Intervention is provided by a multi-component activity center that guides the elder in activities, tailored to idiosyncrasies and needs and fosters socialization. Assistancehelps in everyday task and incentivizes therapy and diet adherence.
MonitoringInterventionAssistance
Distributed, Pervasive, Transparent
Intelligent Virtual Caregiver embodied into a Giraff robot.
Connects elders and other actors (e.g. caregivers).
Thank you for your attention!Any question?
Many thanks to:- Nicola Basilico- Jacopo Essenziale- Iuri Frosio- Renato Mainetti- Michele Pirovano- Marco Ronchetti- Elif Surer
and to collaboration with other institutions:- Gabriella Bottini- Paolo Confalonieri- Pierluca Lanzi- Franco Molteni- Giorgio Pajardi- Simona Ferrante
05/10/2017
25
Some ReferencesJ Held, B Ferrer, ….. A Luft, NA Borghese Autonomous rehabilitation at home based on virtual rehabilitation: safety, usability
and compliance, a pilot study. In press Eur. J. Phys. Rehab.
A. Giovannetti, …… N.A. Borghese, P. Confalonieri. A new computer-based platform for autonomous rehabilitation of balance in people with multiple sclerosis: a pilot study on usability of exergames that incorporate an intelligent virtual therapist. Submitted Dis. Rehab. (16 subjects)
B. Ferrer ….. N.A. Borghese. REWIRE project: Clinical assessment of a virtual reality home based rehabilitation programme. To be submitted (16 subjects)
M Pirovano, R Mainetti, G Baud-Bovy, PL Lanzi, NA Borghese, (2016) IGER - Intelligent Game Engine for Rehabilitation, IEEE Trans. on CIAIG. Vol.8(1), March 2016, pp. 43-55.
M. Pirovano, E. Surer, R. Mainetti, P.L. Lanzi, and N.A. Borghese (2015). Exergaming and rehabilitation: a methodology for the design of effective and safe therapeutic exergames", Entertainment Computing 10/2015.
G. Baud-Bovy, F. Tatti and N.A. Borghese (2015) Influence of Haptic Effects Rendered by a Low-Cost Force-Feedback Device on Postural Stability in Younger and Older Adults, IEEE Trans. on Haptics, Vol. 8 No. 2, pp. 130-139, 2015.
Seline Wüest, Nunzio Alberto Borghese, Michele Pirovano, Rolf van de Langenberg, Eling D. de Bruin (2014), Usability and Effects of an Exergame-Based Balance Training Program, Games for Health J. Vol. 3, Number 2, 2014, pp. 106-113.
Mainetti R, Sedda A, Ronchetti M, Bottini G, Borghese NA. (2013) Duckneglect: video-games based neglect rehabilitation. Technology and Health Care 21 97–111 97. DOI 10.3233/THC-120712 IOS Press.
NA Borghese, M Pirovano, PL Lanzi, S Wuest and ED de Bruin (2013), Computational Intelligence and Game Design for effective home-based stroke at Home Rehabilitation. Games for Health Journal. April 2013, Vol. 2, No. 2: 81-88.
Camila Shirota,… , N. A. Borghese and Alejandro Melendez-Calderon, (2016) On the assessment of coordination between upper extremities: towards a common language between rehabilitation engineers, clinicians and neuroscientists, JNER.
N. A. Borghese, Gabriella Bottini, Anna Sedda, (2013) Videogame based Neglect rehabilitation: a role for spatial remapping and multisensory integration? Frontiers in Human Neuroscience, doi: 10.3389/fnhum.2013.00116. Vol. 7(116), pp. 1-3.
Cattinelli I., Borghese N.A., Gallucci M. and Paulesu E. (2013) Reading the reading brain: a new meta-analysis of functional imaging data on reading. J. Neurolinguistic,Volume 26, Issue 1, January 2013, Pages 214–238.
Sedda A., Borghese N.A., Ronchetti M., Mainetti R., Pasotti F., Beretta G.,Bottini G. (2012) .Using Virtual Reality to Rehabilitate Neglect. Behav. Neurology, DOI - 10.3233/BEN-2012-129006,ISSN 0953-4180 .