L’esperienza del progetto REWIRE per la … 1 Torino, 4 Ottobre 2017 La tele-riabilitazione...

05/10/2017

1

Torino, 4 Ottobre 2017

La tele-riabilitazione domiciliare per il condizionamento motorio: strumenti, metodi e applicazioni

Corso precongressuale 3

Organizzatori: Andrea Cereatti, Alberto BorgheseDocenti: Francesca Baglio, Alberto Borghese, Andrea Cereatti, Erika Giannotti, Danilo Pani

L’esperienza del progetto REWIRE per la riabilitazione autonoma a casa basata su exer-game

Docente: Nunzio Alberto BorgheseUniversità degli Studi di Milano

Torino, 4 Ottobre 2017

05/10/2017

2

The REWIRE FP7 project http://www.rewire-project.eu

Rehabilitative Wayout In Responsive home EnvironmentsICT-2011.5.1: Personal Health Systems (PHS)

REWIRE Platform for autonomous rehabilitation athome

• Goal

– Portare la riabilitazione a casa del paziente

• Gerarchia di piattaforme

– Networking station

– Hospital station

– Patient station

• Strumenti

- Exergames

- Trasferimento alla vita reale

• Caratteristiche

- Unobrusive

- A basso costo

- Intelligenza fornita dall’ICT

Web basedservices

Exer-games +Acqusizione dati

Focus è sulla

configurazione e

valutazione

Focus è sul

training

intensivo a

casa

http://www.rewire-project.eu, http://innovation4welfare/fitrehab.htmlBorghese et al., Augmented Reality and Serious Games for Healthcare 1, 2014

http://www.juntadeandalucia.es/servicioandaluzdesalud

http://www.juntadeandalucia.es/servicioandaluzdesalud

http://www.juntadeandalucia.es/index.html

http://www.juntadeandalucia.es/index.html

http://www.rewire-project.eu/

05/10/2017

3

SIAMOC 2017 – N. Alberto Borghese

Riabilitazione classica

• Esercizio in sessioni “one-to-one” con il terapista• Riabilitazione “in-patient” (in ospedale, fase acuta, sessioni intensive)

• Riabilitazione “out-patient” (occorre raggiungere i centri di riabilitazione, fase di mantenimento).

• Quanto intensiva? Giornaliera?

• Quanto a lungo? Fino a quando non si verifica il recupero spontaneo.

• Chi sponsorizza?


Tele-riabilitazione

Ospedale

Casa

Supervisione in persona in tempo realeda remoto.Pro: non richiede trasposto, più pazientipossono essere supervisionaticontemporaneamente (quanti?)Contro: mancanza di contatto personale, guadagno economico limitato.

05/10/2017

4


(Ri)apprendimento di strategie motorie

• Apprendimento di uno strumento da un insegnante.

Apprendimento del cammino dai genitori

Apprendimento di uno sport da un allenatore

La riabilitazione consiste nel ri-

imparare abilità motorie con l’aiuto

di un terapista come allenatore in

sessioni one-to one.


I video giochi non sono sufficienti

E’ risultato presto evidente che questa soluzione non è sufficiente:- Sviluppo di danni muscolo-scheletrici (e.g. Prosperini et al., 2015; Bower et al., 2014)- Parziale mancanza di motivazione- Mancanza di valutazione quantitative durante il training (Cameirao et al., 2010)- Nessun adattamento alle abilità residue dei pazienti.

05/10/2017

5


L’eredità dei video-giochi

I principi della buona progettazione dei video-giochi devono essere soddisfatti (Schell, 2008).

Bella grafica (non necessariamente grafica complessa)Lontano dall’»uncanny valley»Effetto chiaro di ogni azioneFeed-back chiaro per ogni azioneBuona meccanicaSoprese!


Mihály Csíkszentmihályi, Flow: The Psychology of Optimal Experience, New York, Harper & Row, 1990

Inoltre, deve essere fornito un livello di difficoltà adeguato (fisico e cognitivo) perchèil paziente possa essere assorbito dal video-gioco

La teoria del flow

05/10/2017

6


Exergame terapeutici

A) Gli exergame BUONI sono divertenti e/o piacevoli.

Ma non è sufficiente. Occorre:1) Monitoring per la sicurezza.

• I video-giochi hanno a che vedere con gli obbiettivi (goal primari) -> che cosa fare? In riabilitazione, occorre anche specificare come farlo?

2) Adattamento del livello di difficoltà. Possibilità di variare la difficoltà di un gioco lungo le dimensini associate allo specifico esercizio associato (e.g. ampiezza del movimento, velocità, accuratezza). Si possono definire dei livelli associati alla progressione della riabilitazione.

3) Configurabilità. Capacità di utilizzare dispositivi diversi per patologie diverse: middleware adeguato.

4) FACILITA’ D’USO. Utilizzo di «Natural User Interfaces» (il PC scompare).

Quindi il messaggio è: un exergame terapeutico deve essere costruito attorno all’esercizio specificato dai terapisti, tenendo in considerazione i vincoli definiti per correttezza ed efficacia (Pirovano … Borghese, 2016).


Exergame terapeutici

• Soddisfare gli obbiettivi terapeutici (aumentare ampiezza movimento, velocità, accuratezza).

• Intensity: (time*challenge_level) avoid boredom of repeated activities or to avoid anxiery and maladaptation.

• Safety: we need to avoid stress, wrong postures and maladaptation

• Effectiveness: challenge level has to be adapted to patient level

05/10/2017

7


Exer-game riabilitativi vs commerciali

• Exergame: game + exercise: (video)gioco + esercizio• Gli esercizi sono richiesti per l’efficacia della

riabilitazione• I videogiochi possono risultare utile per fornire

motivazione estrinseca.• Bonus: la tecnologia può aiutare.

Attenzione: siamo a casa, e quindi non ci sono terapisti!!

Videogiochi commercialiMancano delle caratteristiche richieste dalla riabilitazione

Riabilitazione mediante VRNon viene effettuata con sistemi che seguano le regole di buona progettazione dei videogiochi.

Non c’è supervisione in entrambi i casi


Riabilitazione autonoma a casa

Lo scenario prevede un soggiorno con una televisione e uno spazio sufficiente per muoversi (la tecnologia deve essere trasparente all’utente)

Il nostro obbiettivo è spostare la riabilitazione a casa, ma ancora sotto la supervisione asincrona dei clinici

Per raggiungere questo obbiettivo abbiamosviluppato un motore di gioco speciale: Intelligent Game Engine for Rehabilitation (IGER system, Pirovano … Borghese, IEEE Trans. CIAIG 2016).

Elemento chiave è il Virtual Therapist, dotato di intelligenza artificiale, che è contenuto (embedded) all’interno del motore di gioco.

http://maps.google.com/maps?q=hospital+policlinico+milano&layer=c&z=17&iwloc=A&sll=45.460606,9.196289&cid=8529056044121224143&cbp=13,291.7,0,0,0&cbll=45.460599,9.196314&hl=en&ved=0CE8Q2wU&sa=X&ei=79cpTe7fAtLCsAbBlJGBDQ

http://maps.google.com/maps?q=hospital+policlinico+milano&layer=c&z=17&iwloc=A&sll=45.460606,9.196289&cid=8529056044121224143&cbp=13,291.7,0,0,0&cbll=45.460599,9.196314&hl=en&ved=0CE8Q2wU&sa=X&ei=79cpTe7fAtLCsAbBlJGBDQ

05/10/2017

8


Motore di gioco classico

Un motore di gioco è un “Sistema progettato per creare e sviluppare video-giochi”. system designed for the creation and development of video games.” Fornisce la funzioni di base dei videogiochi: implementa un ciclo in 3 passi: acquisizione degli input, modifica dei componenti digitali, resa dell’output. Tra i motori di gioco piu’ diffusi: Panda3D, Unity 3D.


Risultato

• Esercizio: weight shift

• Game: fruit catcher

Costruzione del gioco sull’esercizio

Avatar del terapista per introdurre il gioco e motivare

Non è sufficiente: sono richieste altre funzionalità

05/10/2017

9


Monitoring

Esercizi eseguiti in modo sbagliato inducono un cattivo adattamento: apprendimento

di pattern motori sbagliati e potenzialmente dannosi. Il terapista reale osserva il/la

paziente e lo/la corregge. Ma non abbiamo il terapista a casa. Come possiamo

implementare questa funzionalità (almeno al livello più semplice)?


Monitoring basato su conoscenza

Questa auto è parcheggiata nel posto di fianco all’auto bianca a sinistra o a quella nera sulla destra?

E’ basato sui sistemi fuzzy (letteralmente sfumati, Zadeh, 1967) e in particolare sulla“logica fuzzy” applicate ai problem di controllo (Mamdami, 1974). Ha l’obbiettivo di utilizzare la logica anche su concetti la cui verità è sfumata. Consente di tenere contodella “vaghezza” che spesso accompagna gli eventi di tutti I giorni.

La schiena è piegata moltissimo a destra?

Gli insiemi fuzzy associano un attributo qualitative a un evento (poco, medio, tanto…), ma tengono anche conto dell’incertezza della classificazione. Un evento puo’ appartenerecontemporaneamente a due classi (e.g. poco e medio)

05/10/2017

10


Configurazione monitor (introduzione conoscenza)

Le regole fuzzy di monitoraggio vengono introdotte dal terapista all’inizio della riabilitazione in clinica. Queste sono cucite sul paziente e vengono trasmesse al motore di gioco, IGER.

1) In una prima versione, queste regole erano generate in modo semi-automatico attraverso un’interfaccia grafica.

2) In una seconda versione i monitor vengono scelti da una libreria e il terapista può adattarli al particolare paziente mediante un’interfaccia grafica.

Valoredi fit

I parametri possono essere combinati tra loromediante AND/OR

Definizione automatica di classi a partire dal massimo valore tollerato durante gli esercizi.


Effetto dei monitor

Il paziente, mentre svolge gli exer-game a casa, deve essere avvisato quando supera i limitiimposti dai monitor.

Mappatura tra grado di pericolosità di esercizioe livello di allarme.

Le classi di allarme definite sono:- OK- Allarme moderato- Allarme- Errore- Shutdown

Come avvisare i pazienti?

05/10/2017

11


Feed-back mediante smiley

Smiley + suoni – effetto limitato perchè non on-focus


Feed-back mediante codice colore

Un feed-back mediante codice colore e audio viene prodotto in tempo reale durante gli esercizi.

Le classi di allarme definite sono:- OK -> Verde- Allarme moderato -> Giallo- Allarme -> Arancione- Errore -> Rosso- Shutdown -> Termine della sessione

05/10/2017

12

Video: monitoring.wmv


Adattamento al paziente

Possibilità di definire dei parametri associati agli aspetti del movimento che il paziente sta cercando di migliorare:• Range (ampiezza), • speed (velocità)• Accuracy (accuratezza)

Intervallo caduta fruttiVelocità vermetto

05/10/2017

13


Adattamento durante l’esercizio

Obbiettivo è mantenere un livello di sfida adeguato (Dynamic Difficulty Adaptation – DDA)

Viene adottato un approccio Bayesiano che tiene conto la prescrizione del terapista e le attuali prestazioni del giocatore (success/fail nel compito del gioco)

Massimizzazione di una funzione composta

Punto di vista del terapista (né troppo facile né troppo difficile). Conoscenza a priori.

Punto di vista del paziente (livello dello sforzo). Massima verosimiglianza (di un parametro per ottenere un certo success rate).


Adattamento dinamico di un esercizio

Video: adaptationVideo.wmv

Interazione tra monitoring e adattamento:• Il monitoring blocca e mitiga l’adattamento.• Quando viene sollevato un allarme per maladattamento o esecuzione errata di un

esercizio, l’adattamento deve essere mitigato e modificato per potere intervenire solo in direzione di facilitare l’esercizio.

• Utilizzo limitato della DDA nelle sessioni sperimentali.

05/10/2017

14


Commenti sull’adattamento

• Nei videogiochi occorre sentirsi continuamente sfidati per rimanere all’interno del canale del “flow”. Questo è il razionaleper le tecniche di DDA.

• In riabilitazione, un chiaro senso del miglioramento acquisito è fondamentale per aumentare la motivazione => la validità delletecniche di DDA viene messa in dubbio.

• Sicuramente in fase di configurazione un livello di difficoltàadeguato deve essere scelto => il clinico varierà il livello di difficoltà => il paziente sarà contento di vedere che e’ migliorato.

• Il cambio di livello deve essere avallato dal terapista.


Il lato emotivo dell’interazione

• Smileys

• Terapista Virtuale (pupazzo)

• Terapista Virtuale (Hannah)

• Terapista Reale

Per seguire e consigliare il paziente.

05/10/2017

15


Hannah: l’avatar della Terapista Virtuale

Tutoraggio / suggerimenti / motivazione (Google Talk, animazioni semplici)Suggerimenti (quando movimenti errati vengono eseguiti ripetutamente – allarme rosso)


Interfacciamento «facile»

Interfacce vocali

• Problemi di rumore di fondo e ambientale

• Direzionalità dei microfoni

• Riconoscimento vocale in ambienti non controllati è ancora problematico

Controllo mediante gesti

• Controllo dei menu mediante movimento della mano

• Implementazione mediante tracking dello scheletro delle SDK di Kinect

• Supporto di gesti e controllo della posizione

• Usabilità è particolarmente importante, più che in altri casi!

05/10/2017

16


Interfacciamento mediante gesti


Dispositivi di input

Middleware (IDRA, Input Devices for Rehabilitation Abstraction Layer)

per supportare dispositivi diversi a seconda del tipo di riabilitazione

RGBD camera

Pedane di forza e solette sensorizzate

Tracker aptici Braccio robotico

Smart Phone

05/10/2017

17


Variabilità mediante randomizzazione

Randomizzazione controllata per massimizzare l’attrattività:

- elementi della scena

- colore, movimento, tessitura

- musica

-…...


Diversi tipi di alberi

05/10/2017

18


Gamification

• Per aumentare la motivazione estrinseca a lungo termine:

• Sistema di reward

• Appoggio su una comunità virtuale

• Massimizzazione del «flow»


Riassumendo

• Intelligent… perché contiene algoritmi di intelligenza computazionale per configurazione, adttamento e monitoring

• Game… perché supporta e incoraggia a giocare, principi di progettazione dei videogiochi

• Engine… perché è un sistema software progettato per creare e svilupparevideogiochi, game template

• Rehabilitation… Perché il suo focus è la riabilitazione, a differenza di altri motori di gioco, supporto di input multipli, natural users interfaces, terapista virtuale, monitoring….

Pirovano M, … Borghese NA, IEEE Trans. CIAIG, 2016)

Monitoring AvatarAdattamento RandomizzazioneDispositivi multipli Acquisizione dati

Personalizzazione di musica e grafica

05/10/2017

19


Esercizi creati per la riabilitazione della postura

• Stand still

• Weight shift

• Lateral steps

• Steps at 360o

• Lift leg

• Sit to stand

SCARECROW

FRUIT CATCHER

HAY COLLECT

HURDLER

MIX SOUP

FIRE FIGHTER NET CATCHER

BALLOON37

HORSE RUNNER

PUMP WHEEL


Esercizi per riabilitazione del braccio

38

SHAPE FOLLOWER FAULTY PIECESBALLOON POP

COGNITIVE COGNITIVE COGNITIVE

BUBBLES

COGNITIVE

MIX THE SOUP

COGNITIVE

GATHERING APPLES

COGNITIVE

PUZZLE

COGNITIVE

DOG LEASH

COGNITIVE

05/10/2017

20


Risultati di usabilità e pilota

A) J Held, B Ferrer, ….. A Luft, NA Borghese Autonomous rehabilitation at home based on virtual rehabilitation: safety, usability and compliance, a pilot study. In press Eur. J. Phys. Rehab. (24 subjects)

B) A. Giovannetti, …… N.A. Borghese, P. Confalonieri. A new computer-based platform for autonomous rehabilitation of balance in people with multiple sclerosis: a pilot study on usability of exergames that incorporate an intelligent virtual therapist. Submitted Dis. Rehab. (16 subjects)

C) B. Ferrer ….. N.A. Borghese. REWIRE project: Clinical assessment of a virtual reality home based rehabilitation programme. To be submitted (16 subjects)

Durata: 3 mesi di riabilitazione (A, C – 5 giorni la settimana; B – 3 giorni la settimana).

Nessun caso avversoCompliance elevataPercezione utilita’, percezione facilita’ d’uso (TAM methodology, SUS methodology)Curva di apprendimento veloce


Set-up reale

RGBD camera

TV

Balance boardHost PC

05/10/2017

21


Valutazione clinica

Control Group Experimental Group

Berg Balance Score

Baseline 45.00 ± 11.14 46.38 ± 6.35

Final 45.67 ± 9.29 48.75 ± 5.01

Difference +0.67 ± 3.01 +2.37 ± 2.72

TUG

Baseline 14.33 ± 7.39 21.78 ± 10.34

Final 15.07 ± 8.31 21.32 ± 10.59

Difference 0.73 ± 1.04 -0.46 ± 6.48

6MWT

Baseline 318.00 ± 157.02 215.91 ± 140.65

Final 342.17 ± 174.97 247.38 ± 161.73

Difference 24.17 ± 29.93 31.47 ± 36.03

Miglioramento significativo, anche dopo la dimissione dal programma di riabilitazione


La hospital station

Funzionamento basato su applicazioni WEB per le prescrizioni del terapista e l’analisidell’andamento della terapia.

Si intravede il ruolo del fornitore di servizi terzo rispetto a paziente e ospedale.

05/10/2017

22


Programmazione degli esercizi


Risultati globali

Problemi: più esercizi diversi, esercizi eseguiti in giorni diversi.

05/10/2017

23


Risultato dettagliato di un esercizio (sit to stand)

MOVECARE: Multiple-actOrs Virtual Empathic CARegiver for the Elder

Project N. 732158

H2020 Work program topic addressed: Objective ICT-26b-2016 System abilities, development and pilot installations

Starting date: 1 January 2017 Duration: 3 years

Movecare

05/10/2017

24

MOVECARE’s 3-levels platform

A multi-component monitoring system provides quantitative information on early physical/cognitive decline and social attitude. Intervention is provided by a multi-component activity center that guides the elder in activities, tailored to idiosyncrasies and needs and fosters socialization. Assistancehelps in everyday task and incentivizes therapy and diet adherence.

MonitoringInterventionAssistance

Distributed, Pervasive, Transparent

Intelligent Virtual Caregiver embodied into a Giraff robot.

Connects elders and other actors (e.g. caregivers).

Thank you for your attention!Any question?

Many thanks to:- Nicola Basilico- Jacopo Essenziale- Iuri Frosio- Renato Mainetti- Michele Pirovano- Marco Ronchetti- Elif Surer

and to collaboration with other institutions:- Gabriella Bottini- Paolo Confalonieri- Pierluca Lanzi- Franco Molteni- Giorgio Pajardi- Simona Ferrante

05/10/2017

25

Some ReferencesJ Held, B Ferrer, ….. A Luft, NA Borghese Autonomous rehabilitation at home based on virtual rehabilitation: safety, usability

and compliance, a pilot study. In press Eur. J. Phys. Rehab.

A. Giovannetti, …… N.A. Borghese, P. Confalonieri. A new computer-based platform for autonomous rehabilitation of balance in people with multiple sclerosis: a pilot study on usability of exergames that incorporate an intelligent virtual therapist. Submitted Dis. Rehab. (16 subjects)

B. Ferrer ….. N.A. Borghese. REWIRE project: Clinical assessment of a virtual reality home based rehabilitation programme. To be submitted (16 subjects)

M Pirovano, R Mainetti, G Baud-Bovy, PL Lanzi, NA Borghese, (2016) IGER - Intelligent Game Engine for Rehabilitation, IEEE Trans. on CIAIG. Vol.8(1), March 2016, pp. 43-55.

M. Pirovano, E. Surer, R. Mainetti, P.L. Lanzi, and N.A. Borghese (2015). Exergaming and rehabilitation: a methodology for the design of effective and safe therapeutic exergames", Entertainment Computing 10/2015.

G. Baud-Bovy, F. Tatti and N.A. Borghese (2015) Influence of Haptic Effects Rendered by a Low-Cost Force-Feedback Device on Postural Stability in Younger and Older Adults, IEEE Trans. on Haptics, Vol. 8 No. 2, pp. 130-139, 2015.

Seline Wüest, Nunzio Alberto Borghese, Michele Pirovano, Rolf van de Langenberg, Eling D. de Bruin (2014), Usability and Effects of an Exergame-Based Balance Training Program, Games for Health J. Vol. 3, Number 2, 2014, pp. 106-113.

Mainetti R, Sedda A, Ronchetti M, Bottini G, Borghese NA. (2013) Duckneglect: video-games based neglect rehabilitation. Technology and Health Care 21 97–111 97. DOI 10.3233/THC-120712 IOS Press.

NA Borghese, M Pirovano, PL Lanzi, S Wuest and ED de Bruin (2013), Computational Intelligence and Game Design for effective home-based stroke at Home Rehabilitation. Games for Health Journal. April 2013, Vol. 2, No. 2: 81-88.

Camila Shirota,… , N. A. Borghese and Alejandro Melendez-Calderon, (2016) On the assessment of coordination between upper extremities: towards a common language between rehabilitation engineers, clinicians and neuroscientists, JNER.

N. A. Borghese, Gabriella Bottini, Anna Sedda, (2013) Videogame based Neglect rehabilitation: a role for spatial remapping and multisensory integration? Frontiers in Human Neuroscience, doi: 10.3389/fnhum.2013.00116. Vol. 7(116), pp. 1-3.

Cattinelli I., Borghese N.A., Gallucci M. and Paulesu E. (2013) Reading the reading brain: a new meta-analysis of functional imaging data on reading. J. Neurolinguistic,Volume 26, Issue 1, January 2013, Pages 214–238.

Sedda A., Borghese N.A., Ronchetti M., Mainetti R., Pasotti F., Beretta G.,Bottini G. (2012) .Using Virtual Reality to Rehabilitate Neglect. Behav. Neurology, DOI - 10.3233/BEN-2012-129006,ISSN 0953-4180 .

L’esperienza del progetto REWIRE per la … 1 Torino, 4 Ottobre 2017 La tele-riabilitazione...

Documents

Transcript of L’esperienza del progetto REWIRE per la … 1 Torino, 4 Ottobre 2017 La tele-riabilitazione...