Tecnologie per la rieducazione cognitiva - bioing.it · Per un sistema di riabilitazione cognitiva...

83
UNIVERSITÀ DI PAVIA Silvana Quaglini, Anna Alloni, Silvia Panzarasa Tecnologie per la rieducazione cognitiva

Transcript of Tecnologie per la rieducazione cognitiva - bioing.it · Per un sistema di riabilitazione cognitiva...

UNIVERSITÀ DI PAVIA

Silvana Quaglini,

Anna Alloni, Silvia Panzarasa

Tecnologie per la rieducazione cognitiva

Le nostre collaborazioni

IRCCS C. Mondino

IRCCS S. Maugeri

CCPP

Popolazione target

Pazienti adulti che, come esiti di ictus, traumi cranici, patologie degenerative, presentano deficit cognitivi:

- Memoria

- Attenzione

- Funzioni esecutive

- Funzioni logiche-deduttive

- Pianificazione-organizzazione

- Coordinazione visuomotoria

Le sedute di riabilitazione tradizionali

Lo studio del terapista

Campo fertile per la fantasia dell’informatico medico

• Ottimo ! E’ tutto trasferibile su computer !

… Per risolvere i problemi dell’approccio tradizionale

• Reperimento di stimoli sempre diversi per non annoiare il paziente– Riduzione del tempo dedicato alla preparazione: il terapista non ha

più la necessità di preparare nuovi esercizi (cartacei o con oggetti) prima di ogni seduta con il paziente;

• Salvataggio automatico dei dati sulle prestazioni

• Archiviazione dei dati

• Razionale per modulazione della difficoltà degli esercizi

• Analisi dei risultati (statistiche sul singolo pz, su gruppi di pz, ecc)

• Correlazioni con le condizioni cliniche

… e per dare la possibilità di teleriabilitazione(homecare)

Il software potrebbe:• consentire al terapista di comporre un programma di esercizi specifico per il paziente domiciliare

In assenza del terapista che comunica face-to-face con il paziente, il software deve:

• fornire un feedback immediato al paziente sulla correttezza o meno della risposta fornita• variare automaticamente il livello di difficoltà degli esercizi, sulla base dello storico delle performance del paziente• spedire i dati all’ospedale per il telemonitoraggio

ATTENZIONE: non viene sminuito il rapporto paziente – terapista

Il SSN non può garantire un trattamento riabilitativo più lungo di 2-3 mesi, dopo di che, nella pratica, la continuità della cura non viene supporata.

Diversi sistemi in commercio

• Cogito (gratuito)

Diversi sistemi in commercio

• Cogito (gratuito)

• Erica

Diversi sistemi in commercio

• Cogito (gratuito)

• Erica

• CogniPlus

• Brainer

Versione base: 10000€ + 5600€ /anno rinnovo licenza

Diversi sistemi in commercio

• Cogito (gratuito)

• Erica

• CogniPlus

• Brainer

Abbonamento: 720€ /anno

Brainer srl, Torino

• Esempi di esercizi computerizzati

Esercizio di attenzione(es. cogli i girasoli e i papaveri)

Matrici attentive(es: trova la sillaba “ve”)

da fa so le na to

me re ve re go re

ca le so mo re mi

le re ve to re ro

fa ve re ro da le

re mi fa na go so

Esercizio di pianificazione(es. riordinamento scene)

Riordinamento di frasi

Esercizio di classificazione

Comprensione di parole scritte (con o senza distrattore)

MELA

Mutuati da videogiochi(es. stimolo monotono per esercizio di vigilanza)

Anche noi …

CoRe (Cognitive Rehabilitation)

(Demo completa disponibile dopo la lezione)

Caratteristiche prodotti

Architettura comune

STIMOLI

DATI PAZIENTI

CONFIGURAZIONEE

GENERAZIONE DELL’ESERCIZIO

MELA

Feedback performance

Challenges

• Generazione automatica di esercizi complessi

• Assi di personalizzazione– Paziente

• Basata su performance

• Basata su preferenze personali

– Terapista• Aggiunta/modifica di stimoli

• Validazione del sistema

Generazione degli esercizi

STIMOLI

DATI PAZIENTI

CONFIGURAZIONEE

GENERAZIONE DELL’ESERCIZIO

MELA

Feedback performance

Metodologia basata su unaOntologia degli stimoli

• In campo informatico, un’ontologia è una rappresentazione formale di un dominio, che descrive esplicitamente, mediante un linguaggio formale, i concetti del dominio stesso e le relazioni che li legano

Come organizzare gli stimoli: L’ONTOLOGIA

Tassonomia:Gerarchia di concetti legati fra loro dall’unica relazione IS-A

ONTOLOGIA: tassonomia + relazioni

eats

Editor di ontologie: Protégé

Protégé -> XML

Mie2011, Quaglini 34

Attributi linguistici

Attributi “multimediali”

Methods: Protégé for the stimuli ontology

Mie2011, Quaglini 36

An ontology is composed by a hierarchy of classes (containing the domain concepts),attributes (defining the intrinsic properties of a class) and relationships (defining semanticlinks between different classes).

From Protégé to a Relational DB

Mie2011, Quaglini 37

Translatortool

Adding patient’s data at local level

Mie2011, Quaglini 38

Patient’sdata

Patient’sprofiling

• Sfruttare l’ontologia per generare automaticamente gli esercizi

Sfruttare le relazioni is-a nell’ontologia

Per generare

l’esercizio basterà

recuperare a caso

delle coppie di

parole legate da

una qualunque

relazione: es:

“OPPOSTO DI”

Sfruttare le altre relazioni nell’ontologia

Accoppia le parole

Challenges

• Generazione automatica di esercizi complessi

• Assi di personalizzazione degli esercizi– Paziente

• Basata su performance

• Basata su preferenze personali

– Terapista• Aggiunta/modifica di stimoli

• Validazione del sistema

Challenges

• Generazione automatica di esercizi complessi

• Assi di personalizzazione degli esercizi– Paziente

• Basata su performance

• Basata su preferenze personali

– Terapista• Aggiunta/modifica di stimoli

• Validazione del sistema

Generazione dell’esercizio basata sulle performance

• Se il paziente esegue bene un esercizio di difficoltà X si aumenterà la difficoltà a X+1

• Come si può sfruttare l’ontologia per fare questo in modo automatico?

La difficoltà può essere aumentata scegliendo stimoli appartenenti a livelli sempre più bassi della tassonomia

Difficoltà aumentata utilizzando relazioni diverse

Con relazioni

diverse

usa

E’un

Contrario di

Spaghetti : PASTA

=

Hamburger : ?MEAT VEGETABLE CEREAL FISH CHEESE

Modulazione della difficoltà secondo le caratteristiche delle immagini

Stima della complessità mediante identificazione dei bordi

Stima della complessità mediante identificazione dei bordi

Parole difficili e parole faciliUsare stimoli “facili” o “difficili” a seconda della

scolarità del paziente (es. parole con alta/bassa

frequenza d’uso)

• Abbiamo visto come si possono generare automaticamente esercizi sempre più difficili

• Come controllare questa funzionalità ?

Generazione adattativa degli esercizi

STIMOLI

DATI PAZIENTI

CONFIGURAZIONEE

GENERAZIONE DELL’ESERCIZIO

MELA

Feedback performance

DSS basato su astrazioni temporali

IFnelle ultime due sedute la

performance e’ stata >80%, THEN

aumenta la difficolta’dell’esercizio

Challenges

• Generazione automatica di esercizi complessi

• Assi di personalizzazione degli esercizi– Paziente

• Basata su performance

• Basata su preferenze personali / profilo del paziente

– Terapista• Aggiunta/modifica di stimoli

• Validazione del sistema

Personalizzazione delle interfacce

Esempi:

• Uso del touch-screen da parte di pazienti con leggera aprassia (progettazione opportuna delle aree sensibili dello schermo)

• Impossibilità di utilizzo delle interfacce

tradizionali per i pazienti affetti da deficit motori

in fase più avanzata (utilizzo di periferiche

semplificate)

Per i pazienti che preferiscono interagire con oggetti

Makey Makey (MIT mediaLab)

una scheda elettronica che, connessa tramite USB ad un PC,consente di “mappare” qualsiasi oggetto fisico, purchéelettricamente conduttivo, ad un qualunque elemento dellatastiera.

Set-up sperimentale

In clinica

• Oltre alle periferiche, possono essere personalizzati anche gli stimoli

Personalizzazione degli stimoli

“CANE”

Stimolo visuale di default Il cane del paziente

GESTIONE PRIVACY

Altre vie di personalizzazione degli stimoli

Profilo del paziente

Data di nascita

Sesso

Scolarità

Professione

Hobbies

….

Profilo del Sig. Rossi

16-03-1940

Maschio

Media Inferiore

Sarto

Hobbies

….

Challenges

• Generazione automatica di esercizi complessi

• Assi di personalizzazione degli esercizi– Paziente

• Basata su performance

• Basata su preferenze personali / profilo del paziente

– Terapista• Aggiunta/modifica di stimoli

• Validazione del sistema

Funzionalità per il terapista (1)

STIMOLI(5000 stimoli)

Inserimento nuove immagini

Elaborazione immagine da parte del terapista

Arricchimento del database degli stimoli

STIMOLI

DATI PAZIENTI

CONFIGURAZIONEE

GENERAZIONE DELL’ESERCIZIO

MELA

Feedback performance

DSS basato su astrazioni temporali

Toolelaborazione

immagini+

TAGS

Challenges

• Generazione automatica di esercizi complessi

• Assi di personalizzazione– Paziente

• Basata su performance

• Basata su preferenze personali

– Terapista• Aggiunta/modifica di stimoli

• Validazione del sistema

ValidazioneLe performance ottenute durante gli esercizi di riabilitazione cognitiva NON SONO CONSIDERATE indicatori di miglioramento/peggioramento della condizione clinica

La condizione clinica viene viene valutata attraverso una batteria di test neuropsicologici (NP) validati e considerati standard (MMSE, MOCA, WEIGL, Raven, etc)

Ciò che si valuta può essere quindi:

- la variazione degli score NP nei pazienti sottoposti/non sottoposti a riabilitazione cognitiva computerizzata, mediante trial clinico randomizzato controllato prospettico, possibilmente a 3 bracci:

-Nessun trattamento-Riabilitazione cognitiva tradizionale-Riabilitazione cognitiva computerizzata

- la correlazione degli score NP con le performance nei vari esercizi (per capire se alcune attività incidono più di altre sul recupero dei vari deficit)

Calcolo della performance

La performance e’ funzione di

- correttezza della risposta- tipo di esercizio (difficolta’ intrinseca)- livello di difficoltà - tempo di esecuzione

Calcolo della performance

0.75*(%risposte errate)/100+0.25*Tempo esecuzione/ Tmax

Indica la difficoltà intrinseca di un esercizio, calcolato dalle perfomance dimostrate dai volontari sani.

Punteggio Ponderato (PP)

PP = 25*PTipo + 25*PLiv + 25*PTempo + 25*PRisp

Ptipo Pliv PTempo Prisp Є (0-1]

Calcolo della performance

livello di difficoltà impostato per l’esercizio/numero livelli

Performance = f(correttezza della risposta, tipo di esercizio, livello di difficoltà, tempo di esecuzione)

PP = 25*PTipo + 25*PLiv + 25*PTempo + 25*PRisp

Ptipo Pliv PTempo Prisp Є (0-1]

Calcolo della performance

(TOut-Tempo medio risposta)/TOut

Performance = f(correttezza della risposta, tipo di esercizio, livello di difficoltà, tempo di esecuzione)

PP = 25*PTipo + 25*PLiv + 25*PTempo + 25*PRisp

Ptipo Pliv PTempo Prisp Є (0-1]

Calcolo della performance

% Risposte corrette/100

Performance = f(correttezza della risposta, tipo di esercizio, livello di difficoltà, tempo di esecuzione)

PP = 25*PTipo + 25*PLiv + 25*PTempo + 25*PRisp

Ptipo Pliv PTempo Prisp Є (0-1]

Small Trial (12 casi 9 controlli)Effetto del training cognitivo sul test MOCA

Outcome vs intensita’Media PP nelle sedute

• Un flash su altre possibili funzionalità del sistema

Internazionalizzazione

3D Graphics

Detection di eventuali problemi emotivi durante la sessione

Conclusioni

Mie2011, Quaglini83

Per un sistema di riabilitazione cognitiva è importante:

- Sviluppare un’architettura che consente una facile manutenzione del

repository di stimoli (immagini, parole, suoni, etc.) da usare per la

generazione di esercizi, con

• Classificazione gerarchica di stimoli

• Descrizione completa di ogni stimolo

• Relazioni fra stimoli

• Relazioni fra stimoli e pazienti specifici

- Usare il repository per generare esercizi personalizzati

- Mantenere la separazione fra il repository degli stimoli e il software

generatore degli esercizi, in modo da favorire la riusabilita’

UNSCRAMBLE THE SCENES !

Diapo aggiuntive su architettura

Functional Architecture

Performance data storage

Parameters setup

through user interface

Exercise start

Patient

profiles DB

Stimuli DB

Automatic adjustment of the

difficulty

Stimuli ontology