UNIVERSITA DEGLI STUDI DI MILANO · Durante la fase di lavoro sono stati compiuti test sulle...

UNIVERSITA DEGLI STUDI DI MILANOFACOLTA DI SCIENZE E TECNOLOGIE

CORSO DI LAUREA TRIENNALE IN INFORMATICA MUSICALE

INTEGRAZIONE DEL LEAP MOTION CONTROLLER INMUSICOTERAPIA PER SOGGETTI DIVERSAMENTE

ABILI

Relatore: Prof. Luca Andrea LudovicoCorrelatore: Prof. Adriano Barate

Tesi di Laurea di:Eleonora OrioloMatr. Nr. 817321

anno accademico 2016-2017

Ai miei genitori.

“Just don’t give up trying to do what you really want to do.

Where there is love and inspiration, I don’t think you can go

wrong.” -Ella Fitzgerald

Indice

1 Introduzione 11.1 Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Motivazioni . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.3 Struttura dell’elaborato . . . . . . . . . . . . . . . . . . . . . . . . . . 2

2 Stato dell’arte 42.1 La tecnologia ausilio per la disabilita . . . . . . . . . . . . . . . . . . 4

2.1.1 Assistive Technology . . . . . . . . . . . . . . . . . . . . . . . 42.1.2 La human gesture recognition . . . . . . . . . . . . . . . . . . 62.1.3 Gli ausili utilizzati presso il Centro disabili Sim-patia . . . . . 7

2.2 La Musicoterapia in ambito riabilitativo . . . . . . . . . . . . . . . . 72.2.1 Tecnologie in Musicoterapia clinica . . . . . . . . . . . . . . . 10

2.3 Applicazioni per leap motion in ambito sanitario . . . . . . . . . . . . 11

3 Tecnologia utilizzata 133.1 Il Leap Motion Controller: la panoramica . . . . . . . . . . . . . . . . 13

3.1.1 Sistema di coordinate . . . . . . . . . . . . . . . . . . . . . . . 133.1.2 I dati di tracciamento del movimento . . . . . . . . . . . . . . 15

3.2 Sviluppo delle applicazioni . . . . . . . . . . . . . . . . . . . . . . . . 173.3 API di riferimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

4 Caso di studio 204.1 Le sedute di Musicoterapia al centro Sim-patia . . . . . . . . . . . . . 204.2 La musica come pratica educativa e terapeutica . . . . . . . . . . . . 214.3 Idea di progetto per la seduta . . . . . . . . . . . . . . . . . . . . . . 22

5 L’applicativo realizzato 235.1 Introduzione a LeapJS . . . . . . . . . . . . . . . . . . . . . . . . . . 235.2 Funzionalita . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

5.2.1 Selezione dei parametri e delle note . . . . . . . . . . . . . . . 245.2.2 Le funzioni principali in Javascript . . . . . . . . . . . . . . . 26

INDICE

5.3 Interfaccia grafica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275.4 Risultati dei test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

6 Conclusioni e sviluppi futuri 316.1 Conclusioni . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316.2 Sviluppi futuri . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

Ringraziamenti 33

Bibliografia 33

Capitolo 1

Introduzione

1.1 Abstract

Il fine dell’elaborato e l’implementazione di un’applicazione web utilizzabile con ilLeap Motion Controller, un piccolo dispositivo che si connette al computer tramiteUSB, capace di riconoscere e tracciare in modo accurato la posizione delle mani e delledita. Grazie all’impiego di due telecamere, tre LED infrarossi e due sensori ottici,riesce a creare uno spazio tridimensionale di raggio 60 cm. Le tecnologie utilizzateper lo sviluppo hanno coinvolto i linguaggi Javascript, HTML5 e le API del LeapMotion.

La scelta del dispositivo deriva dall’interesse di utilizzarlo in un contesto musi-coterapeutico rivolto a persone affette da disabilita motoria e cognitiva che possono,con pochi semplici movimenti, generare diversi suoni altrimenti non eseguibili con itradizionali strumenti musicali. Gli utenti, attraverso l’utilizzo del Leap Motion, ven-gono stimolati a partecipare alle sedute di Musicoterapia tenute dal dott. AntonioElia presso la Cooperativa Sociale per disabili Sim-Patia, dove il dispositivo e statotestato. L’applicativo permette di suonare uno strumento verticale “virtuale”. In pri-mo luogo consente di selezionare il punto di inizio “Start” determinato dalla distanzaa partire dalla finestra del Leap Motion da dove poter cominciare a suonare le note,personalizzabile a seconda dei limiti e delle esigenze dell’utente. Questa taratura eimportante perche adegua il controller al deficit motorio dell’utente. Successivamentee possibile selezionare il parametro “End” per stabilire il punto massimo che determi-na lo spazio complessivo del movimento in cui poter riprodurre il suono. Scelti i dueparametri l’utente puo selezionare un numero N di note, presenti nel menu a tendina,da suonare in corrispondenza di soglie situate sulla coordinata Y del Leap Motion,per un massimo di otto note diverse riproducibili col movimento verticale della mano.Il movimento orizzontale non risultava agevole per gli utenti e per questo motivo estata pensata un’implementazione sull’asse verticale. E possibile inoltre selezionare

1

CAPITOLO 1. INTRODUZIONE 2

il timbro dello strumento, allo stato attuale scegliendo tra il pianoforte e la voce.La scelta di inserire un suono vocale e significativa per gli utenti con difficolta nellinguaggio e nell’emissione di suoni.

Durante la fase di lavoro sono stati compiuti test sulle persone del Centro conrisultati soddisfacenti.

1.2 Motivazioni

La scelta dell’argomento affrontato e dettata dalla volonta di sviluppare un elaboratoefficace in un contesto di disabilita di vario genere, in cui la tecnologia puo fornireun supporto concreto. A tale motivazione si affianca la curiosita e l’interesse perla Musicoterapia definita modalita di approccio alla persona che utilizza la musicao il suono come strumento di comunicazione non verbale per intervenire a livelloeducativo, riabilitativo o terapeutico:

“Music therapy is a systematic process of intervention wherein the therapisthelps the client to promote health, using music experiences and the relationships thatdevelop through them as dynamic forces of change”. (Kenneth E. Bruscia)

A questo proposito e stato scelto il centro Sim-Patia di Valmorea (Como) cheoffre diversi tipi di servizi sul territorio. Ha un polo tecnologico dedicato allo studioe alla realizzazione di soluzioni hi-tech: un team di ingegneri, periti informatici edelettronici, partendo dall’analisi del bisogno della persona con fragilita, sviluppa oadatta dispositivi utili alla gestione quotidiana della casa, alla comunicazione, allavoro e allo svago. Il centro offre, inoltre, consulenze a persone esterne su tutto ilterritorio regionale e nazionale.

1.3 Struttura dell’elaborato

Nel Capitolo 1 vi e un’introduzione comprensiva di un abstract e due paragrafi: ilprimo dedicato alle motivazioni per cui e stato scelto l’argomento affrontato, il secondoall’illustrazione della struttura dell’elaborato.

Nel Capitolo 2 e presente lo stato dell’arte relativo alle tecnologie in supportoalle varie disabilita (cognitive, motorie e sensoriali), con particolare attenzione sulledefinizioni di “Assistive Technology” e “Human Gesture Recognition”. A seguire unparagrafo dedicato agli ausili tecnologici utilizzati presso il centro Sim-patia dove sonostate effettuate le sperimentazioni con il dispositivo. Il Paragrafo successivo illustral’impatto della Musicoterapia in un contesto riabilitativo e le tecnologie utilizzate daimusicoterapisti in area medica. Il capitolo si conclude con un cenno sulle applicazioni

CAPITOLO 1. INTRODUZIONE 3

esistenti per la tecnologia Leap Motion in ambito sanitario, utilizzata per questatrattazione.

Il Capitolo 3 presenta la tecnologia del controller Leap Motion. E esposto in mododettagliato il suo sistema di coordinate e i dati di tracciamento del movimento, conun paragrafo dedicato allo sviluppo delle Applicazioni e alle API di riferimento.

Nel Capitolo 4 e esposto il caso di studio, nonche il punto di partenza per la realiz-zazione dell’idea e della struttura dell’applicativo, sulla base di osservazioni effettuateal centro Sim-patia, con particolare descrizione delle sedute di Musicoterapia.

Nel Capitolo 5 e illustrato l’applicativo realizzato con le rispettive funzionalita.A seguire le successive sperimentazioni e test effettuati sulle persone affette da disa-bilita psico-motorie, con le considerazioni finali sull’esecuzione di ciascuno, al fine dimostrare l’utilita del lavoro svolto.

Nel Capitolo 6 sono presentate le conclusioni e le riflessioni sugli sviluppi futuri,in vista di miglioramenti da effettuare all’applicativo.

Capitolo 2

Stato dell’arte

2.1 La tecnologia ausilio per la disabilita

2.1.1 Assistive Technology

Con Assistive Tecnology (AT) 1 si intende qualsiasi tecnologia, sistema, oggetto oparte di esso che viene usato per accrescere, mantenere o migliorare le capacita di unindividuo affetto da qualsivoglia tipo di disabilita e, indirettamente, di qualsiasi per-sona. In generale qualsiasi tecnologia che consente a qualcuno di realizzare qualcosache normalmente non potrebbe realizzare puo essere identificata anche come AssistiveTechnology.

Le classi di disabilita sulle quali va ad operare sono tre:

1. Disabilita cognitive: questa categoria e contraddistinta da disabilita intellet-tive che possono manifestarsi come semplici difficolta di apprendimento (comela dislessia, o casi di ritardo mentale). Lo sviluppo delle tecniche in medicina,attraverso veri e propri percorsi terapeutici, ha cercato di risolvere e migliorarequeste tipologie di problemi. Le tecnologie utilizzate dall’AT, in questo settore,forniscono un aiuto a queste patologie e sono quasi esclusivamente di livellosoftware. Esistono infatti programmi in grado di assistere la persona durantela digitazione di testi a computer.

2. Disabilita motorie: questa categoria raggruppa tutti quei disturbi collegati almovimento del corpo della persona invalida. Questa disabilita puo essere con-genita oppure conseguente a traumi (es. alla spina dorsale, o paralisi causate daictus) e l’AT fornisce strumenti quali carrozzine e scooter elettrici. Per le perso-ne con difficolta motorie alle mani esistono, invece, dispositivi detti hands-free

1http://assistivetechnology.it/

4

http://assistivetechnology.it/

CAPITOLO 2. STATO DELL’ARTE 5

che si adattano alla varie esigenze della persona, consentendo l’accesso a termi-nali senza l’uso delle mani. Esiste infatti un mouse che puo essere comandatocon i piedi (footmouse). Altre tecnologie sono il riconoscimento vocale, speech-recognition, e il eye-gaze che, mediante il movimento degli occhi, consente diinteragire con un computer.

3. Disabilita sensoriali: per disabilita sensoriali si intendono principalmente idisturbi legati alla vista e all’udito. L’AT si e sviluppata molto in questo set-tore, con tecnologie molto evolute come gli audiolibri o gli orologi parlanti, esoftware di sintesi vocale, che convertono testi computerizzati in voce. Per isoggetti con problemi di vista e stato pensato l’utilizzo di grandi display digi-tali o tastiere con grandi tasti; esistono inoltre soluzioni software, detti displaymagnifer, che consentono di ingrandire parti di schermo in un numero esponen-ziale di volte. Per le persone sorde l’attenzione si sposta sulle notifiche visuali,ponendo ad esempio, in determinati punti della casa, segnali luminosi nel casoin cui qualcuno suonasse il campanello. Per le persone non completamente sordeinvece possono essere di grande aiuto amplificatori portatili e, negli ultimi annisono stati creati amplificatori wireless (dispositivi utili nei teatri oppure negliambienti scolastici).

Ci sono svariati modi per suddividere e categorizzare le varie disabilita e i vari tipidi Assistive Technology. La classificazione piu valida e quella fornita dalla specificaISO 9999:2007 (Standard Europeo EN 29999 e Standard Italiano UNI-ISO 9999) 2,che delinea le seguenti tipologie di Assistive Device:

• Ausili per trattamenti sanitari personali

• Ausili per l’esercizio di abilita

• Ortesi e protesi

• Ausili per la cura e la protezione personale

• Ausili per la cura della casa

• Mobilia e adattamenti per la casa o per altri ambienti

• Ausilio per comunicazioni, informazione e segnalazione

• Ausili per manovrare oggetti o dispositivi

• Adattamenti dell’ambiente, utensili e macchine

2http://www.iso.org/

http://www.iso.org/


• Ausili per le attivita di tempo libero

Dopo aver fornito una panoramica generale sulla definizione di “Assistive Techno-logy”, per lo scopo di questo elaborato e utile focalizzare l’attenzione sugli ausili cheinterpretano i gesti del corpo (Human Gesture Recognition) e da tale studio derivala scelta di utilizzare la tecnologia del Leap Motion.

2.1.2 La human gesture recognition

La Gesture Recognition [1] e una tecnologia che ha l’obiettivo di interpretare i gestiumani attraverso algoritmi matematici. I gesti possono essere originati da qualsia-si posizione o movimento del corpo, ma comunemente provengono dal volto o dallamano. Il riconoscimento dei gesti puo essere visto come un mezzo, utilizzato dai com-puter, per capire il linguaggio del corpo umano creando un “collegamento” maggioretra le macchine e gli esseri umani rispetto alle primitive interfacce utente testuali oanche alle GUI (graphical user interface), che limitavano ancora la maggior parte degliinput a tastiera e mouse. Il riconoscimento dei gesti consente all’uomo di interfacciarsicon la macchina e interagire in modo piu naturale, senza dispositivi meccanici.

L’utilizzo di interfacce pilotabili attraverso gesti della mano offrono i seguentivantaggi:

• una interazione piu naturale con la macchina: l’uso di comandi gestuali per in-teragire con sistemi computerizzati rende l’approccio con il sistema piu naturale,poiche il gesto e la naturale forma di comunicazione e apprendimento;

• una interazione piu potente ed efficace: i sistemi che percepiscono sia la posizio-ne della mano sia il movimento hanno un potere espressivo piu alto, infatti conun unico gesto identificano l’oggetto indicato e l’azione da eseguire su di esso;

• una interazione diretta: dal punto di vista cognitivo, la mano diventa il devicedi input senza bisogno di trasduttori intermedi. L’interazione uomo-macchinadiventa diretta semplicemente assegnando gli adeguati gesti.

Diversamente dai tradizionali metodi di interazione, che usano strumenti pilotatidalla mano (quali il mouse), l’utilizzo diretto delle gestualita della mano senza nessuntrasduttore intermedio fa assumere alla comunicazione uomo-macchina un aspettopressoche naturale, che sfruttando appieno le capacita gestuali dell’utente, puo ri-durre il tempo necessario per l’apprendimento. I sistemi che sfruttano questa nuovamodalita di interazione forniscono un prezioso strumento per le persone con capa-cita motorie limitate e permettono di sfruttare solo alcuni limitati movimenti perinteragire con la macchina.


I sopra elencati vantaggi trovano ormai largo impiego nella realta virtuale anchese ancora poco utilizzati nella vita reale per i costi delle tecnologie legate al riconosci-mento dei movimenti. Notevoli passi avanti sono stati fatti con l’introduzione dellaNintendo Wii, Microsoft Kinect e del Leap Motion Controller.

2.1.3 Gli ausili utilizzati presso il Centro disabili Sim-patia

La Cooperativa Sociale “Sim-patia” 3 nasce come piccola residenza per persone condisabilita motoria acquisita. Oggi e un centro all’avanguardia dotato di un polotecnologico, guidato dall’ingegnere Nicola Liboni, che si pone l’obiettivo di cercare direstituire autonomia e qualita di vita migliori alla persona diversamente-abile.

Gli ausili utilizzati sono molteplici: carrozine elettriche comandate con il soffio,con il mento, con un tutore che forma il calco esatto della mano (realizzato con unastampante 3D); ascensore domotico, utilizzo del Cyberlink per la scrittura a computer(dotato di una fascetta posta sulla fronte che “legge” il movimento intenzionale delsopracciglio piuttosto che della mandibola).

“Noi non inventiamo nuove tecnologie, ma scegliamo e combiniamo fra loro cosegia esistenti, standard, piegandole alle esigenze del singolo. E un lavoro da artigiano oforse da artista, comunque strategico, tant’e che ispirandoci al nostro ingegnere NicolaLiboni stiamo certificando in Europa la figura professionale del social technologyexpert” .

2.2 La Musicoterapia in ambito riabilitativo

Le applicazioni della Musicoterapia in campo clinico e terapeutico hanno raggiuntonel nostro Paese uno sviluppo notevole. La Musicoterapia e una disciplina comples-sa che pur attingendo dalla musicologia, dalla antropologia, dalla psicologia e dallapsichiatria, mantiene una sua specificita. Sono qui riportate alcune definizioni:

(1) “La Musicoterapia e una tecnica mediante la quale varie figure professionali,attive nel campo della educazione, della riabilitazione e della psicoterapia, facilita-no l’attuazione di progetti di integrazione spaziale, temporale e sociale dell’indivi-duo, attraverso strategie di armonizzazione della struttura funzionale dell’handicap,per mezzo dell’impiego del parametro musicale; tale armonizzazione viene perseguitacon un lavoro di sintonizzazioni affettive, le quali sono possibili e facilitate grazie astrategie specifiche della comunicazione non verbale”[2].

3http://sim-patia.it/simpatia.php

http://sim-patia.it/simpatia.php


(2) “La Musicoterapia e l’uso dei suoni e della musica nella relazione che si sviluppafra cliente e terapista per sostenere ed incoraggiare una buona conduzione fisica,mentale, sociale ed emotiva”[3].

(3) “Musicoterapia e un processo interazionale cosciente e progettato per influen-zare disturbi comportamentali, ritardi di sviluppo e stati di sofferenza bisognosi ditrattamento a giudizio e consenso, possibilmente del paziente, del terapeuta e delgruppo di riferimento, usando mezzi musicali e psicologici (attraverso l’espressione ela comunicazione) per lo piu averbali, ma anche verbali, diretto ad uno scopo definito(minimalizzazione di sintomi e/o modifica della struttura personale) tramite tecnichededucibili sulla base di una teoria del comportamento normale e patologico”[4].

(4) “La Musicoterapia e una psicoterapia che utilizza il suono, la musica e glistrumenti corporeo- sonoro- musicali per sviluppare, elaborare e analizzare un vincoloo una relazione fra musicoterapeuta e paziente (o gruppo di pazienti) con l’obiettivo dimigliorarne la qualita di vita e riabilitarlo e recuperarlo per l’inserimento sociale”[5].

Tutte queste definizioni sottolineano chiaramente le finalita terapeutiche della Mu-sicoterapia, specificandone l’utilizzo e le modalita di applicazione. La specificita dellaMusicoterapia, applicata ai quadri psicopatologici sopra elencati, e legata alla capacitadella musica di evocare affetti primari ed emozioni distinte proiettando, stimolando,armonizzando o trasformando lo stato del paziente ai fini del raggiungimento di li-velli di sviluppo piu maturi. La relazione specifica che ogni paziente instaura con ilfar musica puo rivelare dettagli importanti sulla sua emotivita e sui suoi problemi ecomportamenti.

Nella Musicoterapia in Medicina [6], il musicoterapeuta utilizza esperienze musica-li per fornire ai pazienti un supporto e sollievo immediato ai sintomi di una particolarepatologia oppure alle reazioni negative che una procedura medica puo conferire. Ciopuo essere realizzato con un intervento diretto o tramite l’adeguamento dell’ambientefisico o psicologico. La musica svolge un ruolo predominante, anche se la sua effi-cace applicazione dipende dall’esperienza del musicoterapista e dalla relazione che siinstaura tra il paziente e il terapeuta. Questa pratica e spesso una breve forma diterapia che include l’uso della musica per:

• ridurre l’ansia, lo stress e il disagio durante e subito dopo un trattamento;

• facilitare l’anestesia e il ripristino della coscienza;

• migliorare gli effetti dovuti ai dolori dei farmaci;

• agevolare il sonno e facilitare il rilassamento;


• assitere nel monitoraggio e nel controllo delle risposte fisiologiche a un tratta-mento;

• migliorare la qualita della vita, sopratutto nelle persone anziane.

La Musicoterapia trova conferma delle sue basi scientifiche nei numerosi studicompiuti negli ultimi decenni. E’ provato che il suono si pone come elemento fondantedello sviluppo del feto nella fase molto precoce di sviluppo. Il feto percepisce gli stimoliacustici gia a partire dal terzo/quarto mese di vita e reagisce ad essi verso il settimomese. Molto importante e la percezione della voce materna che, fin dai primi mesi dalconcepimento, costituisce il punto di contatto primario per un’adeguata interazionesonora col bambino, nelle sue qualita melodiche, timbriche e ritmiche. “L’aspettomelodico che accompagna l’intonazione della voce materna e una qualita sonora moltoimportante, che si aggiunge alle stimolazioni sonoro-musicali che il bambino cominciaa percepire in utero” [7].

Interessante e anche il contributo della psicoanalisi che ha chiarito il ruolo delsuono e della musica nello sviluppo dell’individuo, nonche le sue potenzialita tera-peutiche. Secondo vari studiosi il linguaggio musicale contiene elementi regressivi etrasformativi che possono facilitare alcuni processi mentali accompagnandoli nella lo-ro evoluzione e trasformazione. Fondamentali sono poi gli studi riguardanti gli effettifisiologici della musica: e dimostrato che la musica agendo sul sistema nervoso produ-ce reazioni di tipo muscolare, cardiaco, respiratorio, ormonale, con evidenti ricadutesul piano emozionale.

Basandosi sui principi della Evidence Based Medicine e possibile delineare criteridi analisi del processo musicoterapico su basi scientificamente accettabili:

• individuazione del problema e formulazione dell’ipotesi

• pianificazione del disegno di ricerca

• realizzazione dell’intervento terapeutico

• osservazione/valutazione

• raccolta ed elaborazione dei dati

• comunicazione dei risultati

Importante citare tra i numerosi studi italiani, Raglio che fornisce una spiega-zione sull’efficacia della musica nella riabilitazione neuromotoria. Raglio [8] affermache “una delle ragioni plausibili che concorre a determinare un possibile razionaledell’impiego del suono e della musica nella riabilitazione neuromotoria e data dall’op-portunita, attraverso l’impiego del mediatore sonoro, di stimolare alcune aree cerebrali


coinvolte nell’ attivazione/regolazione motoria ed emotiva”. Viene rilevato come l’a-zione della musica sulle aree frontali del cervello e le relative strutture neurali possacostituire uno degli elementi fondanti del suo utilizzo in ambito riabilitativo. L’Au-tore sostiene inoltre che ascoltare e fare musica provochino movimento e favoriscanola comunicazione e l’interazione fra soggetti determinando, per questo, meccanismigratificanti legati al piacere e alla condivisione. Molti studi hanno inoltre evidenziatocome il suono e la musica attivino le regioni fronto-temporo-parietali e in particolarele reti neurali che appartengono al sistema dei neuroni specchio. Tutto cio ha un’evi-dente ripercussione e incidenza sulla riabilitazione motoria attraverso l’utilizzo dell’elemento sonoro-musicale.

2.2.1 Tecnologie in Musicoterapia clinica

Gli sviluppi delle tecnologie elettroniche di assistenza consentono alle persone, congravi disabilita, di comunicare e controllare il loro “ambiente” utilizzando interfaccealternative di controllo. Questo ausilio tecnologico assume un valore immenso peril miglioramento della qualita della vita permettendo l’accesso al lavoro, la ricercadi attivita di svago e la comunicazione. Nonostante il crescente numero di progressitecnologici, l’accesso alla musica rimane una barriera per molte persone con disa-bilita fisiche che desiderano partecipare a perfomance musicali o composizioni. Laproduzione musicale nella Musicoterapia interessa gli strumenti acustici tradiziona-li (pianoforte e chitarra), ma tali strumenti non soddisfano le complesse esigenzedi persone con disabilita fisica grave. In seguito alla crescente consapevolezza del-le tecnologie elettroniche in questo ambito, rilevante e l’utilizzo del MIDI (MusicalInstrument Digital Interface) e la necessita di utilizzare interfacce di controllo alter-native come pulsanti e sensori. L’utilizzo di questi interruttori, che innescano i suonimusicali, permettono al paziente di utilizzare e suonare come se utilizzassero unostrumento tradizionale. Questa forma di “creativita” e significativa per il fine dellapartecipazione alla terapia.

Wendy Magee nel suo studio [9] sottopone un questionario a un vasto numero dimusicoterapisti interrogandoli proprio sull’impiego della tecnologia nella loro praticaclinica, illustrando le seguenti tecnologie elettroniche di applicazione utilizzate:

1. Soundbeam: letteralmente “Raggio di Suono” e un dispositivo che convertei movimenti fisici in suono (MIDI), utilizzando le informazioni provenienti dainterruttori di impulsi ultrasonori emessi da un sensore. Il suo funzionamento esimile a quello di un radar, poiche i suoi sensori proiettano nello spazio un fasciodi ultrasuoni che incontrando un ostacolo, rimbalzano indietro alla sorgente. Ein questo modo che i movimenti corporei compiuti all’interno del raggio, vengonointercettati e tradotti in segnali MIDI, a seconda della direzione e della velocitadell’oggetto in movimento.


2. Midicreator: e uno strumento in grado di trasformare movimenti di vario gene-re (fra cui percussioni, pressioni, movimenti di dita, mani e anche movimentidell’intero corpo) in singoli suoni o accordi oppure in intere scale di suoni oaccordi, utilizzando sensori.

3. Strumenti MIDI o elettronici: si intendono gli strumenti amplificati come lechitarre elettriche, le tastiere, i sintetizzatori e i dispositivi MIDI.

4. Software con speciali dispositivi di input

5. Software con dispositivi elettronici

6. Dispositivi di amplificazione

7. Dispositivi di registrazione

8. Dispositivi per terapia vibroacustica: la terapia vibroacustica e una tecnica incui una combinazione di due diversi suoni viene riprodotta al paziente tramiteuna Soundbed o una Soundchair.

2.3 Applicazioni per leap motion in ambito sani-

tario

Virtualware4 sta utilizzando la tecnologia Leap Motion per aiutare persone affette daIctus, Morbo di Parkinson, Autismo e tante altre patologie.

Un esempio e fornito dalla VirtualRehab Hands 5 , una piattaforma di gioco checonsente ai medici di monitorare i progressi dei pazienti da qualsiasi parte del mon-do. Utilizzando la tecnologia di tracciamento delle mani altamente reattiva del LeapMotion, sono stati creati giochi semplici per consentire il controllo totale al paziente.Secondo Virtualware il loro sistema e il primo software di riabilitazione virtuale daclassificare come dispositivo medico, in base alle direttive sui dispositivi medici del-l’UE. Il sistema e gia stato testato in Europa, America Latina e Medio Oriente. Inquesto momento e in uso presso l’Ospedale Nazionale di Neurologia e Neurochirurgiadi Queen Square a Londra. E’ prevista l’installazione in altri due ospedali di Lon-dra, dove verra utilizzato per la teleriabilitazione (trattamento a distanza) su pazientiaffetti da ictus.

“Vogliamo contribuire a rendere la teleriabilitazione una realta in tutto il mondo.Cio comporta una soluzione tecnologica veramente accessibile che rende la riabili-tazione della mano un’esperienza piu coinvolgente per le persone di tutte le eta in

4http://virtualwaregroup.com/5http://blog.leapmotion.com/changing-people-look-physical-therapy/

http://virtualwaregroup.com/

http://blog.leapmotion.com/changing-people-look-physical-therapy/


ambienti clinici cosı come a casa”, afferma David Fried, direttore dell’ InternationalBusiness Development della societa. Prosegue “Le persone che soffrono di disturbi emalattie neurologiche vengono cosı veramente motivate a migliorare le loro condizionicercando nuovi modi per farlo, a prescindere dalla loro eta”. In futuro Virtualwareprevede di aggiungere giochi terapeutici che possano essere accessibili a una grandevarieta di disturbi neurologici e fisici, progettati con neurologi e fisioterapisti. Oltre acio prevede anche l’espansione del sostegno a bambini con problemi fisici e di sviluppoe l’aggiunta di un modulo di valutazione per i terapisti.

Si uniscono le tecnologie TedCas e MotionSavvy nell’utilizzazione della tecnologiaLeap Motion per l’assistenza sanitaria.

MotionSavvy 6 e la prima tecnologia al mondo di traduzione in tempo reale checonverte il linguaggio dei segni in lingua parlata grammaticamente corretta.

TedCas 7 e una societa tecnologica che opera in ambito sanitario, che ha annuncia-to nel 2013 la sua integrazione con il Leap Motion Controller: il software, attraversomovimenti delle mani in aria, offre il controllo dei movimenti 3D ai medici, permet-tendo loro di interagire con le immagini in un ambiente sterile. L’integrazione diLeap Motion con TedCas e attualmente in fase di sperimentazione in sei ospedali edue centri di ricerca medica in tutto il mondo, comprese alcune strutture ospedalierein Spagna, Irlanda, Argentina, Cile, Canada e Stati Uniti. “TedCas permette ai chi-rurghi di utilizzare una naturale interfaccia utente per risparmiare tempo e avere uncontrollo preciso e un’interazione con le informazioni di cui hanno bisogno durantegli interventi - dove il tempo e l’efficienza possono avere un impatto sulla vita o sullamorte”, dice Jesus Perez-Llano, CEO e co-fondatore di TedCas.

“E’ un’applicazione critica per i chirurghi, e TedCas e entusiasta di integrare LeapMotion per portare un nuovo preciso livello di tecnologia di controllo del movimento insala operatoria”. Il Leap Motion permette agli utenti di interagire con i loro computerattraverso movimenti naturali delle mani e delle dita in aria, all’interno del suo campovisivo. Con precisione fino a 1/100th millimetri e senza latenza visibile, Leap Motionoffre un nuovo e potente metodo di interazione ad un prezzo accessibile. L’integrazionedi Leap Motion con TedCas permette ai chirurghi di utilizzare le proprie mani peringrandire un’immagine in un’area di interesse, ruotarla per ottenere un nuovo puntodi vista e inoltre poter scorrere le immagini, utilizzando sempre i loro guanti steriliper ridurre il rischio di infezione e migliorare l’efficienza.

6http://www.motionsavvy.com/7http://www.tedcas.com/en/node/1562

http://www.motionsavvy.com/

http://www.tedcas.com/en/node/1562

Capitolo 3

Tecnologia utilizzata

3.1 Il Leap Motion Controller: la panoramica

Il Leap Motion Controller 1 e una piccola periferica USB che e stata progettata peressere posta su una scrivania reale rivolta verso l’alto, per riconoscere e rintracciarele mani e le dita con elevata precisione. Il controller utilizza luce infrarossa e sensoriottici, diretti lungo l’asse y (ossia verso l’alto quando il controller e nella sua posizionedi funzionamento standard), per avere un campo visivo di circa 150 gradi. Il campoeffettivo del Leap Motion si estende da 25 a 600 mm circa.

Nasce nel 2012, da un progetto di David Holz e Michael Buckwald in Florida,con l’intento di cambiare radicalmente il modo con cui le persone interagiscono con ilcomputer senza l’utilizzo esclusivo di mouse e tastiera. Questo passo avanti ha deglievidenti vantaggi soprattutto in quegli ambiti dove non e piu sufficiente una interfaccia2D ma e indispensabile utilizzare lo spazio tridimensionale con gesti complessi. Puoriconoscere e seguire i movimenti di entrambe le mani e di tutte le dieci dita, oltre aun oggetto puntatore (ad esempio una matita), analizzando i frame campionati daisensori IR con una frequenza di almeno 50fps (frame per secondo).

3.1.1 Sistema di coordinate

Il Leap Motion si avvale di un sistema di coordinate cartesiane che si basa sulla regoladella mano destra. L’origine e centrata nella parte superiore del controller, mentregli assi X e Z giacciono nel piano orizzontale, con l’asse X parallelo al lato “lungo”del dispositivo. L’asse Y e posto in verticale con valori positivi che crescono versol’alto (in contrasto con l’orientamento verso il basso della maggior parte dei sistemi dicoordinate grafiche di computer). L’asse Z ha valori positivi crescenti verso l’utente.

Le API di Leap Motion misurano le grandezze fisiche con le seguenti unita:

1https://developer.leapmotion.com/

13

https://developer.leapmotion.com/

CAPITOLO 3. TECNOLOGIA UTILIZZATA 14

Figura 1: Vista delle tue mani dal Leap Motion Controller

Figura 2: Il sistema di coordinate destro del Leap Motion


Distanza millimetriTempo microsecondiVelocita millimetri/secondoAngolo radianti

3.1.2 I dati di tracciamento del movimento

Il controller, all’interno del suo campo visivo, tiene traccia delle mani e delle ditafornendo aggiornamenti come un set (o frame) dei dati. Ogni oggetto frame contieneil tracciamento delle mani, specificando le loro proprieta in un unico momento neltempo.

Il modello per la mano fornisce informazioni sull’identita, la posizione, e altrecaratteristiche sul movimento del braccio e delle dita. Le mani sono rappresentatedalla Classe Hand e i vettori PalmNormal e Direction ne definiscono l’orientamento.Il software Leap Motion utilizza un modello di una mano umana fornendo un moni-toraggio ottimale quando la sua sagoma e le cinque dita sono ben visibili, ma puoanche fornire un monitoraggio predittivo anche quando le parti di una mano sonopoco visibili. Puo visualizzare nel suo campo visivo piu di due mani (anche oggettiquali matite o bacchette), tuttavia e consigliabile mantenere al massimo due mani nelcampo di visualizzazione per ottimizzare la qualita del tracciatore di movimento.

Per quanto riguarda le braccia, un oggetto simile all’osso dato da Hand.armfornisce i punti di orientamento, la lunghezza, la larghezza e l’estremita di un braccio.

Infine il controller fornisce informazioni su ogni dito della mano. Le dita sonorappresentate dalla classe Finger, mentre i due vettori Finger tipPosition e Directionforniscono la posizione della punta di un dito e la direzione generale a cui punta ildito. Viene costruito un modello anatomico della mano, in cui tutte le dita contengonoquattro ossa ordinate dalla base alla punta:

• Metacarpal: l’osso all’interno della mano che collega il dito al polso, escluso ilpollice.

• Proximal phalange: l’osso alla base del dito collegato al palmo.

• Intermediate phalange: l’osso centrale del dito, tra la punta e la base.

• Distal phalange: l’ultimo osso alla fine del dito.

Questo modello non corrisponde del tutto al sistema di denominazione anatomicastandard: un vero e proprio pollice ha un osso in meno rispetto alle altre dita. Tut-tavia, per facilitare la programmazione, il modello del pollice Leap Motion includeun osso metacarpo a zero lunghezza in modo che il pollice abbia lo stesso numero diossa delle altre dita.


Figura 3: Modello anatomico di una mano.

Le mani sono l’entita principale tracciata dal controllore Leap Motion. Il controllermantiene il modello interno della mano umana e convalida i dati dai suoi sensori. Cioconsente al regolatore di tenere traccia delle posizioni delle dita anche quando undito e parzialmente visibile. E possibile perdere i movimenti o le modifiche dellaposizione quando un dito e posto dietro o direttamente davanti alla mano (dal puntodi vista del controller). In alcuni casi il software puo eseguire una corrispondenzaerrata, ad esempio identificando la mano destra come mano sinistra. Per il fine diquesto elaborato cio non rappresenta un problema in quanto non viene fatta distizionetra mano destra e sinistra, per permettere all’utente di poter decidere quale manoadoperare.

Una mano viene descritta dalla sua posizione, dall’orientamento, dalla postura edal movimento con le seguenti caratteristiche:

• isRight, isLeft - se si tratta di mano destra o sinistra.

• Palm Position - il centro del palmo misurato in millimetri dall’origine del LeapMotion.

• Palm Velocity - la velocita e la direzione del movimento del palmo in millimetrial secondo.

• Palm Normal - un vettore perpendicolare al piano formato dal palmo dellamano. Il vettore punta dal palmo verso il basso.


• Direction - un vettore che punta dal centro del palmo verso le dita.

• grabStrength, pinchStrength - descrizione della postura della mano.

• Motion factors - fornire la scala, la rotazione e i fattori di traslazione relativi almovimento tra due fotogrammi.

La posizione della mano e data dal suo attributo di posizione del palmo, che for-nisce un vettore contenente le coordinate tridimensionali (x, y e z) del punto espressoin millimetri in cui si trova il palmo dall’origine del Leap Motion. Questo e l’unicoparametro utilizzato per questa implementazione proprio per permettere, ad una per-sona con una mano compromessa da disturbo motorio, di muoversi liberamente senzache il movimento involontario degli altri arti diventi un problema durante l’utilizzodell’applicazione.

Oltre ai dati di tracciamento calcolati e possibile ottenere le immagini del sensoredalle telecamere Leap Motion. I dati immagine contengono i valori di luminosita IRmisurati e i dati di calibrazione necessari per correggere la distorsione complessivadell’obiettivo.

3.2 Sviluppo delle applicazioni

Il pacchetto Leap Motion SDK offre due varieta di API per ottenere i dati LeapMotion: un’interfaccia nativa e un’interfaccia WebSocket. Queste API consentono dicreare applicazioni abilitate al controller in piu linguaggi di programmazione, tra cuiJavaScript che viene eseguito in un ambiente di browser.

Il supporto Javascript di Leap Motion ha due componenti principali:

• Il server WebSocket: fornito dal servizio Leap Motion, consente la creazione diapplicazioni Web (o qualsiasi applicazione che possa connettersi a un WebSoc-ket), dando la possibilita di accedere ai dati di tracciamento del controller sottoforma di messaggi formattati in JSON.

• La libreria dei client JavaScript (Leap.js): e un’API JavaScript open source chestabilisce la connesione al server e consuma l’output JSON WebSocket (ossia imessaggi JSON), presentando i dati di monitoraggio come oggetti JavaScript“normali” in un formato coerente con la filosofia e la struttura del codice APILeap Motion.

Questa interfaccia WebSocket e destinata principalmente alle applicazioni Web,ma puo essere utilizzata da qualsiasi applicazione che possa stabilire una connes-sione WebSocket. Tutti i file di libreria, codice e intestazione necessari per lo svi-luppo di applicazioni e plugin abilitati al controller sono inclusi nel Leap Motion


SDK, ad eccezione della libreria JavaScript di client leap.js, che viene distribuitaseparatamente.

3.3 API di riferimento

Il riferimento Api 2 fornisce i dettagli su tutte le classi che compongono l’Api LeapMotion. All’interno delle Api si utilizza il nome globale Leap (salto), che contiene laseguente funzione: Leap.loop(options, callback).

La funzione loop() imposta la connessione con il Leap Controller e la WebSocket,invocando la specifica funzione di callback in un intervallo di aggiornamento regolare.Per impostazione predefinita la funzione di chiamata viene richiamata in un inter-vallo determinato dal browser client (in genere su un intervallo di 60 fotogrammi alsecondo). Vengono passati alla funzione di chiamata i frame di dati Leap piu recenti.Se il Leap sta producendo frame a una velocita piu bassa rispetto alla velocita delframe del browser, lo stesso frame di dati Leap puo essere passato alla funzione inaggiornamenti di animazione successivi.

In alternativa e possibile creare il proprio oggetto Controller() per controllare iframe nel momento in cui si e pronti per elaborarli o impostare lo stesso loop dichiamata.

2https://developer.leapmotion.com/documentation/javascript/api/Leap_Classes.html

https://developer.leapmotion.com/documentation/javascript/api/Leap_Classes.html


Figura 4: Visualizer che mostra le immagini del sensore dalle telecamere Leap Motion.

Capitolo 4

Caso di studio

E importante per il fine dell’elaborato illustrare il punto di partenza che ha resopossibile la realizzazione di questo lavoro, basato su osservazioni e test effettuati sullepersone ospitate presso il centro Sim-patia. Tali test sono stati svolti durante le sedutedi Musicoterapia alle quali si e assistito.

4.1 Le sedute di Musicoterapia al centro Sim-patia

Le sedute di Musicoterapia al centro Sim-patia sono tenute dal musicista e musicote-rapeuta Antonio Elia, che ha formato tre gruppi per rendere l’attivita piu adatta allediverse esigenze della persona: il primo gruppo e formato da adulti affetti da disabilitacognitive e motorie (come la sindrome di down e l’autismo), il secondo e il gruppo deigiovani, ragazzi fino ai 25 anni affetti da disabilita motorie gravi e cognitive. Il terzogruppo e riservato alle persone residenti al Sim-patia, mentre i pazienti dei primi duegruppi si recano al centro solamente per frequentare alcune attivita.

Ogni seduta dura circa un’ora ed e necessario che non venga interrotta percheper i partecipanti e un momento di forte concentrazione non facile da raggiungere.Una volta attirata l’attenzione di tutti ci si dispone in cerchio e si comincia con lacanzone di apertura scritta e registrata dai ragazzi con l’aiuto del musicoterapeuta. Aquesto punto, creatosi il giusto clima, inizia la fase della creazione e dell’esperimentomusicale, nella quale ogni persona si sperimenta e comunica con gli altri attraverso illinguaggio musicale.

20

CAPITOLO 4. CASO DI STUDIO 21

Figura 5: Una seduta di Musicoterapia al Sim-patia.

4.2 La musica come pratica educativa e terapeuti-

ca

Per meglio comprendere il lavoro svolto dal musicoterapeuta durante le sedute, enecessario fornire una panoramica sulla funzione didattica (educativa o terapeutica)che la musica apporta in questo ambito.

Le pratiche didattiche sono quelle incentrate sull’aiutare la persona nell’acqui-sizione di comportamenti e competenze necessarie per vivere una vita funzionale eindipentendente che si adatti alla societa. L’apprendimento e lo sviluppo rappresenta-no infatti il punto iniziale del processo terapeutico. Cio include tutte le applicazionidi terapia musicale in aule e studi privati, ma anche in altri ambienti (ospedali ostrutture psichiatriche, case di cura) dove i principali obiettivi del programma sonoessenzialmente educativi o di sviluppo. Gli utenti che piu hanno bisogno della terapiamusicale didattica sono persone con qualsiasi tipo di disabilita o problemi di svilup-po (intellettuale, sensoriale, fisico, emotivo, interpersonale, sociale) o individui conproblemi di apprendimento che vanno ad interferire con il progresso intellettuale.

E’ importante specificare la distinzione della funzione della musica come praticaeducativa e come pratica terapeutica [6]. I termini educazione/istruzione e terapiasono simili in quanto entrambi aiutano la persona ad acquisire le conoscenze e le pro-prie abilita, ma gli obiettivi sono diversi: nell’istruzione l’acquisizione di conoscenzee primaria, mentre nella terapia e solo un mezzo per raggiungere un certo aspetto che

CAPITOLO 4. CASO DI STUDIO 22

migliori la salute dell’individuo. Pertanto l’istruzione si concentra sull’acquisizionedi conoscenze e abilita per proprio bene e beneficio, mentre la terapia funziona peraffrontare i disagi educativi o i problemi di apprendimento che incidono direttamentesulla salute o sul benessere della persona.

Un’altra distinzione da fare e tra la terapia e quella che K. Bruscia definisce “self-improvement”[6], letteralmente “auto-miglioramento” ossia la crescita dello sviluppopersonale. Nella Musicoterapia come pratica terapeutica, il fine e sempre legato allasalute della persona che ne beneficia e la terapia include sempre un intervento basatosul rapporto tra paziente e terapeuta. Nel “self-improvement” non e necessaria lapresenza di un terapeuta.

4.3 Idea di progetto per la seduta

L’idea di progetto iniziale pensata con il Dott. Elia era, in primo luogo, la realizza-zione di uno strumento che permettesse di creare dei suoni adattandosi alle difficoltamotorie di ciascuna persona. Un ulteriore problema era il fatto che molte personepresenti nella seduta fossero affette da disturbi del linguaggio e della parola, e dunquerisultava difficile per loro riuscire ad integrarsi nell’attivita musicale che spesso com-prendeva l’utilizzo della voce per il canto e l’utilizzo delle mani per suonare strumentitradizionali semplici (come il tamburo, il triangolo, lo xilofono, le maracas).

Da qui l’idea di fornire uno strumento che, attraverso il movimento delle mani,consentisse di produrre un suono per alcuni impossibile da riprodurre con la voce ocon lo strumento, a causa dei molteplici limiti psicomotori. Si e pensata un’imple-mentazione dello strumento in direzione verticale perche il movimento risultava piusemplice per gli utenti, ma soprattutto per creare una novita rispetto allo strumentomusicale classico, il pianoforte. Viene cosı integrato un concetto “corporeo” per faremusica che segue la direzione del corpo, dalla nota piu bassa, a partire dal ventre,fino ad arrivare alla nota piu alta, in testa. E possibile utilizzare sia la mano destrasia la sinistra per non vincolare l’utente a utilizzare una piuttosto che l’altra.

Capitolo 5

L’applicativo realizzato

5.1 Introduzione a LeapJS

LeapJS funziona collegandosi a un server WebSocket che viene eseguito localmenteattraverso il servizio del Leap Motion. Ogni 10 ms, il servizio invia un frame alWebSocket e alla pagina aperta. Questo frame e un insieme di dati JSON (JavaScriptObject Notation) con incluse le posizioni delle mani e delle dita.

Il browser ripristina la pagina solo ogni 16 ms al massimo e pertanto questi device-Frames non vengono direttamente utilizzati. Il controller LeapJS genera invece framedi animazione basato sul “ciclo di animazione” (“Animation loop”) del browser.

Il modo piu semplice per accedere ai dati del fotogramma e tramite il Leap Loop:

<div id=output></div><s c r i p t >var output = document . getElementById ( ’ output ’ ) ;

Leap . loop ( func t i on ( frame ) {output . innerHTML = ’Frame : ’ + frame . id ;

} ) ;</s c r i p t >

Come gia menzionato nel terzo Capitolo, la funzione loop() imposta la connessionecon il Leap controller e la WebSocket e invoca la funzione di callback specificata inun intervallo di aggiornamento regolare. Non e necessario creare il proprio controllerquando si utilizza questo metodo.

Ogni frame contiene molti oggetti, questa e la struttura di base:

LeapFrame = {hands : [{

23

CAPITOLO 5. L’APPLICATIVO REALIZZATO 24

palmPosit ion : [ x , y , z ]palmNormal : [ x , y , z ]d i r e c t i o n : [ x , y , z ]r o l l ( )p i t ch ( )yaw ( )pinchStrength : 0−1grabStrength : 0−1f i n g e r s : [

{t i p P o s i t i o n : [ x , y , z ]d i r e c t i o n : [ x , y , z ]bones : [

{prevJo int : [ x , y , z ]nextJo int : [ x , y , z ]l ength : mmwidth : mmcente r ( )matrix ( )}

]}]

} ]}

5.2 Funzionalita

L’applicazione Web permette agli utenti di suonare una sorta di strumento “virtuale”con un movimento della mano dal basso verso l’alto e viceversa composto da n note ascelta, che e possibile selezionare all’apertura della pagina assieme ad altri parametriillustrati nel paragrafo sottostante.

5.2.1 Selezione dei parametri e delle note

All’apertura dell’applicativo e visibile la finestra con l’impostazione dei parametriiniziali:

• Start : definisce la distanza in millimetri dalla finestra del dispositivo da dove sivuole cominciare a suonare. Dalle opzioni e possibile selezionare uno dei quattro


valori 25, 50, 80 e 100 in millimetri, stabiliti sulla base dello spazio disponibileche si estende a partire da circa 25 a 600 mm dal controller. Questo parametroe significativo per tutte le persone che hanno difficolta nel piegare il polso o ilbraccio; inserendo questa possibilita sara il dispositivo ad adeguarsi alla lorocomodita.

• End : determina la distanza massima in millimetri che va ad impostare lo spaziocomplessivo del movimento che riprodurra il suono; questo parametro permettedi ampliare o restringere l’intervallo in cui l’utente puo muovere la mano. I valoripresenti nelle opzioni partono da 200 perche un valore piu piccolo restringebbeeccessivamente il campo di movimento.

• Timbro: permette di scegliere il suono del pianoforte oppure il suono vocale. Lascelta di inserire un suono vocale e significativa per gli utenti con difficolta nellinguaggio e nell’emissione di suoni, per permettere loro di integrarsi nell’attivitamusicale che spesso comprendeva l’utilizzo della voce.

• Note/Aggiungi nota: consente di aggiungere le n note a scelta, da una a otto,che l’utente decide di voler selezionare. Per suonare otto note, che sono ilmassimo consentito per dare la possibilita di riprodurre un’ottava, e consigliatoimpostare uno Start abbastanza piccolo e impostare End a 600 millimetri peravere spazio sufficiente per muoversi nel campo di visibilita del controller senzasovrapporre la riproduzione delle note.

Il parametro “Aggiungi nota” e gestito dalla seguente funzione in Javascript [10]:

var countNote = 0 ;$(”#addNote ” ) . c l i c k ( func t i on ( e ){var s e l e c t =‘<div><l abe l>Nota</l abe l><s e l e c t c l a s s=”form−c o n t r o l ” id=”audio $ {countNote}”><opt ion value=”A. wav”>La</option><opt ion value=”B. wav”>Si</option><opt ion value=”C. wav”>Do</option><opt ion value=”D. wav”>Re</option><opt ion value=”E. wav”>Mi</option><opt ion value=”F . wav”>Fa</option><opt ion value=”G. wav”>Sol</option></s e l e c t ><button c l a s s=”d e l e t e”>Elimina</button></div></div >‘

i f ( countNote < 8 ){$(”#noteItems ” ) . append ( s e l e c t ) ;


countNote++;} e l s e

a l e r t (”Non puoi i n s e r i r e piu ’ d i 8 note ! ” ) ;} ) ;

Cio che e contenuto nella variabile select e una “template string”, ossia una strin-ga letterale che consente espressioni incorporate, racchiuse dal carattere backtick,che vengono poi passate alla funzione. Successivamente e possibile eliminare le noteaggiunte erroneamente dall’utente, con il sottostante pulsante “Elimina”.

Terminata la scelta dei parametri, l’utente puo cliccare su “Inizia” per cominciarea suonare. Al click di questo pulsante, la funzione imposta i valori, nasconde ilpop-up e stabilisce la connessione con il controller. I file audio corrispondenti allenote selezionate vengono recuperati con il metodo .children([selector]) che consentedi cercare i “figli” di questi elementi nell’albero DOM e di costruire un nuovo oggettojQuery dagli elementi di corrispondenza:

$ (” s e l e c t [ id ˆ=’ audio ’ ] ” ) . c h i l d r e n ( ’ opt ion : s e l e c t e d ’ ). each ( func t i on ( ){

var $ t h i s = $ ( t h i s ) ;var va lue = ”#c l a s ” + indx ;$ ( va lue ) . html ( $ t h i s . t ex t ( ) ) ;

indx−−;pathsNotes . push ({ t ex t : $ t h i s . t ex t ( ) , va lue : $ t h i s . va l ( ) } ) ;

} ) ;

5.2.2 Le funzioni principali in Javascript

Il cuore dell’applicazione e descritto nelle seguenti funzioni principali:

f unc t i on setAudioAndRetunrFunction ( path ) {var audioElms = document . createElement ( ’ audio ’ ) ;audioElms . s e t A t t r i b u t e ( ’ s rc ’ , RESOURCE PATH + path ) ;r e turn audioElms ;

} ;

f unc t i on generateNotes ( s ta r t , inc , pathsNotes ) {var array = [ ] ;var l en = pathsNotes . l ength ;var inc = (max − s t a r t )/ l en ;f o r ( var idx = 0 ; idx < l en ; idx++){


array . push ({s t a r t : s t a r t ,end : s t a r t + inc ,note : setAudioAndRetunrFunction( pathsNotes [ idx ] . va lue )} ) ;

s t a r t += inc ;}

r e turn array ;} ;

f unc t i on playNote (y , notesGen ) {var r e s u l t = notesGen . f i n d ( func t i on ( note ) {

r e turn y > note . s t a r t && y < note . end ;} ) ;i f ( r e s u l t != n u l l )

r e s u l t . note . play ( ) ;} ;

Infine viene stabilita la connessione con il Leap Motion controller, che rileva i datidi tracciamento della posizione del palmo della mano, seguendo ogni suo spostamentosull’asse Y:

func t i on l e a p S t a r t ( ) {$( ’#myBtn ’ ) . h ide ( ) ;Leap . loop ( func t i on ( frame ) {

frame . hands . forEach ( func t i on ( hand , idx ) {var palmY = hand . palmPosit ion [ 1 ] ;playNote (palmY , notes tGenerates ) ;

} ) ;} ) ;

} ;

5.3 Interfaccia grafica

L’interfaccia grafica e stata implementata con HTML5 e CSS. La pagina viene suddi-visa dinamicamente in fasce colorate tante quante sono le note selezionate dall’utente,per dare un riferimento visivo di cio che verra riprodotto con il movimento.


Figura 6: La pagina di benvenuto con l’impostazione dei parametri.


Figura 7: Un esempio di suddivisione con tre note.

Figura 8: Un esempio di suddivisione con sei note.


5.4 Risultati dei test

UTENTE SESSO PATOLOGIA PARAMETRI RISULTATI

1)C Maschio Disabilitàmotoriaconparalisidegliartiinferioricondifficoltàdimovimentodeimuscolidellamano(inparticolaredelledita).

Start=50mmEnd=600mmNote=6

Complessivamentemoltopositivo.Interazioneimmediataconildispositivo.L’utenteèpartitodatrenotearrivandoaseiinduesedutesoltanto,dimostrandocreativitànellariproduzionemusicale.

2)J Femmina Disabilitàintellettivamedio-lieveconparalisicerebraleinfantileeformaditetraparesispasticabilaterale.


Ilrisultatoèstatomoltobuonononostanteimuscolidellamanofosserofortementecompromessi,èriuscitaariprodurretrenotesenzadifficoltàfinoa30cm.

3)MR Maschio Disabilitàmotoriaconparalisitotaledegliartiinferiorieparzialedegliartisuperiori.


RisultatoOttimo.L’utenteèriuscitoainteragireconildispositivonellamanierapiùcorrettamuovendosiconmovimentimoltolentiecontrollatisututtolospaziodisponibile.Hadimostratoorecchiomusicaleecreativitànellariproduzione.

4)MA Maschio DisabilitàIntellettiva. Start=25mmEnd=500mmNote=6

L’utentenonpresentavadisturbimotorimacognitivi;illavoroèconsistitonell’aiutarloasvilupparenotemusicalidiverseenonripetitive,graziealLeapMotioncheattiravaparticolarmentelasuaattenzione.Partendodaduenoteèriuscitoariprodurnecomplessivamentesei.

5)RE Maschio Tetraplegiainesitidatraumadastrada.


Risultatocomplessivamentepositivo.Inizialmentel’utentesuonavaspostandosiinobliquoenoninverticale,rischiandodiusciredalcampodivisibilitàselospostamentoeratroppoampio.Ilmovimentoobliquo,secontrollato,nonrappresentavaunproblemapoichésonoconsideratisoltantoglispostamentisull’asseY.

6)RO Maschio Emorragiacerebraledatraumacranicoconfratturadelfemore.Regolaremovimentodegliartisuperiori.


Risultatomoltobuono.L’utentesièspostatoinmodoconsapevoleinteragendopositivamenteconildispositivoeconunpo’ditimidezzahaconclusol’esperimentomusicaleinmodocorretto.

Figura 9: Tabella dei risultati.

Capitolo 6

Conclusioni e sviluppi futuri

6.1 Conclusioni

Da un’attenta osservazione degli esiti sui test effettuati, e possibile affermare chel’applicativo proposto risulta efficace come strumento musicale sostitutivo in grado diadattarsi al deficit motorio degli utenti che lo utilizzano. I parametri hanno permessoa ogni utente di poter stabilire agevolmente lo spazio di riproduzione dei suoni.

Per tutti gli utenti con disabilita cognitiva, l’applicativo e stato un mezzo distimolazione della creativita per il raggiungimento di un risultato che ha coinvoltonon solo la motricita ma anche la sfera psico-sociale. Gli unici utenti esclusi daquesto esperimento sono stati i ragazzi autistici poiche risultavano apparentementespaventati dal dispositivo e si e deciso di non sottoporli alla prova.

Come si puo vedere dalla tabella dei risultati illustrata nel Capitolo cinque, ilrisultato complessivo e stato decisamente soddisfacente.

6.2 Sviluppi futuri

In vista di un utilizzo concreto in ambito futuro, e auspicabile che l’applicativo pro-posto possa dare la possibilita di effettuare una ricalibrazione automatica dello stru-mento: la taratura non sarebbe piu parametrica, e l’utente potrebbe effettuare soprail controller il movimento minimo e massimo che gli e consentito con la mano. Questorichiede una connessione con il Leap Motion prima del setting dei parametri riguar-danti la scelta note. Un’altra aggiunta utile potrebbe essere la profilazione degli utentigestita con un database, cosı da salvare le impostazioni predefinite per ogni utente.

Inoltre, e desiderabile un maggior numero di timbri da scegliere, eventualmentepermettendo all’utente di poter integrare una libreria di suoni, tra cui un suono di

31

CAPITOLO 6. CONCLUSIONI E SVILUPPI FUTURI 32

chitarra elettrica e un suono con l’aggiunta di un tremolo per consentire la variazioneperiodica dell’ampiezza.

Infine, per avere una risposta visiva sullo schermo, si potrebbe utilizzare un APIdifferente attraverso Three.js, libreria Javascript utilizzata per creare e visualizzaregrafica animata in 3D nel browser web, e attraverso i plugin di LeapJS.

Ringraziamenti

Ringrazio tutti coloro che mi hanno supportato in questi anni di esperienza universi-taria. Innanzitutto ringrazio i miei genitori, per la loro presenza e il loro sostegno, peravermi donato la possibilita di studiare sapendo aspettare i miei tempi, e per avermiinsegnato ad essere umile e rispettosa, valori grazie ai quali sono diventata la personache sono oggi. Grazie a mio fratello Mario, per aver creduto in me anche quandopensavo di non farcela. Grazie alla mia famiglia “allargata”, ai miei numerosi zii, aimiei cugini che vivono lontano, grazie anche a Giorgio e grazie a Daniela per avermisostenuto in questi ultimi mesi di stesura della tesi. Un grazie infinito alle amiche disempre, Alice, Vanessa, Giulia, Silvia, Susanna, Chiara, Erika, Flavia, Martina peravermi incoraggiato, ascoltato, consolato e per essere riuscite sempre a placare tutti imiei timori. Grazie a Francesco per essermi stato vicino nei momenti piu critici e peravermi insegnato che la difficolta non esiste quando si vuole raggiungere un obiettivo.Ancora grazie alle amicizie di questi anni universitari, a Giorgio, a Fulvio, a Simonee grazie al mio grande amico Marco. Grazie anche alla mia insegnante di Canto,Roberta, per le sue “terapeutiche” lezioni, e alle compagne Arianna e Aurora con cuile ho condivise.

Grazie ai Professori del Laboratorio di Informatica Musicale, per la costante di-sponibilita e pazienza nel dare consigli e nel risolvere tutti i dubbi. Un ringraziamentospeciale al centro Sim-patia di Valmorea, a Nicola e Antonio, per avermi permesso diconoscere un posto bellissimo dove le persone sfortunate trovano un senso alla lorovita grazie al duro lavoro di tutto il personale e alle attivita che svolgono ogni giorno.Grazie alla Musica che permette di fare cose straordinarie e che mi ha accompagnatadurante la stesura della tesi, assieme al mio gatto che ora mi guarda da lassu.

Un grazie di cuore a tutti.

33

Bibliografia

[1] Ying Wu and Thomas S. Huang. Vision-based gesture recognition: A review.1999.

[2] Borghesi M. Postacchini P.L., Ricciotti A. Lineamenti di musicoterapia. LasNuova Italia Scientifica, Roma, 1997.

[3] Bunt L. Musicoterapia, un’arte oltre le parole. Ed. Kappa, Roma, 1998.

[4] Oberegelsbacher D. Wirkung von Gruppen-Musiktherapie auf soziale Fahigkeitenbei Frauen mit geistiger Behinderung, Tesi di dottorato di ricerca in Psicologia.Universita di Vienna, 1993.

[5] Benezon R. Manuale di Musicoterapia. Phoenix, Roma, 1997.

[6] Kenneth E. Bruscia. Defining Music Therapy, Third Edition. BarcelonaPublishers, 2014.

[7] Zorillo A. e Pallavicino. Nascere in musica. Borla, Roma, 2002.

[8] Raglio A. Musicoterapia e scientificita: dalla clinica alla ricerca. Franco Angeli,Milano, 2008.

[9] Wendy L. Magee. Electronic technologies in clinical music therapy: A survey ofpractice and attitudes. Technology and Disability, 18(3):139–146, 2006.

[10] Haverbeke David. Javascript: guida completa per lo sviluppatore. Hoepli, 2016.

34

UNIVERSITA DEGLI STUDI DI MILANO · Durante la fase di lavoro sono stati compiuti test sulle...

Documents

Transcript of UNIVERSITA DEGLI STUDI DI MILANO · Durante la fase di lavoro sono stati compiuti test sulle...