+

Corso di laurea inInterfacce e tecnologie della comunicazione

Sviluppo di un sistema di monitoraggio dell’attenzione tramite l’uso di sensori

RelatoreOrnella Mich

CorrelatoreNadia Mana

LaureandoNicola Bianchi

Anno Accademico 2011/2012

+Sommario

1. Progetto CAT

2. Lavori precedenti

3. Modifiche audio-visive al software

4. Integrazione di un tracker

5. Test

6. Conclusioni e sviluppi futuri

+1. Progetto CAT

L’obiettivo finale del progetto CAT consiste nella creazione di un software che, mediante l’uso di sensori, riesca a rilevare i cali di attenzione durante l’utilizzo di un software didattico e di riportarla su un compito mediante opportuni stimoli.

Obiettivi

+1. Progetto CAT

L’attenzione è un processo cognitivo che permette la selezione di alcuni stimoli ambientali a discapito di altri. Selettiva Divisa Sostenuta

Misurazione dell’attenzione tramite Test psicologici Sensori

L’attenzione

+2. Lavori precedenti

Aiutare i bambini da 8 a 12 anni a controllare le proprie capacità attentive.

Composto da una serie di esercizi di allenamento, divisi in più aree, e un test finale di verifica.

Le 5 aree: Vigilanza Inibizione Memoria di lavoro Interferenza Flessibilità

Presentazione del software Erickson

+2. Lavori precedenti

Scelta degli esercizi

Creazione del software con Adobe Director 11.5 Trial

Creazione di un Log File che riporta il tempo e ogni pulsante premuto dall’ utente

Modifica di alcuni esercizi aggiungendo animazioni

Rimozione della ritenzione della risposta alla presentazione di uno stimolo non target

Entrambe le fasi sono state verificate in uno studio pilota con 4 bambini

+3. Modifiche audio-visive al software

Rimozione delle animazioni da alcuni esercizi per non modificare il carico cognitivo.

Randomizzazione di alcuni stimoli in modo da ottenere dalla sperimentazione dati precisi.

Re-inserimento della ritenzione della risposta allo stimolo non target.

Aggiunta della possibilità di ascoltare gli stimoli uditivi prima della presentazione dell’esercizio.

Modifiche agli esercizi

+3.Modifiche audio-visive al software

Per fornire un’interazione più chiara e delle istruzioni più complete agli esercizi sono state re-incise le tracce audio.

Rimozione della spiegazione di funzionalità non utilizzate nel prototipo.

Modifica del nome dei pulsanti da premere, per dare un nesso maggiore con stimolo che rappresentano.

Montaggio audio utilizzando Audacity per mantenere la durate delle registrazioni uguali alla versione originale

Re-incisione delle tracce audio

+4. Integrazione di un tracker

Analisi della direzione dello sguardo tramite eye-tracker (Sideny, 2005)

Analisi della postura tramite sensori di pressione posizionati sulla seduta e sullo schienale (Mutlu, 2007)

Tracker facciale per misurare i movimenti del volto (Joho, 2011)

Sensori per il rilevamento di battito cardiaco e livello di ossigeno nel sangue (Hsu, 2012)

Studio della letteratura

+4. Integrazione di un tracker

È un software, originariamente sviluppato da FBK, per misurare il coinvolgimeto dell’ utente durante l’utilizzo del computer.(Cappelletti et al, 2012)

Il software costruisce un modello del viso rilevato dalla webcam al quale applica 12 vettori di movimento.

La misurazione dei movimenti avviene tramite il calcolo dello scostamento dei 12 vettori dal modello iniziale e sono riportate in un Log File testuale.

Presentazione di EngagementTracker

+4. Integrazione di un tracker

Installazione del software sul Pc

Calibrazione della webcam

Sincronizzazione di accensione con il prototipo

Output finale del sistema Log File elaborato dal prototipo software Log file riportante le grandezze dei 12 vettori Annotazioni sulle registrazioni del volto

Collegamento con il prototipo

+5. Test

Funzionamento dei software e di eventuali conflitti Strumentazione Regolazione della sedia e inclinazione dello schermo Struttura di sostegno per la fotocamera esterna Ambiente in cui si svolgerà la sperimentazione Parete senza ombre dietro l’utente per facilitare il

riconoscimento del volto. Illuminiazione adeguata per non affaticare l’utente Analisi dei dati raccolti Grandezza dei video troppo elevata, sia per l’analisi che per

l’archiviazione. Mancanza dei codec per i video registrato con Iphone, è stato

necessario procurare un’altra fotocamera

Verifica del sistema

+6. Conclusioni e sviluppi futuri

Questa tesi ha contribuito al progetto CAT nei seguenti punti

Conclusione del prototipo grazie all’implementazione di ulteriori modifiche audio-visive

Integrazione di un tracker per il rilevamento facciale

Esecuzione di uno studio pilota per verificare l’effettiva efficacia ed efficienza del sistema

+6. Conclusioni e sviluppi futuri

Sensori di pressione per il rilevamento della postura

Microfoni per l’analisi della voce con Praat

Biofeedback per il monitoraggio del battito cardiaco e il livello d’ossigenazione nel sangue

Pro

Accelerometro per poter monitorare i movimenti riflessi della mano

Maggior portabilità dell’intero sistema

Contro

Difficoltà a mantenere il volto inquadrato nel tracker

Nuovi sensori Migrazione da PC a tablet

+

Grazie dell’ attenzione