Il progetto Myself:

una ricerca su una futura

frontiera dell’eLearning

Myself Project Overview

il Consorzio Myself

gli obiettivi del progetto

Esempio del prototipo di Myself:

Simulazioni con Automatic Coaching e Virtual Tutor

Ambiente collaborativo

Riconoscimento vocale (interfaccia grafica multimodale)

Affective computing

Funzionalità per il mobile learning

Ag

en

da

Myself è l’acronimo di “Multimodal eLearning System based

on Simulations, Role Playing, Automatic coaching and Voice

recognition interaction for affective Profiling”

Si tratta di un progetto finanziato dalla Commissione

Europea nell’ambito del Sesto Programma Quadro (first call)

È un progetto Craft project- Cooperative research Project –

che riunisce aziende e enti di ricerca provenienti da sei

Paesi europei (italia, Spagna, Romania, Svizzera, Polonia e

Paesi Bassi)

Il progetto è iniziato nel Settembre 2004 e finirà a Dicembre

2006.

Overvie

w

Overvie

w –

Il

Co

nso

rzio

Overvie

w

Il progetto MYSELF vuole enfatizzare l’uso dell’apprendimento

esperienziale sviluppando una piattaforma multimodale basata su:

riconoscimento vocale

role playing via web

apprendimento collaborativo.

L’obiettivo principale è arricchire le metodologie basate su

simulazioni e affective computing che vengono tradizionalmente

impiegate nelle aule con modalità di riconoscimento delle

emozioni del partecipante attraverso percorsi didattici strutturati

su modelli online.

I target del progetto sono due:

Social (ambito medico, disabili)

Profit (ambito bancario, economia)

Ob

iett

ivi

del

prog

ett

o

All’interno del progetto verranno sviluppati due Target Profile con l’obiettivo di trasferire competenze relative alla comunicazione.

L’innovazione del prodotto si basa su alcuni elementi scientifici, metodologici e tecnici: Affective Computing, gestione delle emozioni e dell’apprendimento (riconoscimento delle stato emozionale) Apprendimento collaborativo, role playing e Agenti di supporto alla formazioneMetodologia cognitivaRiconoscimento vocale

Gli obiettivi sociali sono legati a:1.migliorare le capacità comunicative, quindi migliorare anche le capacità del partecipante nella gestione delle proprie azioni. In particolare, Myself è indirizzato al miglioramento della propria percezione e della propria capacità di apprendere. 2.favorire il dialogo interculturale, soprattutto in relazione all’ambito medico

Ob

iett

ivi

del

prog

ett

o

Questi sono i principali moduli SW che compongono la

piattaforma di MYSELF.

Da un punto di vista strutturale, l’innovatività della

piattaforma è data dall’alto grado di integrazione di diverse

tecnologie:

1.SW .Net Microsoft,

2.Elementi di Adobe Flash Components

3.Protocollo Internet per Web e VOIP (Voice Over IP)

4.Integrazione di moduli per il riconoscimento vocale

Tecn

olo

gia

Multimodalità: il prototipo della piattaforma è gestibile da

comandi vocali

1.L’integrazione fra il motore di SDC-Voice e la

piattaforma Myself consente l’utilizzo di comandi vocali

via voice e via internet. La piattaforma può essere usata

anche da disabili.

2.I comandi vocali permettono di interagire direttamente

con gli oggetti grafici presenti nelle simulazioni: ad

esempio, i partecipanti possono, attraverso al voce,

attivare e richiamare il tutor virtuale oppure operare una

scelta durante la simulazione.

Multim

odalità

Il Meccanismo di Coaching Automatico e l’Affective Module sono il vero

cuore della piattaforma di Myself, questo perché sono due elementi in

grado di supportare e gestire l’interazione fra Uomo e Macchina,

rappresentata dal Virtual Tutor che accompagna il partecipante durante la

formazione.

Il Virtual Tutor è una rappresentazione 3D che può apparire sullo schermo

per fornire informazioni all’utente durante alcuni passaggi del percorso

formativo (simulazioni).

Au

tom

ati

c c

oach

ing

Prima di eseguire una

simulazione, ogni utente

deve completare una fase

di pre-assessment con la

quale viene attribuito alle

sue competenze un

punteggio iniziale.

Il Pre-Assessment calcola

il punteggio relativo alle

competenze sulle

principali softskill, in

modo da attivare solo le

simulazioni atte a

migliorare le performance

dell’utente.

Pre A

ssessm

en

t

Scenario0,0

k0,0

Scenario1,1 K1,1

Scenario1,2 k1,2

Scenario1,3 k1,3

Scenario1,4 k1,4

Scenario2,a k2,a

Scenario2,a

+1 k2,a+1 Scenario2,a+2

k2,a+2

Scenario3,b+1 k3,b+1

Scenario3,b+2 k3,b+2

Scenario3,b k3,b

Scenario3,b+3 K3,b+3

Automatic Coaching Engine nelle simulazioni

Affrontando la prima simulazione (X) relativa a una specifica soft skill, l’utente –

in base alle scelte fatte - avrà accesso a differenti scenari.

Ogni scenario è collegato a un punteggio che va a sommarsi ai punteggi ottenuti

in precedenza dall’utente.

Una volta terminata la simulazione X, l’Automatic Coaching Module darà all’utente

accesso alla fase di Post Assessment che ha lo scopo di certificare il Total Score

ottenuto durante le simulazioni.

In questa fase, il meccanismo di coaching

automatico confronta il Total Score ottenuto

dall’utente con il punteggio ideale della

simulazione X.

In base al risultato del post assessment, il

modulo automatico deciderà se è il caso

che l’utente ripeta il modulo formativo prima

di accedere a una nuova simulazione Y.

Sim

ula

zio

ni

PreAssessment

h Initial Real

Profile phinitial

Improve with

Simulation h

Final Real Profile ph

RealFinal PostAssessment

hf Filanl Profile

phfinal

Sim

ula

zio

ni

La piattaforma di Myself è

in grado di riproporre la

simulazione per il debrief,

mostrando il percorso

ideale della simulazione.

Alla fine della simulazione,

l’utente potrà così rivedere

le scelte fatte

precedentemente (path

rosso) e confrontarle con

il percorso ottimale (path

verde), avendo per ogni

step un feedback del tutor

virtuale.

E G I J K

L M N O

B

1(2) 2(4)

C

1(1) 2(5) 3(3)

A

1(3) 2(5) 3(2)

D

1(2) 2(5)

F

1(2) 2(5)

H

1(3) 2(5)

Student choices: RED

Best choices within the path: GREEN

Note: if the student’s choice corresponds to the

best choice, only the GREEN color is seen

Deb

rie

f

Dopo aver visto il

proprio percorso

all’utente verrà chiesto

di rifare la simulazione o

di vedere il percorso

ideale che avrebbe

potuto fare.

Il percorso ideale è la

sequenza di scelte che

avrebbe permesso

all’utente di ottenere il

miglior punteggio

possibile.

E G I J K

L M N O

B

1(2) 2(4)

C

1(1) 2(5) 3(3)

A

1(3) 2(5) 3(2)

D

1(2) 2(5)

F

1(2) 2(5)

H

1(3) 2(5)

Deb

rie

f –

Best

practi

ce

Per realizzare animazioni

realistiche, Myself usa la

grafica 3D.

I software utilizzati per

costruire gli elementi 3D che

vanno a definire le

animazioni sono:

1.Chief Architect (di

Advanced Relational

Technology) per lo sviluppo

della realtà virtuale 3D.

2.Poser (di Curious Labs )

per costruire i personaggi, i

loro movimenti e le loro

emozioni.

In

terfa

cce 3

D

3. Partecipanti che non giocano ma assistono al

gioco degli altri.

Tutti gli utenti possono interagire tramite

l’audio chat o la web conference. Non ci sono

limiti di numero per accedere all’ambiente

collaborativo.

Approccio multilingua

Ogni studente può assistere o partecipare al

role game nella sua lingua.

Ad esempio, un partecipante italiano vedrà I

video e le animazioni in italiano, mentre un

partecipante inglese potrà fruire dei contenuti

in inglese.

I partecipanti – all’interno dell’ambiente collaborativo - possono giocare insieme a

role playing che mettano alla prova le loro capacità.

I Role playing prevedono differenti tipi di partecipanti:

1. Partecipanti che giocano assumendo un ruolo specifico

2. un tutor che può giocare o può assistere i partecipanti durante il gioco

Am

bie

nte

co

llab

orati

vo

Nel progetto Myself a ogni target corrisponde un ambiente collaborativo.

A ogni ambiente collaborativo corrispondono più “stanze” (room), ciascuna per

ogni sessione o lezione.

Gli strumenti collaborativi di Myself sono:

Lista utenti – Profilo Utente

Web conference – Chat

Whiteboard – Forum

Slideshow

Am

bie

nte

co

llab

orati

vo

Si definisce Affective Computing qualsiasi tecnologia che permette un’interazione emozionale fra macchina e utenti, permettendo l’espressione, il riconoscimento o l’origine di emozioni.

L’Affective Computing si associa perfettamente agli scenari aperti dall’eLearning, nei quali la componente affettiva gioca un ruolo chiave nei mementi della scelta e lungo tutto il percorso formativo.

Inoltre, l’Affective Computing permette una considerevole flessibilità: il sistema di supporto all’apprendimento può essere adattato e personalizzato in base alle risposte cognitive e emozionali da parte degli utenti.

LHCI 2005 Rome 13 September 2005LHCI 2005 Rome 13 September 2005INTERACT2005 Rome 13 September 2005

Aff

ecti

ve C

om

pu

tin

g

Il sistema di Myself può:

1. esprimere emozioni (affective 3D virtual tutor)

2. riconoscere gli stati emotivi degli utenti e adattarsi a

questi (sistema multimodale di riconoscimento delle

emozioni e personalizzazione del percorso formativo)

3. insegnare l’uso della comunicazione interpersonale

(simulazioni interattive)

LHCI 2005 Rome 13 September 2005LHCI 2005 Rome 13 September 2005INTERACT2005 Rome 13 September 2005

Aff

ecti

ve C

om

pu

tin

g

Progettazione e implementazione di un tutor virtuale (LINDA) che può

esprimere emozioni

Riferimenti:

Ricerca su agenti pedagogici con fattezze umane (Lester et al.,

1997; Baylor et al., 2000, 2003)

Embodied Conversational Agents (Cassell, 2000; deRosis et al., 2003)

Le animazioni del tutor si basano sui risultati dello studio preliminare della mimica

facciale di tutor umani codificate usando FACS (Facial Action Coding System) (Ekman &

Friesen, 1978, 2002).

Un’attenzione speciale verrà indirizzata verso la multimodalità e alla sincronia dei tempi

nell’espressione delle emozioni.

ATTUALMENTE stiamo testando l’efficacia dell’espressività di Linda e le implicazioni del

suo supporto emotivo nel percorso formativo.

PRESTO progetteremo delle strategie relazioni e di interazione con l’utente, che

permettano un rinforzo dell’apprendimento sul lungo termine.

LHCI 2005 Rome 13 September 2005LHCI 2005 Rome 13 September 2005INTERACT2005 Rome 13 September 2005

Esp

rim

ere

Sviluppare un modulo multimodale di riconoscimento emotivo in grado di

fornire alla piattaforma informazioni sullo stato del partecipante

Nell’ambito dell’Affective Compunting è stato fatto molto lavoro sulla rilevazione e

l’inferenza dello stato emotivo tramite supporti fisiologici (Prendinger et al., 2004;

Scheirer et al., 2002), espressioni facciali (Chen et al., 1998; Kapoor et al., 2004), dati

vocali non verbali come F0, intensità, ecc…) (Oudeyer, 2003; Batliner et al., 2003),

contenuto dei dialoghi, questionari e autorilevazioni investigative.

ATTUALMENTE il lavoro è concentrato su:

Costruire un database multimodale che stabilisca gli algoritmi alla base della

formazione, della valutazione e dei percorsi di scelta.

Valutare la fattibilità di implementazione di differenti canali/modalità che si affianchino a

applicazioni eLearning e che risultino performanti in termini di fattibilità tecnica, costi,…

Affiancare al sistema un’architettura cognitiva che posa personalizzare il percorso in

base al profilo dell’utente e fornisca un feedback dell’evoluzione dello stato emozionale e

affettivo del partecipante durante il percorso didattico (ad esempio adattando il percorso

didattico, prevedendo diversi livelli di difficoltà, facendo intervenire il tutor virtuale,…).

LHCI 2005 Rome 13 September 2005LHCI 2005 Rome 13 September 2005INTERACT2005 Rome 13 September 2005

Ric

on

oscim

en

to

LHCI 2005 Rome 13 September 2005LHCI 2005 Rome 13 September 2005INTERACT2005 Rome 13 September 2005

Ric

on

oscim

en

to m

ult

imo

dale

Autovalutazione

Informazioni sulle attività

Architettura cognitiva

e user modelling

Inferenza sullo stato emotivo

Profilo iniziale dell’utente

Supporti fisiologici

Mimica facciale/gesti

Dati vocali non verbali

Contenuto dei contributi audio

NOOOIOSO… BELLO!

Un primo modo per comprendere cosa una persona sta provando è

ricevere, processare e interpretare le chiavi espressive dello stato

emotivo stesso:

facciali

vocali

gestuali

comportamentali

Un sistema è in grado di comprendere le emozioni se può ricevere e

riconoscere le emozioni espresse in diverse modalità: devo quindi

saperle ricevere attraverso processi audio-visivi e riconoscimento di

suoni e immagini e poi elaborarle grazie a un lessico di espressioni

emotive.

Bisogna stare attenti affinché il processo di elaborazione di questi

parametri non sia troppo intrusivo, per evitare che il sistema stesso alteri

lo stato emotivo dell’utente.

Aff

ecti

ve C

om

pu

tin

g

In Myself il riconoscimento affettivo dell’utente viene

realizzato su più livelli

Autovalutazione del proprio stato emotivo

Dialogo diretto fra utente e tutor umano

Utilizzo di un set di algoritmi vocali in grado di estrarre

parametri vocali (tempo, intensità, frequenza, F0) necessari

per comprendere lo stato emotivo dell’utente. Il modulo

SW, in grado di misurare questi parametri vocali, è

attualmente in fase di test.

Aff

ecti

ve C

om

pu

tin

g

Un modo meno rischioso (ma pur sempre ad alto rischio) è il

riconoscimento delle emozioni tramite la voce.

Sono diversi i parametri che vengono modificati dalle emozioni

e che possono quindi essere controllati e misurati:

• Tempo

• Pause

• Intensità/energia

• Frequenza

• F0

Allo scopo di estrarre i

diagrammi dei parametri vocali

è stato costruito un software

specifico (spettrografo) per il

progetto Myself

Ric

on

oscim

en

to v

ocale

Weka, acronimo di Waikato Environment for Knowledge Analysis, è un

sistema che riunisce algoritmi di apprendimento automatico per attività

di data mining, sviluppato della University of Waikato of New Zealand

(http://www.cs.waikato.ac.nz/ml/weka/).

Un modo per usare Weka è registrare le emozioni tramite il processo di

Classificazione, che consiste nel creare modelli che possono essere

utilizzati per estrarre informazioni sui dataset (le nostre emozioni) o per

classificare o prevedere futuri dataset.

L’Università Bicocca di Milano in collaborazione con ACSE ha realizzato

una serie di registrazioni vocali di emozioni facilmente riconoscibili per

registrare i principali parametri e costruire un dataset di riferimento.

Lavorare su questo dataset permetterà di analizzare e confrontare

successivi dataset, ottenendo così risultati sugli stati emotivi.

Ric

on

oscim

en

to v

ocale

Le osservazione del dataset sono organizzate in un file ARFF file (WEKA

file format) in cui appare la lista dei campi (MeanF0, MeanF1, MeanF2,

MeanNrgDB, Length, Noise, Pause, F0Start, F0End, F0Delta, Emotion) e

tutte le osservazioni identificate con le relative emozioni.

Ogni linea del file

raccoglie i set di

parametri di una

emozione definita.

Ric

on

oscim

en

to v

ocale

Per testare molti algoritmi

di classificazione e

costruire un modello

basato su un algoritmo

realistico, è stato

sviluppato un ambiente

Weka Training-Test

environment.

Ric

on

oscim

en

to v

ocale

L’ambiente Weka Training-Test

di Myself permette di iniziare la

registrazione della voce

dell’utente, estrarre lo schema

vocale e inviarlo al server che

procederà con l’elaborazione.

Ric

on

oscim

en

to v

ocale

Uno dei 3D Affective virtual tutor è LINDA (Learning

INtelligent Dynamic Agent); l’altro è FABIO.

L’intervento del tutor è strettamente collegato allo

storyboard di riferimento e il suo compito sarà enfatizzare

le capacità e le emozioni dell’utente.

Ecco alcuni screenshot di come Linda esprime le emozioni:

Sono stati sviluppati due tutor virtuali che

accompagneranno l’utente durante

l’apprendimento e il percorso formativo. Nella loro

realizzazione è stata data particolare importanza

alla comunicazione delle emozioni.

Vir

tual

tuto

rin

g

Il consorzio è consapevole che le future implementazioni

tecnologiche riguarderanno l’ambito PDA e wireless. La probabile

sfida del futuro dell’eLearning riguarderà questi ambiti ed è

quindi necessario intraprendere questa strada il prima possibile.

L’integrazione fra mobile e Myself possono vertere su tre aspetti

principali:

Guidelines per il porting di una simulazione su PDA e/o Smart

Phone

Analisi per lo sviluppo dell’Automatic Speech Recognition

System su PDA

Analisi per un’architettura di sistema che permette il

riconoscimento delle emozioni dell’utente anche su periferiche

wireless.

Mo

bile L

earn

ing

Mo

bile L

earn

ing

Mo

bile L

earn

ing

Grazie per la cortese attenzione

info@sdcvoice.com