HCI e Sistemi multimodali. 2 concetti chiave : 2 concetti chiave : HCI Design : studi delle...

HCI e Sistemi HCI e Sistemi multimodalimultimodali

2 concetti chiave : 2 concetti chiave :

• HCI Design HCI Design : studi delle interazione : studi delle interazione uomo-machina e elaborazione di uomo-machina e elaborazione di interfacce informaticheinterfacce informatiche

• HCI Paradigm HCI Paradigm : Paradigma o modello di : Paradigma o modello di riferimento d’interfacce informaticheriferimento d’interfacce informatiche

Concetti ChiaveConcetti Chiave((HCIHCI – – Human-Computer Human-Computer

InteractionInteraction))

• PrimaPrima

Ogni azione dell’utente è esplicita e si Ogni azione dell’utente è esplicita e si riduce a un atto di commandoriduce a un atto di commando

• Dopo (Dopo (…ora)…ora)

L’utente deve accedere all’informazione L’utente deve accedere all’informazione in modo naturale come lo farebbe con in modo naturale come lo farebbe con un altro uomoun altro uomo

Cambiamento di Cambiamento di paradigmaparadigma

• Interfacce portatili, “sensibili” e Interfacce portatili, “sensibili” e integrate nell’ambienteintegrate nell’ambiente

Nuovo paradigmaNuovo paradigma((HCIHCI – – Human-Computer Human-Computer

InteractionInteraction))

Ubiquitous computing Ubiquitous computing [Weiser][Weiser]

Ambient intelligence Ambient intelligence [Shadbolt][Shadbolt]

Pervasive Intelligence Pervasive Intelligence [Hansmann][Hansmann]

WIMPWIMP

WimpWimp• Oggi, le interfacce più usate sono le Oggi, le interfacce più usate sono le

interfacce grafiche (interfacce grafiche (Graphical user Graphical user interfaces interfaces –– GUIs GUIs))

• Adottano il paradigm chiamato Adottano il paradigm chiamato WIMPWIMP i.e. i.e. WWindows, indows, IIcons, cons, MMenus con un enus con un PPointing ointing DeviceDevice

WimpWimp• Le interfacce WIMP sono diventate prevalente Le interfacce WIMP sono diventate prevalente

perché:perché:• permettono di organizzare con efficienza le zone di permettono di organizzare con efficienza le zone di

lavoro (lavoro (workspacesworkspaces), i documenti e le possibilità per ), i documenti e le possibilità per modificarli.modificarli.

• L’analogia dei documenti con i fogli di carta L’analogia dei documenti con i fogli di carta ((spreadsheetspreadsheet) o le cartelle () o le cartelle (folderfolder) le rendono ) le rendono accessibili al più grande numero di utenti.accessibili al più grande numero di utenti.

WimpWimp• Le interfacce WIMP sono diventate prevalente Le interfacce WIMP sono diventate prevalente

perché: perché: • la rappresentazione come regione rettangolare su la rappresentazione come regione rettangolare su

uno schermo 2D piatto (uno schermo 2D piatto (2D flat screen2D flat screen) facilita la ) facilita la programmazioneprogrammazione

• La loro generalità (generality) le rende perfetto La loro generalità (generality) le rende perfetto ((suitablesuitable) per une ambiente multi-tasking ) per une ambiente multi-tasking ((multitasking work environmentsmultitasking work environments))

La metafora della scrivania La metafora della scrivania ((desktopdesktop))

• Il paradigmo Il paradigmo WIMPWIMP è utilizzato per è utilizzato per implementare la metafora molto diffusa implementare la metafora molto diffusa della scrivania (della scrivania (desktopdesktop), un concetto ), un concetto unificante per le interface grafiche (unificante per le interface grafiche (GUIGUI).).

La metafora della scrivania La metafora della scrivania ((desktopdesktop))

• La La desktop metaphor desktop metaphor considera lo schermo considera lo schermo ((monitormonitor) di un computer () di un computer (computercomputer) come la ) come la scrivania di un utente (scrivania di un utente (useruser), sopra quale oggetti, ), sopra quale oggetti, come documenti e cartelle possono essere disposti.come documenti e cartelle possono essere disposti.

• Un documento può essere aperto dentro una finestra Un documento può essere aperto dentro una finestra che rappresenta la copia spostata sulla scrivaniache rappresenta la copia spostata sulla scrivania

• Piccole applicazione chiamate Piccole applicazione chiamate accessorieaccessorie sono a sono a disposizione (es. calcolatrice, quaderno disposizione (es. calcolatrice, quaderno ––notepadnotepad))

1111

Il ruolo dell’informazione

Talvolta l’informazione è troppa…

Post-WIMPPost-WIMP

Post-WIMPPost-WIMP

• Le interfacce WIMP non sono ottimizzate Le interfacce WIMP non sono ottimizzate per compiti per compiti complessicomplessi (es. (es. computer-aided computer-aided designdesign) o per applicazione che richiedono ) o per applicazione che richiedono paradigmi di paradigmi di interazioneinterazione più più naturalenaturale (es. (es. giochi interrativi).giochi interrativi).

Post-WIMPPost-WIMP• Il scopo delle interfacce post-WIMP è di Il scopo delle interfacce post-WIMP è di

oltrepassare questi problemi (compiti complessi e oltrepassare questi problemi (compiti complessi e interazioni naturali)interazioni naturali)• includono sistemi di realtà virtuale, interfacce utente includono sistemi di realtà virtuale, interfacce utente

(grafiche) basate sui gesti, la parola e il controllo (grafiche) basate sui gesti, la parola e il controllo fisico. fisico.

• integrano input da una varietà di canali sensoriali e integrano input da una varietà di canali sensoriali e producono output multimediali (producono output multimediali (multimedia outputmultimedia output))

Post-WIMPPost-WIMP• Le interfacce post-WIMP sono Le interfacce post-WIMP sono basate sui modelli e teorie della psicologia, fisiologia, biomeccanica, basate sui modelli e teorie della psicologia, fisiologia, biomeccanica,

neuroscienze, cognitive e scienze sociale e si ispiranno a teorie umanistiche. Come tale, si avvalgono:neuroscienze, cognitive e scienze sociale e si ispiranno a teorie umanistiche. Come tale, si avvalgono:

• delle cdelle caratteristiche del sistema sensoriale umanoaratteristiche del sistema sensoriale umano

• dei canali sensoriali multiplidei canali sensoriali multipli

• ddel interconnessione tra canali sensorialiel interconnessione tra canali sensoriali

• ddelle capacità di communicazione non-verbaleelle capacità di communicazione non-verbale

• ddelle emozioneelle emozione

• SSfruttano le caratteristiche del sistema sensoriale umanofruttano le caratteristiche del sistema sensoriale umano• SSfruttano fruttano

Interfacce multimodali Interfacce multimodali ((Multimodal interfacesMultimodal interfaces))

• Le interfacce post-WIMP sono spesso delle Le interfacce post-WIMP sono spesso delle interfacce interfacce multimodalimultimodali ( (multimodal interfacesmultimodal interfaces) perché si ) perché si avvalgono delle modalità sensoriale multiple.avvalgono delle modalità sensoriale multiple.

• 3 parole chiave (3 parole chiave (keywordskeywords))• Modalità sensoriale Modalità sensoriale ((sensory modalitysensory modality))

• Fase Fase ((modemode))

• MultimodaleMultimodale


• Modalità sensoriale Modalità sensoriale ((sensory modalitysensory modality): il canale sensoriale ): il canale sensoriale tramite quale l’informazione è percepitta. Se riferisce al tramite quale l’informazione è percepitta. Se riferisce al tipo ci tipo ci canale di communicazione canale di communicazione ((communication communication channelchannel) usato per trasferrire o acquisire l’informazione) usato per trasferrire o acquisire l’informazione

• Fase (Fase (modemode): uno stato che determina come l’informazione ): uno stato che determina come l’informazione è interprettata per estrarre o trasferrire il suo significato.è interprettata per estrarre o trasferrire il suo significato.

• Multimodale se riferisce all’integrazione dell’informazione Multimodale se riferisce all’integrazione dell’informazione proveniente da diversi canali sensorialiproveniente da diversi canali sensoriali


• Modalità sensoriale (Modalità sensoriale (sensory modalitysensory modality): il canale sensoriale ): il canale sensoriale tramite quale l’informazione è percepitta. Se riferisce al tramite quale l’informazione è percepitta. Se riferisce al tipo ci canale di communicazione (tipo ci canale di communicazione (communication communication channelchannel) usato per trasferrire o acquisire l’informazione) usato per trasferrire o acquisire l’informazione

• Fase Fase ((modemode): uno stato che determina come l’informazione ): uno stato che determina come l’informazione è interprettata per estrarre o trasferrire il suo significato.è interprettata per estrarre o trasferrire il suo significato.

• Multimodale se riferisce all’integrazione dell’informazione Multimodale se riferisce all’integrazione dell’informazione proveniente da diversi canali sensorialiproveniente da diversi canali sensoriali


• Modalità sensoriale (Modalità sensoriale (sensory modalitysensory modality): il canale sensoriale ): il canale sensoriale tramite quale l’informazione è percepitta. Se riferisce al tramite quale l’informazione è percepitta. Se riferisce al tipo ci canale di communicazione (tipo ci canale di communicazione (communication communication channelchannel) usato per trasferrire o acquisire l’informazione) usato per trasferrire o acquisire l’informazione

• Fase (Fase (modemode): uno stato che determina come l’informazione ): uno stato che determina come l’informazione è interprettata per estrarre o trasferrire il suo significato.è interprettata per estrarre o trasferrire il suo significato.

• Multimodale Multimodale se riferisce all’integrazione dell’informazione se riferisce all’integrazione dell’informazione proveniente da diversi canali sensorialiproveniente da diversi canali sensoriali

Microphones

Videocameras

Sound / Speech

Body posture

Gaze

Facial expressions

Head movements

Physiological measurements

Physiologicalindicators

Gesture

Full-Body movement


Multimodalità al Multimodalità al livello neuro-livello neuro-fisiologico ?fisiologico ?

Modalità sensoriali Modalità sensoriali (overview)(overview)

Sistemi Sistemi Multimodali, Multimodali, definizioni definizioni “standard”“standard”

Sistemi Multimodali Sistemi Multimodali ((Multimodal systemsMultimodal systems))

• I sistemi multimodali sono : I sistemi multimodali sono : “systems that support a user “systems that support a user communicating with an application by using different communicating with an application by using different modalities such as voice (in a human language), gesture, modalities such as voice (in a human language), gesture, handwriting, typing, audio-visual speech, etc.”handwriting, typing, audio-visual speech, etc.”

W3C Multimodal Interaction Working Group, W3C Multimodal Interaction Working Group, Multimodal Interaction Requirements, W3C NOTE 8 January 2003Multimodal Interaction Requirements, W3C NOTE 8 January 2003http://www.w3.org/TR/mmi-reqs/http://www.w3.org/TR/mmi-reqs/W3C is The World Wide Web ConsortiumW3C is The World Wide Web Consortium


• ““A multimodal HCI system is simply one that A multimodal HCI system is simply one that responds to inputs in more than one modality or responds to inputs in more than one modality or communication channel (e.g., speech, gesture, communication channel (e.g., speech, gesture, writing, and others).”writing, and others).”

(Jaimes, A., Sebe, N., 2007. Multimodal human–computer interaction: (Jaimes, A., Sebe, N., 2007. Multimodal human–computer interaction: A survey. Computer Vision and Image Understanding, 108 : 116–A survey. Computer Vision and Image Understanding, 108 : 116–134, Elsevier)134, Elsevier)


• L’uttente fornisce (L’uttente fornisce (provideprovide) un ) un inputinput in una in una o più modalità e riceve un o più modalità e riceve un outputoutput in una o in una o più modalità sensoriale.più modalità sensoriale.

INPUTINPUT(classificazione)(classificazione)

• Un input può essere classificato comeUn input può essere classificato come• SequenzialeSequenziale: l’input è ricevuto su una singola modalità, : l’input è ricevuto su una singola modalità,

anche se questa modalità può cambiareanche se questa modalità può cambiare

• SimultaneoSimultaneo: l’input è ricevuto sulle diverse modalità, e : l’input è ricevuto sulle diverse modalità, e trattato separatamente in ogni di queste modalitàtrattato separatamente in ogni di queste modalità

• [Composite[Composite: l’input è ricevuto sui diverse modalità : l’input è ricevuto sui diverse modalità nello stesso tempo e trattato come un unico input nello stesso tempo e trattato come un unico input composite.]composite.]

INPUT processingINPUT processing

• I tipi di trattamento dell’input è I tipi di trattamento dell’input è chiamatochiamato input input processingprocessing

Es. Input della parola (speech input) pu essere un input Es. Input della parola (speech input) pu essere un input per un sistema di riconoscimento della parola (e.g., per un sistema di riconoscimento della parola (e.g., richiede un’interpretazione semantica per estrare richiede un’interpretazione semantica per estrare l’informazione significante (es. Rappresentazione l’informazione significante (es. Rappresentazione semantiche)semantiche)


Attenzione ! Attenzione !

•un input un input simultaneo simultaneo e e compositecomposite possono possono essere in essere in conflitto conflitto nel senso che nel senso che l’interpretazione dell’input può essere l’interpretazione dell’input può essere contraditorio (es. L’uttente dice “si” e clicca contraditorio (es. L’uttente dice “si” e clicca “no”)“no”)


• Il Il comportamento sincronocomportamento sincrono di un applicazione di un applicazione descrivedescrive• (i) il modo in cui l’input trasmesso in una (i) il modo in cui l’input trasmesso in una

modalità si riflette nell’output di un’altra modalità si riflette nell’output di un’altra modalitàmodalità

• (ii) il modo in cui l’input si combina attraverso (ii) il modo in cui l’input si combina attraverso le diverse modalità (le diverse modalità (coordinazionecoordinazione))

OUTPUTOUTPUT

• L’L’outputoutput generato da un sistemo generato da un sistemo multimodale può prendere diverse forme: multimodale può prendere diverse forme: audio, visuale, haptic feedback, luceaudio, visuale, haptic feedback, luce


• In riasunto, I sistemi multimodali sono In riasunto, I sistemi multimodali sono sistemi computazionali che:sistemi computazionali che:

(INPUT & INPUT PROCESSING)(INPUT & INPUT PROCESSING)• Osservano l’utente e raccogliono, analisano e Osservano l’utente e raccogliono, analisano e

integrano informazione da diverse modalità integrano informazione da diverse modalità sensorialesensoriale

• Creano rappresentazione interne dell’utente Creano rappresentazione interne dell’utente (es. in termine di stati cognitivi o emozionali)(es. in termine di stati cognitivi o emozionali)


• In riasunto, I sistemi multimodali sono In riasunto, I sistemi multimodali sono sistemi computazionali che:sistemi computazionali che:(OUTPUT & OUTPUT PROCESSING)(OUTPUT & OUTPUT PROCESSING)

•Producono una risposta (feedback) multimedia in Producono una risposta (feedback) multimedia in tempo reale per l’utente, basato sull’analisi tempo reale per l’utente, basato sull’analisi dell’input, il modello interno e il compito che sta dell’input, il modello interno e il compito che sta realizzando l’utenterealizzando l’utente

•Forniscono all’utente un interfaccia multimodale Forniscono all’utente un interfaccia multimodale per realizzare compiti complessi che richiedono per realizzare compiti complessi che richiedono interazioni naturaliinterazioni naturali

Sistemi Multimodali specificiSistemi Multimodali specifici((Specific Multimodal Specific Multimodal

systemssystems))• Perceptual User InterfacePerceptual User Interface (PUIs) (PUIs)• Basata sulle tecniche di interazione che Basata sulle tecniche di interazione che

combinano una comprensione delle combinano una comprensione delle capacità umane (communicative, motore, capacità umane (communicative, motore, conative e percettuale, e l’uso di dispositivi conative e percettuale, e l’uso di dispositivi computazionali I/O e sistemi d’intelligenza computazionali I/O e sistemi d’intelligenza artificialeartificiale


systemssystems))• Attentive InterfacesAttentive Interfaces• Sono interfacce sensibili al contesto, che si Sono interfacce sensibili al contesto, che si

basano sulle capacità attenzionale della basano sulle capacità attenzionale della personna.Cercano di cogliere il momento personna.Cercano di cogliere il momento piu opportuno per esporre l’informazione piu opportuno per esporre l’informazione all’utente e communicare con lui.all’utente e communicare con lui.


systemssystems))• Enactive InterfacesEnactive Interfaces• Aiuta l’utente a communicare tramite una Aiuta l’utente a communicare tramite una

forma di conoscenza “prattica” detta forma di conoscenza “prattica” detta enactive e non più solo simbolica. Si enactive e non più solo simbolica. Si basano sulla partecipazione attiva, fisica basano sulla partecipazione attiva, fisica (mani, corpo) dell’utente.(mani, corpo) dell’utente.


systemssystems))• Affective InterfacesAffective Interfaces• Queste interfacce si avvalgano delle Queste interfacce si avvalgano delle

emozione, o di maniera più generale, emozione, o di maniera più generale, dell’espressività dell’utente per rendere dell’espressività dell’utente per rendere l’interazione più naturale. Si basano l’interazione più naturale. Si basano sull’analisi del contenuto espressivo sull’analisi del contenuto espressivo communicato dall’utente tramite diversi communicato dall’utente tramite diversi canali sensoriali.canali sensoriali.

Problemi per cambiare di Problemi per cambiare di paradigmi ?paradigmi ?

Sistemi multimedialiSistemi multimediali

Sistemi Multimediali Sistemi Multimediali ((Multimedia systemsMultimedia systems))

• MediumMedium• Il mezzo usato per trasmettere l’informazione Il mezzo usato per trasmettere l’informazione

(es. Stampa, video, audio, e-mails…)(es. Stampa, video, audio, e-mails…)

• Sistemi multimedia Sistemi multimedia ((multimedia systemsmultimedia systems))• Un sistema che raccoglie e produce Un sistema che raccoglie e produce

l’informazione usando diversi medial’informazione usando diversi media

• Codice Codice ((codecode) e ) e codifica codifica ((encodingencoding))• Insieme di convenzione usate per Insieme di convenzione usate per

rappresentare l’informazione.rappresentare l’informazione.

• es. La stampa (= un medium) può contenere es. La stampa (= un medium) può contenere diversi codici come le immagine, diagrammi, diversi codici come le immagine, diagrammi, testo.testo.

Multimediali vs MultimodaliMultimediali vs Multimodali

• Sistemi multimediali e multimodaliSistemi multimediali e multimodali• Usano diversi media e canali di Usano diversi media e canali di

communicazione.communicazione...

• Sistemi multimodali Sistemi multimodali ((multimodal systemsmultimodal systems))• Cercano di capire e processare il significato Cercano di capire e processare il significato

sottostante dell’informazione.sottostante dell’informazione.

• Sistemi multimedia Sistemi multimedia ((multimedia systemsmultimedia systems))• Si focalizzano sul medium, i.e., sulla Si focalizzano sul medium, i.e., sulla

tecnologia più che sull’utente (tecnologia più che sull’utente (application application levellevel))

Motivazione per la Motivazione per la multimodalitàmultimodalità

ma prima, ricordiamoci…ma prima, ricordiamoci…

The Mother of All DemosThe Mother of All DemosA research center for augmenting human intellect (Doublas Engelbart)

1. 1. Communicazione tra uomini Communicazione tra uomini ((human-human communicationhuman-human communication) è ) è

multimodalemultimodale• Uomini usano diversi canali per Uomini usano diversi canali per

communicarecommunicare• La parola è spesso accompagnata dai gesti La parola è spesso accompagnata dai gesti

e movimenti del corpo.e movimenti del corpo.

• Lo sguardo e il contatto visivo è molto Lo sguardo e il contatto visivo è molto importante nella communicazione importante nella communicazione

• L’espressione faciale o la prosodia L’espressione faciale o la prosodia contribuiscono alla comprensione di un contribuiscono alla comprensione di un messaggio. messaggio.

McGurk effects (1976)

Gesto espressivo, Multimodalità e Teorie Gesto espressivo, Multimodalità e Teorie motorie della Percezionemotorie della Percezione

IIl nostro sistema percettivo è legato alle l nostro sistema percettivo è legato alle nostre capacità motorienostre capacità motorie• Johnson on rhythm perception (range Johnson on rhythm perception (range

between extremes)between extremes)• McGurk effects (1976)McGurk effects (1976)

• ““Hearing lips and Hearing lips and seeing voices”seeing voices”

2. 2. Scegliere gli input / output più Scegliere gli input / output più efficientiefficienti

• Alcuni tipi di contenuto sono più facilmente Alcuni tipi di contenuto sono più facilmente espressi con modalità non-verbali espressi con modalità non-verbali (es. (es. disegnare I bordi di un’area). Anche se per alcune disegnare I bordi di un’area). Anche se per alcune informazione , la communicazione verbale informazione , la communicazione verbale conviene meglio (es. la parte sinistra del fiume).conviene meglio (es. la parte sinistra del fiume).

3. 3. Adattarsi all’ambienteAdattarsi all’ambiente

• Interfacce multimodali permettono un Interfacce multimodali permettono un adattazione rapida all’ambiente adattazione rapida all’ambiente (changing (changing environment), usando la modalità più environment), usando la modalità più adequata o perche riesce a combinare adequata o perche riesce a combinare diverse modalitàdiverse modalità

4. 4. Task performance and user Task performance and user preferencepreference

• Molte studi empiriche mostrano che le interfacce multimodali migliorano le Molte studi empiriche mostrano che le interfacce multimodali migliorano le prestazione prestazione (task performance) e sono preferite alle interfacce unimodali:(task performance) e sono preferite alle interfacce unimodali:

• Clear advantages over unimodal speech Clear advantages over unimodal speech for map-based tasks (Oviatt, 1996);for map-based tasks (Oviatt, 1996);

• Faster than GUI for map-based task Faster than GUI for map-based task (Cohen et al., 1998);(Cohen et al., 1998);

• Faster than GUI for drawing application Faster than GUI for drawing application (Nishimoto et al., 1995);(Nishimoto et al., 1995);

• User preference for speech and gesture in object manipulation task (Hauptmann, 1989).User preference for speech and gesture in object manipulation task (Hauptmann, 1989).

5. 5. Riduzione dell’errore (Riduzione dell’errore (Error Error handlinghandling))

• Le interfacce multimodale permettono di ridurre l’errore:Le interfacce multimodale permettono di ridurre l’errore:• Mode switching: Mode switching: utilizzo di modalità alternativa per uscire dalla “spirali di errore utilizzo di modalità alternativa per uscire dalla “spirali di errore

commesse in una modalità (es. Parlare e puntare)commesse in una modalità (es. Parlare e puntare)

• Cross-modal compensation: Cross-modal compensation: utilizzo dell’informazione fornita da una modalità per utilizzo dell’informazione fornita da una modalità per compensare gli errori fatti in un’altra modalità (es. compensare l’informazione compensare gli errori fatti in un’altra modalità (es. compensare l’informazione audio con quella visuale per localizzare l’utente)audio con quella visuale per localizzare l’utente)

• Multimodal confirmation: Multimodal confirmation: utilizzo dell’informazione di una modalità per utilizzo dell’informazione di una modalità per confermare i risultati ottenuti dall’analisi dei dati proveniente da un altra modalitàconfermare i risultati ottenuti dall’analisi dei dati proveniente da un altra modalità


Table by Michael Johnston, AT&T Labs-Research, 2006.

1.1. Communicazione tra uomini (Communicazione tra uomini (human-human-human communicationhuman communication) è multimodale) è multimodale

2.2. Scegliere gli input / output più efficientiScegliere gli input / output più efficienti3.3. Adattarsi all’ambienteAdattarsi all’ambiente4.4. Task performance and user preferenceTask performance and user preference5.5. Riduzione dell’errore (Error handling)Riduzione dell’errore (Error handling)


Migrazione del Human Computer Migrazione del Human Computer interface (HCI) – via dalla interface (HCI) – via dalla

scrivania…scrivania…

• Dispositivi piccoli e portatili (PDA, organizers, Dispositivi piccoli e portatili (PDA, organizers, smartphonesmartphone

• Wall-size displays Wall-size displays

• Multi-touch displaysMulti-touch displays

• In vehicle applicationsIn vehicle applications

• Public kiosksPublic kiosks

Migrazione del Human Migrazione del Human Computer interface (HCI) – via Computer interface (HCI) – via

dalla scrivania…dalla scrivania…

• Virtual reality, augmented reality, mixed Virtual reality, augmented reality, mixed realityreality

• Pervasive computing, ubiquitous computing, Pervasive computing, ubiquitous computing, disappearing computing, ambient intelligencedisappearing computing, ambient intelligence

• Context-aware computingContext-aware computing

• Human-robot interactionHuman-robot interaction

• Wearable computingWearable computing

• Smart environmentsSmart environments

• Tangible interfacesTangible interfaces



• The experience of Casa Paganini – InfoMus: The experience of Casa Paganini – InfoMus: • Applications to cultural heritageApplications to cultural heritage• Applications to performing artsApplications to performing arts



• L’esperienza di Casa Paganini – InfoMus: L’esperienza di Casa Paganini – InfoMus: • Applications to therapy and rehabilitationApplications to therapy and rehabilitation• Applications to mobile devicesApplications to mobile devices



Ambienti reali e virtualiAmbienti reali e virtuali• Ambienti reali (Ambienti reali (real environmentsreal environments) ) : ambienti governati : ambienti governati

dalle legge della fisicadalle legge della fisica

• Ambienti virtuali (Ambienti virtuali (virtual environmentsvirtual environments) – VEs ) – VEs ambienti ambienti artificiali che possono simulare un ambiente ficio esistente artificiali che possono simulare un ambiente ficio esistente o no. I VEs non sono governati dalle legge della fisicao no. I VEs non sono governati dalle legge della fisica. .

Ambienti reali e virtualiAmbienti reali e virtuali

• Realtà virtuale (virtual reality) – VR Realtà virtuale (virtual reality) – VR condizione condizione in cui il partecipante è totalmente immerso in in cui il partecipante è totalmente immerso in un mondo artificiale (es. in una “cantina” – un mondo artificiale (es. in una “cantina” – cavecave, o portando un schermo montato sulla , o portando un schermo montato sulla testa (testa (Head-Mounted Displays Head-Mounted Displays – HMD)– HMD)


• La distinzione tra ambienti reali e virtuali non è La distinzione tra ambienti reali e virtuali non è sempre ovvia:sempre ovvia:• Le immagine catturate da una video camera e dopo e Le immagine catturate da una video camera e dopo e

riprodottte sono reali o virtuali?riprodottte sono reali o virtuali?

• Le reproduzioni visivi dei dati del mondo reale sono Le reproduzioni visivi dei dati del mondo reale sono reali o virtuali?reali o virtuali?

Ambienti reali e virtualiAmbienti reali e virtuali• Milgram E Kishino, 1994 propongono 3 Milgram E Kishino, 1994 propongono 3 criteri criteri per per

distinguere le due ambienti. distinguere le due ambienti. • Oggetti realiOggetti reali vs vs virtuali virtuali ((real vs virtual objectsreal vs virtual objects))

• Osservazione diretta Osservazione diretta vs vs indiretta indiretta ((direct vs non-direct direct vs non-direct viewingviewing))

• Immagini reali Immagini reali vs vs virtuali virtuali ((real vs virtual imagesreal vs virtual images))

Oggetti reali vs virtualiOggetti reali vs virtuali• Oggetti realiOggetti reali: oggetti che hanno un esistenza obiettiva : oggetti che hanno un esistenza obiettiva • Gli oggetti reali possono essere osservati direttamenti o possono essere Gli oggetti reali possono essere osservati direttamenti o possono essere

campionati e ri-produtti tramite dispositivi visivi.campionati e ri-produtti tramite dispositivi visivi.

• Oggetti virtualiOggetti virtuali: oggetti che esistono in essenzia ma non : oggetti che esistono in essenzia ma non atttualizzati (possono esistere nel mondo reale ma non nel contesto atttualizzati (possono esistere nel mondo reale ma non nel contesto attuale)attuale)• Gli oggetti virtuali devono essere simulati. Questa necessita l’uso di un Gli oggetti virtuali devono essere simulati. Questa necessita l’uso di un

modello modello di loro, una loro descrizione formale.di loro, una loro descrizione formale.

Milgram, P., and Kishino, A. F., 1994. Taxonomy of Mixed Reality Visual Displays. IEICE Transactions on Information and Systems, E77-D(12), pp. 1321-1329.


Osservazione diretta vs Osservazione diretta vs indirettaindiretta

• Oggetti realiOggetti reali: possono essere visti direttamente: possono essere visti direttamente

• Possono anche essere visti indirettamente (via video Possono anche essere visti indirettamente (via video captazione + riproduzione tramite media)captazione + riproduzione tramite media)

• Oggetti virtualiOggetti virtuali: possono soltanto essere sintetizzati e : possono soltanto essere sintetizzati e quindi essere visti indirettamente. Anche se possono quindi essere visti indirettamente. Anche se possono sembrare realistici, non vuole dire che sono reali.sembrare realistici, non vuole dire che sono reali.

Immagini reali vs virtualiImmagini reali vs virtuali• Immagini realiImmagini reali: Sono immagini che hanno una certa luminosità nella : Sono immagini che hanno una certa luminosità nella

locazione dove appaiono.locazione dove appaiono.• Questa definizione copre quello che è percepitto tramite l’osservazione Questa definizione copre quello che è percepitto tramite l’osservazione

diretta di un oggetto reale e anche l’immagine su un display.diretta di un oggetto reale e anche l’immagine su un display.

• Immagini virtualiImmagini virtuali: sono immagini che non hanno specifica luminosità : sono immagini che non hanno specifica luminosità nella locazione dove appaiaiono.nella locazione dove appaiaiono.• es. Ologrammi, display stereoscopisci (immagini di destra e sinistra sono es. Ologrammi, display stereoscopisci (immagini di destra e sinistra sono

reali la la loro fusione è virtuale)reali la la loro fusione è virtuale)

Very important…Very important…

The Mixed Reality ContinuumThe Mixed Reality Continuum

• Ambienti reali e virtuali non sono antiteci. Ambienti reali e virtuali non sono antiteci. Sono le due estreme di un continum di Sono le due estreme di un continum di ambienti di ambienti di realtà compostarealtà composta((mixed realitymixed reality))

Milgram, P., and Kishino, A. F., 1994. Taxonomy of Mixed Reality Visual Displays. IEICE Transactions on Information and Systems, E77-D(12), pp. 1321-1329.

Realtà aumenta e virtualitàRealtà aumenta e virtualità• Realtà aumentata (augmented reality)Realtà aumentata (augmented reality): un ambiente reale è : un ambiente reale è

aumentato con oggetti e soggetti sintetici/artificiali.aumentato con oggetti e soggetti sintetici/artificiali.• Ambienti di realtà aumentata sono ambienti di realtà mescolata “vicini” Ambienti di realtà aumentata sono ambienti di realtà mescolata “vicini”

al mondo realeal mondo reale

• Virtualità aumentataVirtualità aumentata: un ambiente virtuale è aumentata con oggetti : un ambiente virtuale è aumentata con oggetti e soggetti reali.e soggetti reali.• Ambienti di virtualità aumentata sono ambienti di realtà mescolata Ambienti di virtualità aumentata sono ambienti di realtà mescolata

“vicini” al mondo virtuale.“vicini” al mondo virtuale.

Realtà aumenta e virtualitàRealtà aumenta e virtualità

• Nel centro del continuum di Nel centro del continuum di mixed realitymixed reality, , realtà e virtualità non possono più essere realtà e virtualità non possono più essere distinti (idealmente)distinti (idealmente)

Realtà composta (Realtà composta (mixed mixed realityreality))

• La La mixed realitymixed reality((MRMR) è nata per risolvere problemi come la ) è nata per risolvere problemi come la mancazza di realismo dei mondi virtuali completamenti sintetizzati.mancazza di realismo dei mondi virtuali completamenti sintetizzati.

• Ambienti di Ambienti di mixed reality mixed reality integrano elementi del mondo virtuale e integrano elementi del mondo virtuale e reale (oggetti e soggetti)reale (oggetti e soggetti)

• In questi ambienti, soggetti reali possono communicare con soggetti In questi ambienti, soggetti reali possono communicare con soggetti virtuali e con l’ambiente tramite => virtuali e con l’ambiente tramite => interfacce multimodaliinterfacce multimodali <= <=

Mixed Reality Mixed Reality e modalità e modalità sensorialisensoriali

• La La mixed reality mixed reality spesso si basa sulla modalità visuale.spesso si basa sulla modalità visuale.

• Ci sono ambienti di mixed reality (Ci sono ambienti di mixed reality (MR environmentsMR environments) alternativi:) alternativi:• Auditory AR Auditory AR : : synthetic spatialized sounds mixed with natural sounds from the synthetic spatialized sounds mixed with natural sounds from the

immediate real environment immediate real environment (e.g., Cohen et al., 1993)(e.g., Cohen et al., 1993)..

• Haptic AR Haptic AR : : synthetically generated tactile information delivered by sensorized gloves synthetically generated tactile information delivered by sensorized gloves

(e.g., (e.g., Brooks et al., 1990). Brooks et al., 1990).

• Vestibular AR Vestibular AR : : synthesized information about acceleration of the participant’s body synthesized information about acceleration of the participant’s body (e.g., flight simulators).(e.g., flight simulators).

Mixed RealityMixed Reality: una tassonomia: una tassonomia• Milgram e Kishino (1994) hanno sviluppato Milgram e Kishino (1994) hanno sviluppato

una tassonimia per classificare gli ambienti una tassonimia per classificare gli ambienti di di mixed realitymixed reality ( (mixed realtiy environmentsmixed realtiy environments))

• La classificazione si basa su 3 dimensione:La classificazione si basa su 3 dimensione:• Estenzione della conoscenza del mondo (Estenzione della conoscenza del mondo (Extent of Extent of

World Knowledge)World Knowledge)

• Fedeltà nella riproduzione (Fedeltà nella riproduzione (Reproduction FidelityReproduction Fidelity))

• Estensione della Presenza (Estensione della Presenza (Extent of Presence)Extent of Presence)

• Abbiamo uno spazione a tre dimensioni per Abbiamo uno spazione a tre dimensioni per posizionnare gli ambiente di realtà mescolataposizionnare gli ambiente di realtà mescolata

Realtà mescolata : una Realtà mescolata : una tassonomiatassonomia

• Milgram e Kishino (1994) hanno sviluppato una tassonimia per classificare Milgram e Kishino (1994) hanno sviluppato una tassonimia per classificare gli ambienti di realtà mescolata (mixed realtiy environments)gli ambienti di realtà mescolata (mixed realtiy environments)

• La classificazione si basa su 3 dimensione:La classificazione si basa su 3 dimensione:• Estenzione della conoscenza del mondo (Estenzione della conoscenza del mondo (Extent of World Knowledge)Extent of World Knowledge)

• Fedeltà nella riproduzione (Fedeltà nella riproduzione (Reproduction FidelityReproduction Fidelity))

• Estensione della Presenza (Estensione della Presenza (Extent of Presence)Extent of Presence)

• Abbiamo uno spazione a tre dimensioni per posizionnare gli ambiente di realtà Abbiamo uno spazione a tre dimensioni per posizionnare gli ambiente di realtà mescolatamescolata

Estenzione della conoscenza del mondo

Fedeltà nella riproduzione

Estensione della Presenza

Realtà mescolata : una Realtà mescolata : una tassonomiatassonomia

Estenzione della conoscenza del Estenzione della conoscenza del mondomondo

((Extent of world KnowledgeExtent of world Knowledge))• Definisce quanto il sistema di Definisce quanto il sistema di mixed mixed reality reality conosce degli oggetti e del mondo conosce degli oggetti e del mondo in cui questi oggetti sono mostratiin cui questi oggetti sono mostrati..

• Es., a un estremo, niente è conosciuto, Es., a un estremo, niente è conosciuto, nell’altro estremo, mondo è nell’altro estremo, mondo è completamente modellato per poter completamente modellato per poter mostrare un mondo virtuale totale.mostrare un mondo virtuale totale.

Fedeltà nella riproduzione Fedeltà nella riproduzione ((Reproduction FidelityReproduction Fidelity))

• Se riferisce alla qualità relativa con quale Se riferisce alla qualità relativa con quale il media (il media (synthesizing displaysynthesizing display) riesce a ) riesce a riprodurre l’imagine attuale degli oggettiriprodurre l’imagine attuale degli oggetti..

• Concerne oggetti reali e virtuali. Quando Concerne oggetti reali e virtuali. Quando la qualità massima è raggi)nta, sarebbe la qualità massima è raggi)nta, sarebbe impossible distinguere oggetti dal mondo impossible distinguere oggetti dal mondo reale da quelli del mondo virtuale reale da quelli del mondo virtuale (punto (punto centrale del MR continuum)centrale del MR continuum)

Estensione della PresenzaEstensione della Presenza ( (Extent of PresenceExtent of Presence))

• L’asseL’asse dell’estensione della metafora della presenza dell’estensione della metafora della presenza ((Extent of Presence Metaphor – EPMExtent of Presence Metaphor – EPM) se riferisce a ) se riferisce a quando l’osservatore pensa di sentirci in presenza dei quando l’osservatore pensa di sentirci in presenza dei oggeti /soggetti a lui presentati.[legato alla nozione di oggeti /soggetti a lui presentati.[legato alla nozione di immersività]immersività]

• Questa dimensione è strettamente legata ai Questa dimensione è strettamente legata ai dispositivi visivi usati. Il massimo corrisponde al dispositivi visivi usati. Il massimo corrisponde al momento dove non c’è differenza tra momento dove non c’è differenza tra l’osservazione diretta e mediatizzata.l’osservazione diretta e mediatizzata.

Approci complementari |Approci complementari |alternativi al MRalternativi al MR

• Aldila della realtà aumentata (Aldila della realtà aumentata (augmented realityaugmented reality) ) e della virtualità (e della virtualità (virtualitàvirtualità), altri approci ), altri approci alternativi | complementari includono: alternativi | complementari includono: • Mixed reality Boundaries (Confinare la realtà Mixed reality Boundaries (Confinare la realtà

composta)composta): cerca di strutturare nello spazio, : cerca di strutturare nello spazio, tramite chiusuri fisici (boundaries) i rapporti tra tramite chiusuri fisici (boundaries) i rapporti tra ambienti reali e virtuali.ambienti reali e virtuali.

• Tangible BitsTangible Bits: gli utenti possono afferrare e : gli utenti possono afferrare e manipulare (manipulare (“grasp and manipulate”“grasp and manipulate”) i bits, perchè ) i bits, perchè questi bits sono accoppiati con oggetti fisici del questi bits sono accoppiati con oggetti fisici del quotidiano e con superficie archittetturali. I bits quotidiano e con superficie archittetturali. I bits diventano tangibili (diventano tangibili (tangibletangible), facendo da ponte tra ), facendo da ponte tra mondi reali e virtuali.mondi reali e virtuali.

Mixed Reality BoundariesMixed Reality Boundaries• Mixed reality boundaries Mixed reality boundaries (Benford et al, (Benford et al,

1998). 1998). http://www.crg.cs.nott.ac.uk/research/technologiehttp://www.crg.cs.nott.ac.uk/research/technologies/mixed/s/mixed/

• Trasmitte informazione tra ambienti reali e Trasmitte informazione tra ambienti reali e virtuali per dare la sensazione che sono virtuali per dare la sensazione che sono aggiacenti ma che costituiscono due parte aggiacenti ma che costituiscono due parte distinti di un spazio combinato.distinti di un spazio combinato.

Mixed Reality BoundariesMixed Reality Boundaries• Una caratteristica distintiva di questa Una caratteristica distintiva di questa

approcio basato sulla nozione di confine |approcio basato sulla nozione di confine |limite | frontiera (limite | frontiera (boundaryboundary) è l’abilità a ) è l’abilità a mettere insieme diversi spazi sintettici mettere insieme diversi spazi sintettici (virtuali) e fisici (reali) in un unico insieme (virtuali) e fisici (reali) in un unico insieme composite (composite (tessellated mixed realitytessellated mixed reality))

• Si concentra sui problemi al livello Si concentra sui problemi al livello macromacro (costruire strutture larghe di (costruire strutture larghe di mixed realitymixed reality))

Mixed Reality BoundariesMixed Reality Boundaries: : proprietàproprietà• Permeability : come le frontiere influenzano Permeability : come le frontiere influenzano

l’informazione sensoriale che passa tra I spazi l’informazione sensoriale che passa tra I spazi legati. Includelegati. Include• VisibilityVisibility: che informazione visiva è permesso : che informazione visiva è permesso

attraverso la frontieraattraverso la frontiera

• AudibilityAudibility Che informazione audio è permesso Che informazione audio è permesso attraverso la frontieraattraverso la frontiera

• SoliditySolidity: l’abilità di traversare la frontiera, es : l’abilità di traversare la frontiera, es estendere metaforicamente un membro attraverso estendere metaforicamente un membro attraverso la frontiera, spingere un oggetto attraverso la la frontiera, spingere un oggetto attraverso la frontierea, passare attraverso la frontiere e frontierea, passare attraverso la frontiere e assumere il controllo di un avatar sull’altro latto assumere il controllo di un avatar sull’altro latto (side)(side)

Mixed Reality BoundariesMixed Reality Boundaries: : proprietàproprietà• Il potential per combinare diversi effetti di Il potential per combinare diversi effetti di

visibilità e audibilità, con vari gradi di visibilità e audibilità, con vari gradi di solidità permettono di definire un largha solidità permettono di definire un largha varietà di tipi di frontiere (boundary type)varietà di tipi di frontiere (boundary type)• Frontiera fisiche abituale : finestra, muri, Frontiera fisiche abituale : finestra, muri,

enclos, barrières, specchi, linee sulla terraenclos, barrières, specchi, linee sulla terra

• Nuovi : che non hanno nessun contreparte Nuovi : che non hanno nessun contreparte fisiche communefisiche commune

Mixed Reality BoundariesMixed Reality Boundaries: : proprietàproprietà• SituazioneSituazione: concerne la relatione spaziale tra le : concerne la relatione spaziale tra le

frontiere MR, I spazi fisici e virtuali, I partecipanti e frontiere MR, I spazi fisici e virtuali, I partecipanti e gli oggetti:gli oggetti:• LocalizazioneLocalizazione: la posizione della frontiera negli spazi : la posizione della frontiera negli spazi

connessi (es verticale vs orizontale)connessi (es verticale vs orizontale)

• AlignmentAlignment: l’orientamento della frontiera rispetto ai : l’orientamento della frontiera rispetto ai partecipanti e oggettipartecipanti e oggetti

• MobilityMobility: se la frontiera è statica o si muovo nello : se la frontiera è statica o si muovo nello spazio e nel tempospazio e nel tempo

• SegmentazioneSegmentazione: se la frontiera e costituta da un o : se la frontiera e costituta da un o diversi segmentidiversi segmenti

• Spatial consistencySpatial consistency: come le coordinate spaziale di un : come le coordinate spaziale di un sistema sono connessi al l’altro.sistema sono connessi al l’altro.

Mixed Reality BoundariesMixed Reality Boundaries: : proprietàproprietà• DynamicsDynamics: concerne le proprietà temporale della : concerne le proprietà temporale della

frontiera, includefrontiera, include• LifetimeLifetime: se riferisce al quando e per quanto tempo : se riferisce al quando e per quanto tempo

la frontiera esisterala frontiera esistera

• ConfigurabilityConfigurability : descrive come dinamicamente le : descrive come dinamicamente le varie caratteristiche della frontiere possano varie caratteristiche della frontiere possano cambiarecambiare

• SymmetrySymmetry : se riferisce a quanto le caratteristiche : se riferisce a quanto le caratteristiche delle frontiere sono configurate segondo il spazio delle frontiere sono configurate segondo il spazio cossiderrato da entrambi le partecossiderrato da entrambi le parte

• RappresentazioneRappresentazione: describe come la proprietà delle : describe come la proprietà delle frontiere sono resi visibili ai partecipanti, e che frontiere sono resi visibili ai partecipanti, e che mezzi di rappresentazione sono usate.mezzi di rappresentazione sono usate.

Tangible BitsTangible Bits• L’approcio sviluppato da Ishii et al. al MIT Media L’approcio sviluppato da Ishii et al. al MIT Media

Lab (Ishii & Ullmer, 1997)Lab (Ishii & Ullmer, 1997)• Tangible BitsTangible Bits: gli utenti possono afferrare e : gli utenti possono afferrare e

manipulare (manipulare (“grasp and manipulate”“grasp and manipulate”) i bits, perchè ) i bits, perchè questi bits sono accoppiati con oggetti fisici del questi bits sono accoppiati con oggetti fisici del quotidiano e con superficie archittetturali. I bits quotidiano e con superficie archittetturali. I bits diventano tangibili (diventano tangibili (tangibletangible), facendo da ponte tra ), facendo da ponte tra mondi reali e virtuali.mondi reali e virtuali.

• Gli utenti diventano coscienti anche Gli utenti diventano coscienti anche dell’informazione contenuta nel loro ambito dell’informazione contenuta nel loro ambito ((background’s bitsbackground’s bits) perchè possono usare come ) perchè possono usare come media la luce, il suono, I correnti d’aria o I media la luce, il suono, I correnti d’aria o I movimenti dell’acquamovimenti dell’acqua

Tangible BitsTangible Bits• Tangible Bits sono stati il primo approcio Tangible Bits sono stati il primo approcio

dei Tangible User Interfaces (TUIs), dando I dei Tangible User Interfaces (TUIs), dando I primi concetti di base per molti interfacci primi concetti di base per molti interfacci attualiattuali

Physical instantiation of GUI elements in TUI (Ishii and Ullmer, 1997)

Tangible Bits: PrototypesTangible Bits: Prototypes

metaDESK (Ishii and Ullmer, 1997)

ambientROOM (Ishii and Ullmer, 1997)

Phicons

transBOARD(Ishii and Ullmer, 1997)

Esempi di MR ApplicationsEsempi di MR Applications

Medical applications

Simulators

The Internet Foyer (Benford et al., 1998)(Mixed Reality Boundaries)

Museum and cultural applications

Esempi di MR DevicesEsempi di MR Devices

Head-Mounted Display (HMD)

Computer Aided Virtual Environment (CAVE) adopted by Miele for the development of their products

Data gloves

Quadro concettuale Quadro concettuale ((Conceptual FrameworkConceptual Framework))

• Diversi quadri concettuali sono stati proposti per creare sistemi multimodaliDiversi quadri concettuali sono stati proposti per creare sistemi multimodali ..• Non sono archittetturi, ma livelli di astrazione superiore all’archittetturaNon sono archittetturi, ma livelli di astrazione superiore all’archittettura

• Non indicano come I componenti devono essere allocati ai dispositivi hardware ne Non indicano come I componenti devono essere allocati ai dispositivi hardware ne parlano della communicazione tra dispositiviparlano della communicazione tra dispositivi

• Quadri concettuali sono stati sviluppati per sistemi multimodali dedicati alla Quadri concettuali sono stati sviluppati per sistemi multimodali dedicati alla communicazione verbale o non-verbale.communicazione verbale o non-verbale.

HCI e Sistemi multimodali. 2 concetti chiave : 2 concetti chiave : HCI Design : studi delle...

Documents

Transcript of HCI e Sistemi multimodali. 2 concetti chiave : 2 concetti chiave : HCI Design : studi delle...