1

Complementi di Interazione Uomo-Macchina

Dr. Marco Cristanie-mail: marco.cristani@univr.itufficio: Stanza 47, Ca Vignal 2

Università di VeronaFacoltà di Scienze MM.FF.NN.

Corso di Laurea Specialistica in Sistemi Intelligenti e Multimediali

Lezione 8 – The day after WIMP

2

Preambolo• Legge di Moore

– 5 anni ~ 10x avanzamento– 10 anni ~ 100x avanzamento– 20 anni ~ 10000x avanzamento

• La legge di Moore non vale per le interfacceuomo-macchina

Prima motivazione:

3

Preambolo (2)

• Non esiste legge di Moore per le persone…

Seconda motivazione:

4

Evoluzione delle interfacce uomo-macchina

• Il fulcro di avanzamento in un’interfaccia è datodal meccanismo di interazione che essapropone

Numerose alternative, nessuna preponderantePost-WIMP interfaces

5

Stato dell’arte

• Dal punto di vista commerciale

6

The day after WIMP

• Starring:– Perceptual user interfaces

• Affective computing, Human-Robot Interaction, Social Computing

– Ambienti immersivi• Wearable computer, Realtà virtuale

– Ubiquitous computing• Realtà pervasiva

– Tangible UI• Realtà aumentata

7

Perceptual user interfaces - Motivazione

• Recenti ricerche sociologiche e psicologiche hanno cercato dicapire come le personeinteragiscono con le macchine

• Risultato assodato: le interazioni con i computer tendono ad essere sociali e naturali[1] B. Reeves and C. Nass, The Media Equation: How People Treat Computers, Television, and NewMedia Like Real People and Places, Cambridge University Press, September 1996.

Find more...

8

Verso l’interazione sociale

• Equazione fondamentale [Reeves and Nass]media = real-life

• Motivazione:– Per secoli, l’interazione su cui si è addestrato l’essere

umano è quella sociale (con altri esseri umani)motivazione d’istinto

• Sintesi del ragionamento– Rendere antropomorfe

• Le interfacce• Le interazioni

9

Interfacce antropomorfe

• Interfacce “antropomorfe”– Cercano un omomorfismo tra uomo e interfaccia

AIBOQRIO

Courtesy of Sony

10

Interfacce antropomorfe

• Possibile autogol [Schneidermann]:– Interfacce antropomorfe precludono all’utente umano un chiaro

modello mentale di ciò che è possibile proporre all’interfaccia e cosa aspettarsi dall’interfaccia in risposta a determinate azioni.

– Il test di Turing insegna…– Il golfo di esecuzione e valutazione diventano enormi (ovvero non

si ha più controllo e predizione)

• MA: – Per contro, valgono gli esperimenti di Wexemblat

• “Don’t anthropomorphize computers; they hate that!”B. Shneiderman, “A nonanthropomorphic style guide: overcoming the humpty dumpty syndrome,”The Computing Teacher, 16(7), (1989) 5.A. Wexelblat, “Don't Make That Face: A Report on Anthropomorphizing an Interface,” in IntelligentEnvironments, Coen (ed.), AAAI Technical Report SS-98-02, AAAI Press, 1998.

Find more...

11

Interfacce antropomorfe

• Soluzione: – Computer come tool niente interfacce antropomorfe

• Vedi interfacce user pre-emptive– WIMP

– Computer come collaboratore antropomorfismo• Vedi interfacce system pre-emptive

– Bancomat– Foto tessere self-service

– mimesi

12

• Favorire interazioni tra la semantica dell’utente e le potenzialità della macchina, tramite traduzioni fra diversi linguaggi

• Ciclo di Abowd e Meale, include in maniera esplicita la macchina, a differenza di quello di Norman

• 4 componenti:

• Ogni componente ha il suo proprio linguaggio

Il ruolo di un’interfaccia utente

13

• Il ciclo interattivo è composto da 4 fasi1. Articolazione2. Prestazione3. Presentazione4. Osservazione

• Ogni fase sussiste nella traduzione tra i due linguaggi adiacenti

• I problemi nascono quando la traduzione è difficile o impossibile (vincoli di HW in 1,2, vincoli umani in 4)

4. Osservazione

1. Articolazione2. Prestazione

3. Presentazione

linguaggio base

linguaggio dei compiti

14

4. Osservazione

1. Articolazione2. Prestazione

3. Presentazione

linguaggio base

linguaggio dei compiti

Dalla parte dell’uomo - tempistiche

• Che tempistiche devo usare per – D: trasmettere all’utente la sensazione di causalità ad un suo input?– R:

• MIN: Due stimoli all’interno dello stesso ciclo del perceptual processor (TP =~100ms) appaiono fusi, e la fusione è sinonimo di causalità(vedasi doppiaggio dei film: labbra contemporaneamente in movimento con lo speech determinano causalità)

• MAX: dopo 10 secondi, la memoria sensoriale si svuota (recency effect)

uomo = perceptual processor

recency effect

15

4. Osservazione

1. Articolazione2. Prestazione

3. Presentazione

linguaggio base

linguaggio dei compiti

Dalla parte dell’uomo - tempistiche• Che tempistiche devo usare per

– D: aspettare una reazione causale da parte dell’utente ad un input della macchina?

– R: Dopo aver definito il movimento, applico la Legge di Fitts

Movimento•Tempo richiesto per rispondere ad uno stimolo = tempo di reazione + tempo di movimento•Il tempo di movimento dipende dall’età, dalla forma fisica, etc.•Il tempo di reazione dipende dal tipo di stimolo:

–visivo: 200 ms–uditivo: 150 ms–dolore: 700 ms

•la necessità di tempi di reazione brevi può limitare l’accuratezza in un operatore novizio, ma non in uno esperto.

16

• La legge di Fitts descrive il tempo impiegato per colpire un obiettivo nello schermo Mt = a + b log2 (D/S +1)dove – a e b sono costanti determinate empiricamente – Mt è il tempo motorio– D è la distanza– S è la dimensione

DS

17

• L’obiettivo in generale deve essere

– più largo possibile

– più vicino possibile

Il tempo necessario per raggiungere ilbottone è lo stesso nei due casi

STAR

T

18

PUI - definizione

• Interfacce interattive, percettive e multimodalimodellate secondo il modello di interazione umano/umano

– percettive• Offrono capacità percettive simili

all’uomo– Cosa sta dicendo l’utente– Cosa sta facendo l’utente– Dov’è l’utente– Chi è l’utente

– multimodali• Accettano/producono modalità

multiple per lo scambio di informazioni

Contesto

Semantica offerta dall’utente

Organizzazione aree di ricerca

19

Perceptual User Interface - definizione

• Interfacce interattive, percettive e multimodali modellate secondo il modello di interazione umano/umano

INTERAZIONE NATURALE PERCEPTUAL USER INTERFACEnostro corso

20

Perceptual User Interface – problemi aperti

• l’interazione avviene tramite eventi percettivi– gesti con significato atomico (anche chiamati back channel)– sentenze analisi del linguaggio, area di ricerca a sé stante

• Problema: non esiste una definizione oggettiva di evento percettivo– gesti dipendenti dal contesto

• deittici, pittografici, cinetografici, metaforici

• Soluzioni– vincolare la gamma di gesti plausibili, per una gamma di

interazioni pre-fabbricate– creare interazioni ex-novo, previo learning (training di un

classificatore)

21

Perceptual User Interface – 2 ostacoli

1. Tecnologia (ostacolo “facile” da superare)– Ricercatori ovunque e focalizzati su differenti aspetti– Interesse crescente – Progresso consistente– rimane il test di Turing…

2. Mercato (difficile)– PUI generalmente costose (necessità di sensori)– pragmaticamente, le PUI penetrano nel mercato grazie a

• biometria• sorveglianza• entertainment (poco)

22

23

• L’obiettivo è di creareuna interfaccia in gradodi trascrivere unavideoconferenza, aggiungendoinformazioni semantiche– back channel– gesti deittici

Perceptual User Interface per la trascrizione di conferenze

24

• Importante• Continuo

– Indica interesse

• Sporadico– Trasmette senso di impegno– Indica presenza sociale

• La comunicazione non visiva perde questi input• Una comunicazione remota visiva poco accurata

peggiora la situazione

Il contatto visivohttp://research.microsoft.com/~larryz/GazeAwareness.pdf

25

• La conversazione ha una struttura fondamentale: turn taking

• Il turn taking si struttura– tramite lo scambio reciproco di proposizione– tramite l’utilizzo di back channel

• Back Channel– Cenni, smorfie, scrollate di spalle, piccoli rumori– aiutano, rafforzano l’interpretazione semantica delle proposizioni– la sostituiscono– essenziali, provate...

Back channel, conferma e interruzioni

26

Informatica pervasiva e realtàarricchita

27

• Vuole rompere con il paradigma tradizionale dascrivania

• Sposta la potenza computazionale nell’ambiente

• E’ l’interfaccia che individua e serve l’utente

• Queste definizioni sono date da Mark Weiser

La ricerca sulle applicazioni dell’informatica pervasiva

http://www.cs.utah.edu/~sgoyal/pervasive/Find more...

28

• Innumerevoli sinonimi, che testimoniano unabranca della scienza in sviluppo capillare e parallelo– Ubiquitous Computing (Mark Weiser, 1991)– The Invisible Computer (Don Norman, 1998)– Disappearing Computer (European IST, 2000)

• Termini in relazione:– Appliance Computing– Pervasive Computing– Situated Computing– Ambient Intelligence– Calm Computing– Ambient Displays– Context-Aware Computing

29

• Tre problemi nella realizzazione diun’interfaccia pervasiva1. Definizione dell’esperienza d’interazione fisica

appropriata

2. Scoperta di temi applicativi

3. Presenza di teorie per progettare e valutarel’esperienza umana all’interno dell’informaticapervasiva

30

• Principio fondamentale: abbandonare la scrivaniacome terreno di interazione

• Due concetti fondamentali: input e output impliciti

– Input implicito: sono azioni e comportamenti umaniche sono effettuati per raggiungere un goal e che non sono intesi primariamente come interazioni con computer, ma che dai computer sono catturati, riconosciuti ed interpretati come input

1.La definizione dell’esperienza d’interazione fisica

31

– Output implicito: output di un computer chenon è relazionato ad un input esplicito e che èintegrato con l’ambiente e con gli scopidell’utente in maniera trasparente

32

– le interazioni naturali con l’ambiente fisicoforniscono un input sufficiente a molti servizi

– l’interazione diviene cosi’• incidentale

• poco intenzionale

Obiettivo

Intenzione

Azione 1

Azione n

...

Stato del sistema

42

1 5=?

Azione 1

Azione n

...3

Stato del sistema67

33

– le interazioni naturali con l’ambiente fisicoforniscono un input sufficiente a molti servizi

– l’interazione diviene cosi’• incidentale

• poco intenzionale

Obiettivo

Intenzione

Azione 1

Azione n

...

Stato del sistema

42

1 5=?

Azione 1

Azione n

...3

Stato del sistema67

Input implicito

Output implicito

34

35

• Esempi

http://www.bradleyrhodes.com/Papers/wearables-in-2005/Find more...

36

• Non si parla più di interfacce interattive, ma di interfacce percettive

• Il compito principale è il riconoscimento– Esempi

• Interfacce a sfioramento

• Interfaccio a riconoscimento vocale

• Altri compiti sono: – l’acquisizione di dati multimodali

• Esempio: sensori RFID

l1

Diapositiva 36

l1 Esempilinmi; 01/05/2006

37

• Esempi:

http://www.hcilab.org/documents/UbiquitousComputingComputingAndInteractionInContext.pdfFind more...

38

• Un’interfaccia pervasivaideale sarà quella chestabilirà l’identità, la posizione o l’attività di un utente attraverso la solapresenza e le interazioninaturali all’interno di un ambiente

• Interfacce con talicaratteristiche sono giàall’ordine del giorno

39

• In certi casi non svolgono compiti per migliorare i compiti dell’uomo, ma per monitoraggio

• Si parla di interfacce di videosorveglianza

Hitachi’s 0.3 mm mu chip RFID tags in use at Extra “Future Store” in Rheinberg, Germany

40

Esempi di interfacce pervasive di video sorveglianza

Tags could not be “killed” as promised

Benetton told consumers the tags could be “killed”at checkout, while Philips documentation revealed the tags could only be made “dormant.”

www.BoycottGillette.comFind more...

41

• Requisito essenziale per l’invisibilitàdell’interfaccia è che deve cambiare aspetto

• Weiser ha definito una rozza tassonomia diinterfacce pervasive, basata sulle loro dimensioni1. il pollice (circa 2.5 cm)

2. il piede (circa 30 cm)

3. la iarda (circa 90 cm)

Verso l’output distribuito e sularga scala

42

• Alla classe 1 appartengono i dispositivi recentid’interazione

– PDA, cellulari, cercapersone

• Alla classe 2 appartengono i dispositivi usualidell’interazione, con basso tasso di pervasività

– portatili, tastiere, schermi

• Alla classe 3 appartengono nuovi apparati– Video wall

– Specialmente per quest’ultima classe, l’ambito dellacomunicazione tra dispositivi è ambito di ricerca vergine ed in fermento (esempio)

43

• Una soluzione all’invisibilità richiesta per le interfacce pervasive: integrare manufatticomputazionali con manufatti fisici

Integrazione tra mondo fisico e virtuale

44

• In che ambiti investire nell’informatica pervasiva– Comunicazione interpersonale

– (Esempi)

• Oltre alla fusione fisica di mezzi computazionali con manufatti fisici, obiettivi astratti dell’informatica pervasivasono1. Utilizzo del contesto da parte dei dispositivi

2. Rilevamento e utilizzo di esperienze personali

• Si parla anche di informatica quotidiana

2. Temi applicativi per l’informatica pervasiva

45

• Un informazione contestualesemplice ma effettiva è la posizione geografica, ossiadove– rispetto all’utente particolare,

vedi i sistemi di mappaggio GPS

– rispetto a più utenti, vediSentient Computing Project

Contesto nell’informatica pervasiva

• Il contesto è tutto ciò che aiuta un’interazione ad esserequanto più fruttuosa possibile per l’utente

46

• quando– Ad oggigiorno, le applicazioni di informatica

pervasiva che tengono conto del tempo sonomolto poche• di nuovo, l’eccezione è composta dalla video

sorveglianza.

• che cosa• perché

47

• Esempio: memex, Vannevar Bush

Registrazione e accesso automatici

• La raccolta di esperienze è essenziale nello sviluppodella persona

• Vi sono dei limiti umani alla raccolta di esperienze• L’informatica pervasiva vuole intervenire;

– la registrazione e l’accesso vengono effettuati su esperienze– il fine è quello di preservare la registrazione di un’esperienza di

vita in modo che possa essere riesaminata successivamente

48

Verso l’interazione continua• Un’accezione di informatica pervasiva: informatica

quotidiana• L’informatica si sposta da uno strumento localizzato a

una presenza costante• Promuove attività, ossia insiemi di compiti ben definiti• Le attività sono differenti dai compiti, ai quali

corrispondono ben definiti cicli di interazione• Esempi di attività:

– Organizzazione della vita quotidiana– gestione delle informazioni personali

49

• Caratteristiche delle attività:– raramente hanno un’inizio e una fine chiari;– raramente sono atomiche, ossia sono interrotte (da altre attività)– possono essere eseguite in maniera parallela, poco coordinata

• Riassumendo, le attività sono– composte da eventi– gli eventi producono, trasformano informazioni– gli eventi sono connessi tra di loro in maniera altamente non

lineare– da ciò ne consegue che le informazioni trattate devono poter

essere collegate tra di loro in maniera associativa

• l’informazione deve poter essere scritta in forma ipertestuale

50

Comprensione dell’interazione nell’informatica pervasiva

• L’operazione fondamentale della comunicazione trauomo e macchina è dato da dei modelli ciclici– Modello di Abowd, Norman

• Nel caso di informatica pervasiva, tali modelli non valgono più.

• Ci sono altri modelli alternativi, forte intersezione allasociologia:– Teoria delle attività– Azione situata– Cognizione distribuita

51

Capire il comportamento umano

• Crediamo che le persone vivano secondo le lororegole di comportamento e la conoscenzaimplicita, cosicchè le cose più potenti risultanoquelle effettivamente invisibili durante l’uso

• In pratica, un’interfaccia pervasiva si inserisce in un contesto di quotidianità

• Bisogna dare una definizione di quotidianità• Quotidianità = insieme ben definito di attività

effettuate regolarmente

52

• La quotidianità si riferisce– rispetto ad un singolo soggetto– rispetto ad una comunità

• L’informatica pervasiva si rivolge allaquotidianità della comunità

• Per capire quali sono le attività tipiche di una comunità si usano metodi etnografici

• Si usano persone (sociologi), le sonde culturali

53

3.Valutazione delle sfide per l’informatica pervasiva

• L’informatica pervasiva serve?• Per una risposta, servono tecniche di valutazione• Problema:

– le tecniche di valutazione controllano che soluzionideterminate risolvano problemi determinati

– un primo motivo dell’inesistenza di tecniche divalutazione per l’informatica pervasiva è che non si ha chiaro quali siano i problemi che essa debba risolvere

54

– un secondo motivo è dato dalla limitatezza di possibilità di creazione di ambienti di laboratorio in cui valutare le interfacce di informatica pervasiva

– la creazione di ambienti di laboratorio annulla lo scopo principale dell’informatica pervasiva, ossia inserire dei manufatti computazionali negli ambienti quotidiani, per risolvere problemi quotidiani

– infatti i laboratori non sono ambienti quotidiani– l’unica possibilità di verifica rimane quella basata su

intervista

55

la natura dell’esperienzaumana è basata sullapartecipazione all’internodell’ambiente (Heidegger)

56

Realtà virtuale e arricchita• VR• si riferisce alla simulazione generata al computer di un

mondo, o di una parte di esso, in cui l’utente vieneimmerso

• permette all’utente di sperimentare situazioni che sono– troppo pericolose– troppo costose

da vivere “in carne ed ossa”

57

• Che cosa viene inteso come realtà virtuale– uomo ricoperto di sensori: è una parte della

realtà virtuale, qualla più antica, ossia la realtà virtuale immersiva

• Che cosa è anche realtà virtuale– realtà virtuale da scrivania– situazioni di comando e controllo– realtà arricchita– telemedicina

58

La tecnologia della realtàvirtuale

• Casco 3D• Guanto• Altro!

http://old.sydney.siggraph.org.au/conference/2002/html/extras.html

Find more...

http://www.cg.tuwien.ac.at/courses/SpecialTopicsVR/VU.htmlFind more...

59

La realtà virtuale immersiva

• Scopi1. creare ambienti che

riproducono fedelmente ilmondo reale

2. creare visualizzazioni di oggettialtrimenti invisibili sovvrappostial mondo reale (correnti divento, correnti elettriche etc)

3. creare rappresentazionimanipolabili di oggettialtrimenti non visibili ne’manipolabili nel mondo reale.

http://www.viz-tek.com/index-main.htmlFind more...

60

La realtà virtuale sulla scrivania e a casa

• Una branca sostanziale dell’industria videoludica creamondi virtuali

• La diffusione di tale fenomeno è grande• Necessità di inserimento di un linguaggio standard di

realtà virtuale– VRML (Virtual Reality Markup Language)– permette di creare mondi tridimensionali accessibili, trasportabili.

61

Comando e controllo

• La realtà virtuale risulta utile nel momento in cui l’uomo si trovi ad esercitare comando e controlloin ambienti a rischio– simulatori di volo– simulatori di situazioni a rischio (applicazioni militari)

http://en.wikipedia.org/wiki/Virtual_realityFind more...

62

La realtà arricchita

• Nei sistemi di realtà arricchita le immaginielettroniche vengono proiettate sul mondoreale

• La nostra capacità di percepire il mondoviene arricchita da input sovrapposti al mondo stesso– wearing computing– smart room

• Problema di allineamento o registrazione

63

Applicazioni correnti e future della realtà virtuale

• Medicina– telemedicina– feedback basato sulla forza

• Psicologia– cura della fobia

64

• Arte

http://www.netzwissenschaft.de/perfb.htmFind more...

65

• La realtà virtuale è morta?– non direi...

• Technological development– 2010-2015: video-realistic graphics based on general-purpose stable

rendering systems. – 2015-2020: integrated persistent worlds. – 2015-2020: global physics with unlimited world complexity and

simulation of most physical aspects. – 2015-2020: sufficiently good non-human and domain specific human AI. – 2015-2025: programmatic sound. Most aspects of reality can be

simulated sufficiently well. – 2015-2025: realistic simulations of all senses (through brain-computer

interface). – 2030+ : good human-level artificial intelligence. – 2045+ : uploading and life in virtual reality

http://future.wikia.com/wiki/Virtual_reality

Find more...

66

Visualizzazione delle informazioni e dei dati

• L’idea è che nel mondo virtuale possono essereinseriti e visualizzati dati astratti che diventanocosì tangibili

• Si ha la cosiddetta visualizzazione scientifica– dati 3D puri: galleria del vento– dati 2D + valore: immagini– dati vettoriali non spaziali