Lezione 13 - 26 Aprile 2004 1

Altri paradigmidi interazione uomo-computer

Lezione 13 - 26 Aprile 2004 2

Le 4 fasi

1960 1970 1980 1990 2000

Teletype

Terminali video

Personal computer

Web?

Lezione 13 - 26 Aprile 2004 3

Altri paradigmi

Pen computer (“leggi e scrivi”) Interfacce vocali (“parla e ascolta”) Interfacce immersive (“entra e agisci”) Agenti intelligenti (“fammi questo”)

Lezione 13 - 26 Aprile 2004 4

Pen computer

“Leggi e scrivi”

Lezione 13 - 26 Aprile 2004 5

Scrittura a mano libera

Stilo e touch screen

Tre possibili approcci:• memorizzazione dei segni senza riconoscimento

• riconoscimento delle singole lettere

• riconoscimento delle parole e frasi

Lezione 13 - 26 Aprile 2004 6

Riconoscimento delle singole lettere

Il software dispone di un dizionario di simboli elementari (lettere, cifre, caratteri speciali) ericonosce separatamente ogni singolo “graffito” disegnato con lo stilo sul touch-screen

Esempio: Graffiti, di Palm Pilot

Lezione 13 - 26 Aprile 2004 7

Palm Pilot

Lezione 13 - 26 Aprile 2004 8

Lezione 13 - 26 Aprile 2004 9

Punctuation shift

Lezione 13 - 26 Aprile 2004 10

Lezione 13 - 26 Aprile 2004 11

Riconoscimento di parole e frasi

• Obbiettivo molto più ambizioso, perseguito dalla Apple col Netwon Message Pad

• Tecniche di apprendimento progressivo, per ogni singolo utente

• La tecnologia è tuttora immatura, non ha avuto successo commerciale

Lezione 13 - 26 Aprile 2004 12

Interfacce vocali

“Parla e ascolta”

Lezione 13 - 26 Aprile 2004 13

“Parla e ascolta”: tecnologie

• Sintesi del parlato– text-to-speech, ...

• Riconoscimento del parlato– sistemi di dettatura, ...

• Parlato interattivo– Interactive Voice Response Systems,...

Lezione 13 - 26 Aprile 2004 14

Text-to-speech

Lezione 13 - 26 Aprile 2004 15

Lezione 13 - 26 Aprile 2004 16

Lezione 13 - 26 Aprile 2004 17

Lezione 13 - 26 Aprile 2004 18

Lezione 13 - 26 Aprile 2004 19

Lezione 13 - 26 Aprile 2004 20

Riconoscimento del parlato

Lezione 13 - 26 Aprile 2004 21

Riconoscimento del parlato

difficile

vocabolario

connected speech

speakerindependence

facile

Lezione 13 - 26 Aprile 2004 22

Sistemi di dettatura

Oggi esistono sistemi commerciali in grado di riconoscere con “ragionevole precisione” parlato connesso, indipendente dal parlante (previo addestramento), con ampio vocabolario (in molte lingue)

Es.: Dragon Systems Naturally Speaking, IBM ViaVoice, Lernout&Hauspie Speech Products, ...

Lezione 13 - 26 Aprile 2004 23

Sistemi di dettatura: aspetti

- Tutte le lingue principali (con possibilità di definizione di dizionari utente)

- Breve fase di addestramento iniziale, e possibilità di addestramento continuo

- Vasto set di comandi vocali (amodalità)

- Alto tasso di errore (errori non predicibili)

- Correzioni con comandi vocali richiedono tempo

Lezione 13 - 26 Aprile 2004 24

Sempre caro mi fu quest'eremo colle, ermo

e questa siepe, che da tanta parte

dell'ultimo orizzonte riguardo esclude. il guardo

Ma sedendo e mirando, in terminati interminati

spazi di là da quella, e sovrumani

silenzi, e profondissima quiete

Dio nel pensiero mi fingo; ove per poco io

il corno si sta un'ora. E come il vento cor non si spaura

odo stormire fra queste piante, io quello

infinito silenzio a questa voce

un po' comparando: e mi sovviene l'eterno, vo

e le molte stagioni, e la presente

visiva, è il suon di lei. Così tra questa e viva

immensità s'annega il pensiero mio:

e il naufragar m'è dolce in questo mare con .

(Dragon Naturally Speaking)

Lezione 13 - 26 Aprile 2004 25

Sistemi di dettatura: conclusioni

• Per non “perdere il controllo” è necessario attendere che la frase dettata compaia sullo schermo, e procedere subito ad eventuali correzioni

• L’interazione diviene spesso “naturalmente” multi-modale (voce + tastiera e mouse)

• Tranne che per persone particolarmente addestrate, la tastiera si rivela ancora più efficiente della dettatura

…. still a long way to go

Lezione 13 - 26 Aprile 2004 26

Interactive Voice Response Systems (IVR)

Esempi:

- informazioni sui voli

- package-tracking services (spedizioni)

- …

Lezione 13 - 26 Aprile 2004 27

I 5 sensi:- vista - olfatto- udito - gusto- tatto

Quali sensi?

Multimodalità

Ci sono molti possibili canali di comunicazione fra uomo e computer: li possiamo sfruttare tutti?

UOMO COMPUTER

Lezione 13 - 26 Aprile 2004 28

Gestualità

Come indicare le cose

• movimento del cursore (tasti, mouse)

• touch screen

• gesti

• eye tracking

Lezione 13 - 26 Aprile 2004 29

Gesti: Put that there

Lezione 13 - 26 Aprile 2004 30

Gesti: Put that there

Lezione 13 - 26 Aprile 2004 31

Gesti: Put that there

Lezione 13 - 26 Aprile 2004 32

Puntamento a mano libera

Lezione 13 - 26 Aprile 2004 33

Movimenti oculari

Saccades

Movimenti oculari veloci (durante i quali la visione è soppressa), che hanno il compito di spostare l’asse visivo durante l’esplorazione di una scena

Fissazione

Pausa tra due saccades successive; rappresenta l’intervallo di tempo durante il quale viene acquisita l’informazione visiva

Scanpath

Tracciato bidimensionale che gli occhi compiono durante l’esplorazione di una scena, composta da una successione di saccades e di fissazioni

Lezione 13 - 26 Aprile 2004 34

Eye-tracking

Video-oculografia non intrusiva

Una sorgente di infrarossi colpisce la cornea generando il riflesso corneale che rende luminosa la pupilla; una videocamera riprende la posizione della pupilla e un software opportuno ricostruisce il movimento compiuto dallo sguardo del soggetto durante l’esplorazione della scena

Sistema EyeGaze

Lezione 13 - 26 Aprile 2004 35

Lezione 13 - 26 Aprile 2004 36

Interfacce immersive

“Entra e agisci”

Lezione 13 - 26 Aprile 2004 37

Interfacce immersive: esempi

• Simulatori- simulatori di volo- auto- moto- ...

• Adventure games

• Realtà virtuale

Lezione 13 - 26 Aprile 2004 38

DOOM

Lezione 13 - 26 Aprile 2004 39

Lezione 13 - 26 Aprile 2004 40

Realtà virtuale

Lezione 13 - 26 Aprile 2004 41

Telepresenza

Lezione 13 - 26 Aprile 2004 42

Telepresenza

Lezione 13 - 26 Aprile 2004 43

ARTIFICIAL LIFE

Lezione 13 - 26 Aprile 2004 44

Lezione 13 - 26 Aprile 2004 45

Agenti intelligenti

“Fammi questo”

Lezione 13 - 26 Aprile 2004 46

Assistenti Windows 95

Lezione 13 - 26 Aprile 2004 47

Lezione 13 - 26 Aprile 2004 48

Concezioni

il sistema comestrumento

il sistema come partner