Corso di Interazione Uomo-Macchina I

Paolo Bottoni

Lezione 10: Tecniche di Valutazione

Lucidi tradotti e adattati dal materiale presente sul sito http://www.hcibook.com/e3/resources/

23/12/09IUM-I 2

Tecniche di valutazione

• Valutazione– Verifica usabilità e funzionalità sistema.

– Avviene in laboratorio, su campo, o in collaborazione con utenti.

– Valuta sia progetto sia implementazione.

– Andrebbe considerata a ogni stadio ciclo di vita progetto.

23/12/09IUM-I 3

Obiettivi della valutazione

• Stabilire estensione funzionalità di sistema.

• Stabilire effetto interfaccia su utente.

• Identificare problemi specifici.

Valutazione dei progetti

Passeggiate cognitiveValutazione euristica

Valutazione basata su revisioni

23/12/09IUM-I 5

Passeggiate cognitive I

Proposte da Polson et al.– Valuta progetto su quanto supporta utenti in compiti di

apprendimento.– Solitamente eseguite da esperti in psicologia cognitiva.– Esperti "passeggiano attraverso" progetto per identificare

potenziali problemi usando principi psicologici.– Moduli usati per guidare analisi.

23/12/09IUM-I 6

Passeggiate cognitive II

• Per ogni passeggiata in compito considera:– Che impatto avrà interazione su utente?– Quali processi cognitivi sono richiesti?– Quali problemi di apprendimento possono presentarsi?

• Analisi si focalizza su obiettivi e conoscenza: progetto porta utente a generare obiettivi corretti?

23/12/09IUM-I 7

Valutazione euristica

• Proposta da Nielsen e Molich.

• Vengono identificati criteri di usabilità (euristiche).• Progetto esaminato da esperti per vedere se

vengono violati.

• Euristiche di esempio– Comportamento sistema predicibile.– Comportamento sistema coerente.– Viene fornita informazione di retroazione.

• Valutazione euristica trova errori di progetto.

23/12/09IUM-I 8

Valutazione basata su revisioni• Risultati da letteratura usati per supportare o

rifiutare parti di progetto.

• Attenzione per assicurare che risultati siano trasferibili a nuovo progetto.

• Valutazione basata su modelli.

• Modelli cognitivi usati per filtrare opzioni di progetto– es. Predizioni GOMS delle prestazioni utente.

• Motivazioni progetto possono fornire informazioni utili per valutazione.

Valutazione attraverso partecipazione utente

23/12/09IUM-I 10

Studi di laboratorio

• Vantaggi:– Disponibile equipaggiamento specialistico.– Ambiente senza interruzioni.

• Svantaggi:– Mancanza di contesto.– Difficile osservare più utenti che cooperano.

• Appropriato– Se collocazione sistema è pericolosa o non pratica.– Per sistemi a utente singolo per permettere manipolazione

uso controllata.

23/12/09IUM-I 11

Studi di campo

• Vantaggi:– Ambiente naturale.– Contesto mantenuto (ma osservazione può alterarlo).– Possibili studi longitudinali.

• Svantaggi:– Distrazioni.– Rumore.

• Appropriato– Quando contesto cruciale per studi longitudinali.

Valutazione delle implementazioni

Richiede un artefatto:simulazione, prototipo,implementazione completa

23/12/09IUM-I 13

Valutazione sperimentale

• Valutazione controllata di aspetti specifici comportamento interattivo

• Valutatore sceglie ipotesi da verificare

• Si considerano diverse condizioni sperimentali che differiscono solo per valore di variabile controllata

• Cambiamenti nelle misure comportamentali attribuite a condizioni diverse

23/12/09IUM-I 14

Fattori sperimentali

• Soggetti– Chi – campione sufficiente e rappresentativo

• Variabili– Cose da modificare e misurare

• Ipotesi– Cosa si vorrebbe dimostrare

• Progetto dell'esperimento– Come si procederà

23/12/09IUM-I 15

Variabili

• Variabile indipendente (IV) Caratteristica cambiata per produrre condizioni diverse

Es. stile interfaccia, numero di elementi di menu.

• Variabile dipendente(DV) Caratteristica misurata in esperimento

Es. tempo impiegato, numero di errori.

23/12/09IUM-I 16

Ipotesi• Predizione risultato

– Inquadrato in termini di IV and DV

Es. “Tasso di errore crescerà a decrescere grandezza fonte"

• Ipotesi nulla:– Asserisce che non ci sono differenze fra condizioni– Obiettivo è provarne falsità

Es. ipotesi nulla = “nessun cambiamento con grandezza fonte"

23/12/09IUM-I 17

Progetto sperimentale• Progetto intra-gruppo

– Ogni soggetto esegue esperimento sotto ogni condizione– Possibile trasferimento di conoscenza– Meno costoso e meno probabile risentire di variazioni utente

• Progetto inter-gruppi– Ogni soggetto esegue sotto unica condizione– Non c'è trasferimento di conoscenza– Richiesti più utenti– Variazioni possono influenzare risultati

23/12/09IUM-I 18

Analisi dei dati

• Prima di iniziare con le statistiche– Osservare dati– Salvare dati originali

• Scelta tecnica statistica dipende da:– Tipo di dati– Informazione richiesta

• Tipo di dati– Discreti – numero finito di valori– Continui – qualsiasi valore

23/12/09IUM-I 19

Analisi – tipi di prove• Parametrica

– Assume distribuzione normale– Robusta – Potente

• Non-parametrica– Non si assume distribuzione normale– Meno potente– Più affidabile

• Tabella di contingenza– Si classificano dati con attributi discreti– Si conta numero di elementi di dati in ogni gruppo

23/12/09IUM-I 20

Analisi dei dati II

• Quale informazione è richiesta?– Ci sono differenze?– Quanto sono grandi? – Quanto è accurata stima?

• Prove parametriche e non parametriche si riferiscono principalmente a presenza differenze.

23/12/09IUM-I 21

Studi sperimentali su gruppi

Più difficili di esperimenti su utenti singoli

Problemi con: – Gruppi di soggetti– Scelta dei compiti– Raccolta dei dati– Analisi

23/12/09IUM-I 22

Gruppi di soggetti

Numero di soggetti più grande ⇒ più costoso

Tempo più lungo per "impostare"

… ancora più variabilità!

Difficile da programmare esattamente

… spesso solo tre o quattro gruppi

23/12/09IUM-I 23

Il compito

Deve incoraggiare cooperazione

Può coinvolgere diversi canali

Opzioni:– Compito creativo es. ‘Scrivere un piccolo rapporto su …’

– Giochi di decisione es. Compito di sopravvivenza in deserto

– Compito di controllo es. Impianto di imbottigliamento ARKola

23/12/09IUM-I 24

Raccolta dati

Parecchie videocamere+ tracciamento diretto dell'applicazione

problemi:– Sincronizzazione– Volume dei dati!

Una soluzione:– Registrare da ogni prospettiva

23/12/09IUM-I 25

Analisi

N.B. ampie variazioni tra gruppiSoluzioni:

– Esperimenti intra-gruppi– Micro-analisi (es. lacune in discorso)– Analisi anedottica e qualitativa

Osservare interazioni tra gruppo e media

Esperimenti controllati possono "sprecare" risorse!

23/12/09IUM-I 26

Studi sul campo

Esperimenti dominati da formazione gruppo

Studi su campo più realistici:Cognizione distribuita ⇒ lavoro studiato in contestoAzione reale è azione situataAmbienti fisico e sociale entrambi cruciali

Contrasto:psicologia – esperimento controllatosociologia e antropologia – studio aperto e dati ricchi

Metodi osservazionali

Pensare ad alta voceValutazione cooperativa

Analisi del protocolloAnalisi automatizzata

Post-passeggiata nel compito

23/12/09IUM-I 28

Pensare ad alta voce• Utente osservato mentre esegue compito• Utente descrivere cosa sta facendo, perché, cosa

pensa che stia succedendo, etc.

• Vantaggi– Semplicità – richiede poca esperienza– Può fornire utile approfondimento– Può mostrare come sistema usato effettivamente

• Svantaggi– Soggettivo – Selettivo – Atto di descrivere può alterare esecuzione compito

23/12/09IUM-I 29

Valutazione cooperativa

• Variazione su pensare ad alta voce• Utente collabora in valutazione• Utente e valutatore possono rivolgersi domande

reciprocamente durante esecuzione

• Vantaggi aggiuntivi– meno vincolato e più facile da usare– utente incoraggiato a criticare sistema– possibili chiarificazioni

23/12/09IUM-I 30

Analisi del protocollo

• Carta e matita – economico, limitato da velocità di scrittura• Audio – buono per pensare ad alta voce, difficile con altri protocolli• Video – accurato e realistico, equipaggiamento speciale, intrusivo• Memorizzazione azioni – automatico e non intrusivo, grandi

quantità di dati difficili da analizzare • Quaderni utente – grossolani e soggettivi, utili approfondimenti,

buoni per studi longitudinali• In pratica uso combinato• Trascrizione audio/video difficile e richiede esperienza• Disponibili alcuni strumenti automatici

23/12/09IUM-I 31

Analisi automatizzata – EVA (Experimental Video Annotator)• Progetto su posto di lavoro• Passeggiata dopo compito

– Utente reagisce su azione dopo evento– Usato per individuare intenzioni

• Vantaggi– Analista ha tempo di focalizzarsi su avvenimenti rilevanti– Evita eccessiva interruzione compito

• Svantaggi – Mancanza di freschezza– Può esserci interpretazione eventi ad-hoc

23/12/09IUM-I 32

Passeggiate post-compito

• Trascrizioni replicate a partecipante per commento– Immediatamente → a mente fresca– Ritardata → valutatore ha tempo per trovare domande– Utile per identificare motivi per azioni e alternative

considerate• Necessarie in casi dove non è possibile protocollo

“pensare ad alta voce”

Tecniche di inchiesta

IntervisteQuestionari

23/12/09IUM-I 34

Interviste

• Analista rivolge domande a utente faccia-a-faccia, in genere basata su domande preparate

• Informale, soggettiva e relativamente poco costosa• Vantaggi

– Può essere variata per adattarsi a contesto– Questioni possono essere esplorate più pienamente– Può far emergere viste utente e identificare problemi imprevisti

• Svantaggi– Molto soggettiva– Richiede tempo

23/12/09IUM-I 35

Conduzione dell'intervista• Introduzione – presentarsi, spiegare obiettivi, rassicurare su aspetti etici,

chiedere di registrare, presentare moduli di consenso informato. • Riscaldamento – porre per prime domande facili e non minacciose.• Corpo principale – presentare domande in ordine logico.• Periodo di raffreddamento – includere domande facili per ridurre

tensione.• Chiusura – ringraziare, segnalare fine, es. spegnere registratore.

23/12/09IUM-I 36

Questionari I

• Insieme di domande fisse date a utenti• Vantaggi

– Veloce e raggiunge grande gruppo di utenti– Possono essere analizzati più rigorosamente

• Svantaggi– Meno flessibile– Meno esplorazione

23/12/09IUM-I 37

Questionari II

• Richiedono progetto attento– Quale informazione è richiesta– Come vanno analizzate risposte?

• Stili di domande– Generali– A risposta aperta– Scalari– A scelta multipla– Ordinate

23/12/09IUM-I 38

Progetto del questionario

• Impatto di na domanda può essere influenzato da ordine domanda.• Occorrono diverse versioni questionario per popolazioni diverse?• Fornire istruzioni chiare su come completare questionario.• Stabilire equilibrio fra spazi bianchi e compattezza questionario.• Decidere se frasi saranno tutte positive, tutte negative, o miste.

23/12/09IUM-I 39

Formato di domande e risposte

• Caselle di spunta ‘SI’ e ‘NO’

• Caselle che offrono molte opzioni

• Scale di giudizio

– Scale di Likert

– Scale semantiche

– 3, 5, 7 o più punti?

• Risposte aperte

23/12/09IUM-I 40

Incoraggiare risposte utili

• Assicurarsi che scopo studio sia chiaro• Promettere anonimato• Assicurarsi che questionario sia ben progettato• Offrire versione breve in alternativa a questionario completo• Se spedito per posta, accludere busta affrancata indirizzata• Seguire con email, telefonate, lettere.• Fornire incentivo• 40% di tasso di risposta è alto, 20% spesso accettabile.

23/12/09IUM-I 41

Vantaggi di questionari online

• Risposte solitamente ricevute rapidamente• Non ci sono spese di copie e posta• Dati possono essere raccolti in base di dati per analisi• Tempo richiesto per analisi dati è ridotto• Errori possono essere corretti facilmente

23/12/09IUM-I 42

Problemi con questionari online

• Campionamento problematico se taglia popolazione sconosciuta• Impedire che si possa rispondere più volte• In questionari email, è possibile modificare domande

Metodi fisiologici

Tracciamento dell'occhioMisure fisiologiche

23/12/09IUM-I 44

Tracciamento dell'occhio

• Equipaggiamento montato su tavolo o testa traccia posizione occhio

• Movimento occhio riflette quantità di elaborazione cognitiva richiesta da schermata

• Misure riguardano:– Fissazioni: occhio mantiene posizione stabile. Numero e

durata indicano livello di difficoltà– Saccadi: movimenti rapidi occhio fra punti di interesse– Cammini di scansione: movimento diretto verso bersaglio,

con breve fissazione a bersaglio è ottimale

23/12/09IUM-I 45

Misure fisiologiche

• Risposta emotiva collegata a cambiamenti fisici• Possono aiutare a determinare risposta di utente a

interfaccia• Misure riguardano:

– Attività cardiaca, es.i pressione sanguigna, volume e polso– Attività ghiandole sudoripare: Risposta galvanica pelle (GSR)– Attività elettrica muscoli: elettromiogramma (EMG)– Attività elettrica cervello: electroencefalogramma (EEG)

• Difficoltà interpretazione di queste risposte – occorre ancora ricerca

23/12/09IUM-I 46

Scelta di metodo di valutazione

Quando in processo: progetto vs. implementazione

Stile di valutazione: laboratorio vs. campo

Quanto obiettiva: soggettiva vs. oggettiva

Tipi di misure: qualitative vs. quantitative

Livello di informazione: alto livello vs. basso livello

Livello di interferenza: intrusivo vs. non intrusivo

Risorse disponibili: tempo, soggetti, equipaggiamento, esperienza