Interazione uomo-macchina LA VALUTAZIONE Monica Perrero [email protected].

68
Interazione uomo-macchina LA VALUTAZIONE Monica Perrero [email protected]

Transcript of Interazione uomo-macchina LA VALUTAZIONE Monica Perrero [email protected].

Page 1: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Interazione uomo-macchina

LA VALUTAZIONE

Monica Perrero

[email protected]

Page 2: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

2

.

Perche’ valutare?Perche’ valutare? Spesso i progettisti pensano di avere tutti gli elementi

necessari per valutare un prodotto senza l’intervento di terzi.

Anch’io in fondo sono un utente, se il prodotto

piace a me perche’ non dovrebbe piacere agli

altri?

Anch’io in fondo sono un utente, se il prodotto

piace a me perche’ non dovrebbe piacere agli

altri?Ho seguito tutte le

linee guida dell’ergonomia,

quindi il prodotto sara’ sicuramente

usabile!

Ho seguito tutte le linee guida

dell’ergonomia, quindi il prodotto

sara’ sicuramente usabile!

Page 3: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

3

.

In realta’ moltissime variabili concorrono a formare l’opinione dell’utente su un prodotto interattivo.

Mi piace?Mi piace? E’ facile da usare?

E’ facile da usare?

E’ divertente?

E’ divertente?

Svolge le sue funzioni in

modo efficiente?

Svolge le sue funzioni in

modo efficiente?

Mi da’ soddisfazione?

Mi da’ soddisfazione?

Risponde alle mie

aspettative?

Risponde alle mie

aspettative?

Page 4: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

44

Quando valutare?Quando valutare?

Identificazione bisogni/

Definizione requisiti

Valutazione(ri)progettazione

Costruzione di una versione

interattiva Prodotto finale

4

Page 5: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

55

Il design di un prodotto e’ un processo iterativo che procede secondo cicli continui di progettazione – valutazione – riprogettazione

Valutare un prodotto solo quando e’ pronto per essere messo in commercio puo’ essere un grave errore!

Le stesse tecniche che vengono utilizzate nelle sessioni di valutazione entrano in gioco sin dalle fasi iniziali, durante la raccolta dei requisiti (si “valutano” i bisogni e le necessita’ degli utenti).

5

Page 6: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

6

Cosa valutare?Cosa valutare? L’ampiezza e l’accessibilita’ delle funzionalita’ del

sistema il sistema/prodotto deve soddisfare le aspettative dell’utente e

rendere disponibili e facilmente raggiungibili le funzionalita’ necessarie a svolgere i compiti per cui e’ stato pensato

La user experience durante l’interazione qual’e’ l’impatto che ha il prodotto sull’utente? E’ importante

considerare aspetti come la facilita’ d’uso e la velocita’ di apprendimento, l’usabilita’ e il livello di soddisfazione che genera.

Page 7: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Output della valutazioneOutput della valutazione

Best practices: soluzioni ritenute particolarmente valide, da tenere in considerazione anche per successive sessioni di progettazione.

Worst cases: pratiche di progettazione che ostacolano o condizionano negativamente l’interazione sistema-utente.

7

Page 8: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

TECNICHE DI VALUTAZIONE

ESPERTI UTENTI

chiedere

WALKTROUGHCOGNITIVI

EURISTICHE

osservarechiedere

INTERVISTE

IN LABORATORIO

SUL CAMPO

QUESTIONARI

Come valutare?Come valutare?

8

Page 9: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Chiedere agli espertiChiedere agli esperti Non e’ sempre possibile coinvolgere gli utenti nella

valutazione… Soprattutto nelle fasi iniziali della progettazione Quando non si ha a disposizione un budget adeguato

9

In questi casi ci si puo’ rivolgere ad “esperti” nella valutazione di prodotti interattivi

Page 10: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Pro: poco costose e molto veloci

Contro: si limitano a individuare problemi di usabilita’; non tengono conto dell’effettiva percezione derivante dall’utilizzo da parte di utenti reali.

E’ importante inoltre che il valutatore si limiti a evidenziare i problemi presentati e non a fornire soluzioni! (…per questo c’e’ il progettista)

Due principali tecniche: Walkthrough cognitivi Euristiche

10

Page 11: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Walkthrough cognitivi Walkthrough cognitivi Scopo principale: valutare la progettazione in termini di

facilita’ di apprendimento attraverso la simulazione del processo di problem solving di un utente in interazione con un sistema.

11

Il valutatore esamina in dettaglio (passo a passo) le azioni elementari che l’utente del sistema deve compiere per portare a buon fine ogni specifico compito, cercando di ricostruire i suoi possibili processi mentali

Page 12: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Affinche’ un esperto possa eseguire correttamente un walkthrough e’ necessario che siano presenti quattro elementi:

1) Specifica dettagliata o prototipo del sistema

2) Descrizione del compito che l’utente deve svolgere

3) Elenco completo delle azioni da svolgere per eseguire il compito

4) Indicazione di chi sono gli utenti e che tipo di esperienza e conoscenza possono avere

12

Page 13: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Per ogni singola azione il valutatore deve cercare di rispondere alle seguenti domande:

L’utente capira’ cosa deve fare e quindi cerchera’ di ottenere l’effetto corretto?

L’utente noterà che l’azione corretta è disponibile? (e’ visibile lo strumento – tasto, voce di menu…- necessario per compiere l’azione?)

L’utente assocerà l’azione corretta con l’effetto che sta cercando di ottenere? (capira’ qual e’ il tasto o la voce di menu da selezionare per ottenere l’effetto corretto?)

L’utente capira’ dal feedback dato dal sistema se l’azione corretta e’ stata eseguita?

13

Page 14: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

In genere la stessa analisi viene compiuta da piu’ valutatori in sessioni parallele (almeno 3).

Durante il walkthrough l’esperto deve riportare le risposte alle quattro domande per ogni azione che compie ed evidenziare eventuali problemi riscontrati

Al termine di tutte le analisi viene stilato un documento riassuntivo che fornisce agli esperti l’elenco dei principali problemi riscontrati ed il livello di gravita’ per ognuno.

14

Page 15: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Esempio di walkthrough: sito Vodafone

Task: inviare sms via web

1515

Page 16: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Domanda 1: L’utente capira’ cosa deve fare e quindi cerchera’ di ottenere l’effetto corretto?

Risposta: Si, deve inviare un sms da web

Domanda 2: L’utente noterà che l’azione corretta è disponibile?

Risposta: non immediatamente! Il tasto per inviare sms da web si trova in una posizione difficilmente visibile (parte bassa della pagina), all’interno di una pagina ricca di informazioni

1616

Page 17: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

1717

Page 18: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Domanda 3: L’utente assocerà l’azione corretta con l’effetto che sta cercando di ottenere?

Risposta: Si’, anche se la label non e’ molto chiara (Sarebbe stata meglio una frase piu’ diretta come “Invia SMS da web” invece che “SMS gratis anche con widget” che veicola piu’ informazioni)

Domanda 4: L’utente capira’ dal feedback dato dal sistema se l’azione corretta e’ stata eseguita?

Risposta: si, perche’ viene portato in una pagina in cui e’ presente un tasto “invia sms”, anche se sarebbe stato meglio evitare questo passaggio inutile e mostrare direttamente la pagina contenente il form per l’invio.

1818

Page 19: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

19

Page 20: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

EuristicheEuristiche Nelle valutazioni basate su euristiche gli elementi

dell’interfaccia di un sistema vengono analizzati verficandone la conformita’ a specifiche “regole d’oro” (euristiche) correlate a principi e linee guida generalmente accettati.

20

Page 21: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Euristiche di Nielsen (1994)

Sono molto generali e, in linea teorica, utili per verificare l’usabilita’ di qualsiasi sistema

1) Rendere visibile lo stato del sistema

es. Sapere se e’ un oggetto e’ un link e dove porta

Presenza di un segnale di attività in corso

2) Creare relazioni tra il mondo reale e il sistema

parlare il linguaggio dell’utente, con parole, metafore, oggetti a lui familiari

es. Metafora desktop

3) Abilitare il controllo dell’utente e lasciargli liberta’ es. evitare percorsi predefiniti senza possibili scorciatoie evitare azioni non volute dall’utente (pagine che si aprono da sole)

4) Essere consistenti e seguire gli standard

5) Cercare di prevenire gli errori

6) Aiutare il riconoscimento piuttosto che il ricordo

7) Garantire flessibilita’ ed efficienza d’uso

8) Adottare un design minimalista e accattivante

9) Aiutare gli utenti a riconoscere gli errori, diagnosticarli e correggerli

10) Fornire aiuti e istruzioni

21

Page 22: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

4) Essere consistenti e seguire gli standard

es. riportare in ogni pagina alcuni elementi di riconoscimento (logo, stile grafico…)

5) Cercare di prevenire gli errori

es. Scrivi la tua data di nascita in questo formato: gg,mm,aaaa

6) Aiutare il riconoscimento piuttosto che il ricordo

es. produrre layout semplici e schematici

evitare che l’utente riscopra ogni volta l’interfaccia

7) Garantire flessibilita’ ed efficienza d’usoes. offrire scorciatoie per i piu’ esperti offrire una navigazione gerarchica per i meno esperti

8) Adottare un design minimalista e accattivante

es. evitare che il contenuto informativo sia messo in secondo piano

22

Page 23: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

9) Aiutare gli utenti a riconoscere gli errori, diagnosticarli e correggerlies. il formato della data non e’ corretto! Inserire la data nel formato gg/mm/aaaa

10) Fornire aiuti e istruzionidocumentazione deve essere sempre accessibile e facile da interpretare

23

Quando si ha a che fare con oggetti differenti dalle classiche interfacce web e’ possibile integrare le euristiche generiche con euristiche specifiche per il dominio in esame (check list)

Page 24: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Pro: Poco costose Bastano pochi valutatori (5 valutatori sono in grado di inviduare

il 75% dei problemi di usabilita’) Risultati migliori quanto piu’ i valutatori sono esperti dei

problemi di usabilita’ della specifica applicazione

Contro: Mancanza di euristiche condivise e standard per oggetti

differenti dal web (es.palmari, giochi interattivi) Problemi individuati dai valutatori sono spesso differenti da

quelli che identificherebbero gli utenti Mancanza di feedback sull’accettabilita’ del prodotto da parte

degli utenti finali

24

Page 25: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Condurre una valutazione euristica

Sessione di briefing: agli esperti viene presentato il sistema da analizzare

Periodo di valutazione: gli esperti analizzano indipendentemente il prodotto utilizzando le euristiche come linee guida

Sessione di debriefing: gli esperti si riuniscono e discutono i risultati evidenziando i principali problemi riscontrati

25

Page 26: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Un esempio di valutazione euristica: i sistemi peer-2-peer

Obiettivo dell’analisi: evidenziare i principali punti di forza e debolezza al fine di individuare eventuali proprieta’ dei sistemi p2p che potrebbero essere trasferiti in altri ambiti (es. tv interattiva)

Numero di esperti coinvolti: 3

Sistemi analizzati: eMule, BitTorrent, DirectConnect++

26

Page 27: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Per ogni sistema sono stati individuati:

Best practices

Worst cases

Standard de facto: pratiche progettuali riconosciute e rispettate pressoche’ universalemente pur non essendo imposte da norme di riferimento

27

Page 28: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Euristiche di Nielsen adattate e modificate con l’aggiunta di due euristiche ad-hoc per il dominio peer2peer

28

1) Esistenza di elementi intelligenti nel software es. pop up contestuali sui file in fase di scaricamento, forme di segnalazione che un file e’ stato gia’ scaricato nel corso di una ricerca precedente, sistemi di classificazione automatica dei contenuti scaricati...

2) disponibilita’ di elementi funzionali alla ricerca e/o organizzazione veloce del materialees. cartelle predefinite per lo sharing dei contenuti, lista di “preferiti”

Page 29: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

29

Page 30: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Osservare gli utentiOsservare gli utentiGli utenti possono essere osservati in due contesti

differenti:

Sul campoIn laboratorio

test di usabilita’

Osservazione esterna

Osservazione partecipante

Etnografia

Field Trial

30

Page 31: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Test di usabilita’Test di usabilita’ I test di usabilita’ mirano a capire quanto un prodotto e’

usabile in termini di obiettivi di usabilita’, facilita’ d’uso e apprendibilita’

Possono essere effettuati: durante le fasi intermedie di realizzazione del prodotto

(mock-up, prototipi) durante le fasi finali (prodotti funzionanti)

Hanno il vantaggio di essere attendibili anche con un numero molto basso di utenti (5- 12 utenti), a patto che essi siano rappresentativi della popolazione a cui e’ rivolto il prodotto da testare.

31

Page 32: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Durante un test di usabilita’ gli utenti sono chiamati a svolgere, in un laboratorio, una serie di compiti specifici.

I compiti devono essere abbastanza semplici e possono durare dai 5 ai 20 minuti

Nel complesso il test non dovrebbe durare piu’ di un’ora!

32

Il valutatore dovrebbe limitarsi ad osservare, senza intervenire, le interazioni dell’utente col prodotto mentre tenta di svolgere il compito assegnatogli.

Come fare, pero’, ad intercettare i pensieri e le senzazioni degli utenti?

Page 33: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Think aloud (Erikson e Simon, 1985)

All’utente viene chiesto di esternalizzare i propri pensieri e raccontare a voce alta cio’ che sta facendo mentre svolge i vari compiti.

33

Al termine di ogni compito (o al termine del test) e’ possibile fornire un questionario o fare un’intervista per raccogliere ulteriori dati non recepibili dalle azioni o dal think aloud

Page 34: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Valutazione dell’accettabilita’

Durante un test di usabilita’ e’ possibile valutare anche l’accettabilta’ del sistema da parte degli utenti, ovvero la sua capacita’ globale di soddisfare le necessita’ e le richieste degli utenti.

2 aspetti: Accettabilita’ sociale: il sistema e’ ritenuto accettabile se

ritenuto coerente con alcuni valori fondamentali dell’essere umano (es. sicurezza e privacy)

Accettabilita’ pratica: comprende una serie di attributi quali costo, affidabilita’, compatibilita’ con i sistemi preesistenti e praticita’.

34

Page 35: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Test di usabilita’: come si fa?

Identificare le caratteristiche del prodotto da valutare Identificare i compiti da assegnare agli utenti Individuare il profilo degli utenti target a cui sottoporre il

test Preparare un calendario con le date dei test Effettuare un test pilota per verificare la correttezza ed

adeguatezza del test Preparare moduli per la privacy da far firmare agli utenti Trovare ricompense da fornire agli utenti (gadget…)

35

Page 36: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Laboratori di usabilita’

Stanze costruite ad hoc per effettuare i test con gli utenti, molto spesso con ambientazioni simili a quelle domestiche.

36

Page 37: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Le stanze sono fornite di strumentazione per la registrazione audio e video.Spesso e’ presente uno specchio-finestra che consente ai progettisti e agli altri osservatori di seguire il test

37

Page 38: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Analisi dei dati

I dati sono raccolti sotto forma di appunti durante il test.

Se i test sono stati registrati e’ necessario che le registrazioni vengano riviste e ci si focalizzi sui momenti critici.

I dati derivanti da queste analisi sono di tipo qualitativo.

A volte e’ utile riportare per esteso frasi pronunciate dagli utenti durante il testEs. “Aiuto, mi sono perso, come faccio a tornare indietro!”

38

Page 39: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Misure oggettive di performance possono derivare dai file di log (min, max, dev st, media)

Ultimamente vengono utilizzati strumenti innovativi che tracciano movimenti degli occhi o altri cambiamenti fisici durante l’utilizzo di un sistema.

39

Page 40: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Un esempio di test di usabilita’: prototipo di tv interattiva

Obiettivi dell’analisi: Valutare l’accettabilita’ e l’usabilita’ di un prototipo di

televisione interattiva. Valutare l’accettabilita’ di funzionalita’ appena ipotizzate su

prototipi low-fi (storyboard powerpoint interattive) Raccogliere suggerimenti e nuovi input di progettazione

Metodo: Test di usabilita’/accettabilita’ “vis à vis” sul prototipo tramite

l’osservazione diretta dell’uso del sistema, interviste in profondità e questionario.

Test di accettabilita’ sul prototipo low-fi , intervista in profondità e questionario

40

Page 41: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Campione 30 utenti distribuiti su 5 “profili” utente e 3 fasce d’età (<35; 35-

60; over 60) + 3 pre-test per validare metodo e strumenti utilizzati

1) fruitori tv e videogiochi, no pc: “gli smanettoni”

2) solo fruitori tv (no pc e videogiochi): “i couch potatoes”

3) fruitori tv e pc, no videogiochi

4) fruitori videogiochi e pc, no tv

5) solo fruitori pc, no tv e videogiochi

Numero di compiti: 14 Dopo ogni compito, breve questionario e intervista Alla fine di tutti i compiti, questionario globale

41

Page 42: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Esempi di compiti

Luca decide di esplorare liberamente questa nuova televisione per capire come funziona….

Muoviti liberamente per qualche minuto sullo schermo, utilizzando il telecomando!

Dalla scheda contenuto che sta consultando, Luca decide di tornare al genere di riferimento, cioè fantascienza /fantasy

Torna ai film “fantascienza/fantasy”!

42

Page 43: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Esempi di domande del questionario

1 2 3 4 5 6 7

gradevole sgradevole

divertente noioso

facile difficile

veloce lento

intuitivo oscuro

soddisfacente insoddisfacente

efficace inefficace

Come ti sembra muoverti in questo nuovo mondo televisivo? (Metti una crocetta accanto ad ogni aggettivo, in corrispondenza del numero che ritieni meglio rappresentare la tua opinione)

C’è qualcosa che ti ha particolarmente colpito e ci vuoi segnalare?

43

Page 44: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Osservazioni sul campoOsservazioni sul campo Durante l’osservazione sul campo gli utenti vengono

osservati mentre provano il prodotto nel loro contesto naturale.

Nei test di usabilita’ ci si concentra solo su cosa fanno gli utenti, sul campo bisogna prendere in considerazione molte piu’ variabili legate al contesto:

dove ci si trova? chi sono gli altri attori e cosa fanno?” quali altri oggetti sono presenti nell’ambiente? cosa accade intorno? come interagiscono tra di loro le persone e le persone con gli

oggetti?

4444

Page 45: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Spesso questi metodi vengono utilizzati durante la fase della definizione dei requisiti, per individuare bisogni e necessita’ latenti.

E’ molto utile soprattutto quando si sa poco del gruppo di persone che si va ad osservare (minoranze etniche, gruppi sociali particolari…)

In fase di valutazione vera e propria e’ molto efficace perche’ permette di testare un prodotto nel luogo effettivo in cui verra’ utilizzato senza l’”asetticita’” del laboratorio.

Il problema fondamentale e’ che queste tecniche sono molto piu’ costose e onerose in termini di tempo.

4545

Page 46: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Quattro tecniche principali: Osservazione esterna Osservazione partecipante Etnografia Trial in campo

Per quanto riguarda le prime tre tecniche il processo tipico e’ il seguente:

Individuare l’obiettivo della ricerca decidere quali strumenti utilizzare per la registrazione dei dati

(appunti, audio, video, foto…) conquistare la fiducia dei membri della comunita’ in cui si va ad

operare prepararsi a cambiare obiettivi man mano che l’analisi va

avanti rivedere gli appunti e le altre registrazioni non oltre le 24 ore cercare di separare i fatti dalle opinioni personali durante

l’analisi dei dati

4646

Page 47: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Osservazione esternaOsservazione esterna I valutatori osservano dall’esterno, senza calarsi nella

vita reale del gruppo di persone che stanno osservando

Importante cercare di essere il piu’ discreti possibili, per non influenzare il comportamento di chi si sta monitorando.

4747

Fondamentale avere la giusta attrezzatura per raccogliere tutti i dati (telecamere, registratore, macchina fotografica…)

Page 48: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Osservazione partecipante ed etnografia

Osservazione partecipante ed etnografia

Nell’osservazione partecipante e negli studi etnografici il valutatore si immerge completamente nella realta’ che va ad analizzare e diventa un attore stesso e non un semplice osservatore esterno della comunita’

Spesso, l’osservazione partecipante e’ vista come una tecnica dell’etnografia, che si differenzia dalla prima per i seguenti aspetti:

viene fatto ampio uso di altre tecniche come interviste, questionari, diari.

l’indagine etnografica e’ molto piu’ lunga (anche mesi) di un’osservazione partecipante. 4848

Page 49: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Trial in campoTrial in campo

Il trial in campo e’ un metodo di osservazione indiretta, tipicamente adottato in fase pre-commerciale, quando si ha un prodotto praticamente finito.

Il prodotto da testare viene portato “nelle case” degli utenti che lo “provano” per un periodo di tempo limitato (es. 2 settimane, un mese)

Tipicamente viene chiesto loro di tenere un diario quotidiano con commenti sull’utilizzo e l’effettivo uso viene memorizzato nei file di log.

Al termine del periodo gli utenti vengono intervistati o partecipano ad un focus group.

4949

Page 50: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Strumenti di supporto all’osservazione

Strumenti di supporto all’osservazione

Soprattutto nei trial, ma in generale ogni volta che i valutatori non possono essere presenti durante tutta la durata dello studio oppure alcuni argomenti troppo indiscreti non possono essere trattati vis-à-vis, si ricorre a tecniche di osservazione indiretta:

Diari quotidiani: compilati direttamente dagli utenti (generalmente a fine giornata).Possono anche contenere dati non in forma testuale (foto, video…)

File di log: registrano automaticamente le interazioni degli utenti con il sistema

5050

Page 51: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Analisi dei dati

Dati soprattutto qualitativi: Analisi dei contenuti: i dati vengono fatti rientrare in categorie

mutualmente esclusive analisi del discorso: interpretativa. Ci si focalizza sui dialoghi,

su quello che si e’ detto piuttosto che sul contenuto

Dati quantitativi: pochi. Se si hanno a disposizione registrazioni video si possono misurare i tempi di esecuzione dei compiti

5151

Page 52: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Chiedere agli utentiChiedere agli utenti

Intervista Questionario

Focus group

Aperta

Strutturata

Semi-strutturata

Frequentemente sono tecniche utilizzate come supporto ad altri strumenti di valutazione

Spesso, soprattutto le interviste, sia ai singoli i focus group, vengono utilizzate in fase di raccolta requisiti

5252

Page 53: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

IntervisteInterviste

Le interviste sono generalmente vis-à-vis oppure telefoniche (es. CATI).

Ultimamente si stanno conducendo sempre piu’ spesso interviste online e videoconferenze

Vengono classificate in tre gruppi in base alle tipologie di domande che vengono poste:

Aperte Strutturate Semi-strutturate

5353

Page 54: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Interviste aperte: domande che non prevedono risposte chiuse.

Pro: materiale piu’ ricco e corposo

Interviste strutturate: domande a risposta chiusa Pro: ricerca e’ standardizzata e i dati raccolti sono omogenei

Interviste semi-strutturate: sia domande a risposta aperta che domande a risposta chiusa

Pro: buon compromesso tra le due tecniche sopra menzionate

5454

Page 55: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Linee guida per le domande: brevi in numero limitato evitare frasi composte (“quanto ti piace questo cellulare

paragonato a quelli che hai avuto?” ) linguaggio semplice, no tecnicismi evitare domande che prevedono gia’ una risposta (“perche’ ti

piace questo prodotto?”)

Struttura tipica di un’intervista: Introduzione Domande di riscaldamento (semplici, demografiche) Sezione principale Domande di distensione Fase di chiusura

Effettuare sempre un’intervista pilota

5555

Page 56: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Esempio di intervista: raccolta di requisiti in un contesto enogastronomico

Obiettivo dell’analisi: in ottica di progettazione di un sistema interattivo per il dominio enogastronomico, conoscere il contesto di riferimento, in particolare quello dei produttori, e raccogliere le prime sensazioni a caldo

Metodo: interviste vis-à-vis presso i produttori di prodotti enogastronomici della durata di circa un’ora e mezza.

Campione: 12 produttori, distribuiti su 3 profili di dimensione dell’azienda, 2 zone geografiche e 2 tipi di produzione (formaggi e vini) 5656

Page 57: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Le interviste vere e proprie sono state precedute da 3 interviste pilota.

Le domande sono state raggruppate in 3 sezioni: Parte introduttiva e generale (domande generali su di lui, la

storia dell’azienda, come si lavora in azienda, chi sono i clienti e come vengono contattati..)

Ruolo della pubblicita’ e della promozione (azzociazioni di categoria, forme di pubblicita’…)

ICT e TLC nel processo produttivo (che ruolo hanno l’informatica e la telecomunicazione nella loro vita aziendale)

5757

Page 58: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Durante le interviste le risposte date dai produttori venivano riportate su carta da parte dell’intervistatore e di un collaboratore.

Al termine di tutte le interviste le risposte ottenute sono state raggruppate in macro-aree corrispondenti ai temi trattati nelle 3 sezioni dell’intervista

Si e’ poi cercato di individuare eventuali regolarita’ nelle risposte, sia a livello globale, che a livello dei singoli “profili”

5858

Page 59: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Focus groupFocus group

I focus group sono gruppi di discussione meno strutturati delle interviste di gruppo che coinvolgono mediamente dalle 6-8 persone

I gruppi devono essere rappresentativi e omogenei (es. dipendenti di un’azienda vs dirigenti di un’azienda)

E’ presente un moderatore che lancia gli argomenti di discussione e poi lascia liberi i partecipanti di discutere, cercando di intervenire il meno possibile.

5959

Page 60: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

I focus group sono molto utili perche’ permettono di far emergere questioni che altrimenti non affiorerebbero durante i test, le interviste o i questionari sottoposti a singoli utenti.

Gli individui, infatti, in un contesto sociale, dialogando con altri, possono sviluppare opinioni differenti da quelle che avrebbero senza un confronto con terzi.

6060

Page 61: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Esempio di focus group: validazione di una tassonomia televisiva

Obiettivo dell’analisi: validare insieme agli utenti una proposta di tassonomia a due livelli (categorie e sotto-categorie) per la catalogazione di contenuti televisivi

Metodi : focus group e card sorting

Campione: 3 gruppi di circa 8 persone Non esperti cinema e tv Esperti solo tv Esperti solo cinema

6161

Page 62: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Dopo una fase di warm-up, in cui gli utenti rompevano il ghiaccio presentadosi, si dava inizio al focus group vero e proprio, composto da 3 parti:

Elencazione delle macro-categorie proposte (es. Informazione, cultura, sport…) e richiesta di opinioni da parte degli utenti

Valutazione delle sotto-categorie proposte (es. tg, approfondimenti…) e card sorting (-vedi slide successiva-)

Valutazione della possibilita’ di catalogare i contenuti secondo altri criteri diversi dal genere (es.durata, luogo ambientazione…)

Seguiva quindi una fase di ringraziamenti e saluti

6262

Page 63: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Card sorting

Il card sorting è un metodo di coinvolgimento degli utenti per definire raggruppamenti (classificazioni, categorizzazioni) di contenuti. Si scrive ogni contenuto su un cartoncino e si chiede a diversi utenti di classificarli per somiglianza o di inserirli in categorie gia’ predisposte.

6363

Nel focus group in esame agli utenti erano stati dati una serie di cartoncini con titoli di programmi tv ed era chiesto loro di classificarli nelle categorie televisive proposte che ritenevano piu’ appropriate.

Page 64: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

QuestionariQuestionari

I questionari sono simili ad un’intervista strutturata e contengono sia domande a risposta aperta che domande a risposta chiusa

6464

Pro: permettono di raggiungere un numero molto elevato di utenti in poco tempo.

Contro: piu’ facile che gli utenti rispondano in modo distratto o non rispondano ad alcune domande

Page 65: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Formato delle domande

Domande a risposta aperta Domande a risposta chiusa:

Scelta multipla

Scala Likert: utilizzata per misurare le opinioni, gli atteggiamenti, le credenze.Es. Il sito e’ veloce

Assolutamente d’accordo

Abbastanza d’accordo

D’accordo Abbastanza In disaccordo

Assolutamente In disaccordo

Differenziale semantico: per esplorare un insieme di atteggiamenti opposti in relazione ad uno stesso elemento. Ogni elemento e’ rappresentato da una coppia di aggettiviEs. Attraente 1 2 3 4 5 6 7 Brutto

Utile 1 2 3 4 5 6 7 Inutile

6565

Page 66: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Quando si definisce un questionario e’ importante adottare alcuni accorgimenti:

Fare domande chiare e specifiche Non inserire un numero troppo elevato di domande Non mettere le domande piu’ “complesse” alla fine, quando

l’utente e’ meno attento Quando si utilizzano scale likert o differenziali semantici,

cercare di alternare aggettivi positivi a quelli negativi (sorta di meccanismo di controllo)

Non utilizzare termini gergali Fornire istruzioni per la compilazione del questionario

6666

Page 67: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Questionari online

Due tipi: via posta elettronica e online

I questionari via posta elettronica permettono di raggiungere un target specifico di persone ma si puo’ utilizzare solo testo

I questionari online offrono maggiore flessibilita’ ma difficilmente si riesce ad ottenere un campione rappresentativo di partecipanti

6767

Page 68: Interazione uomo-macchina LA VALUTAZIONE Monica Perrero perrero@di.unito.it.

Riferimenti bibliograficiRiferimenti bibliografici

Nielsen J., Mack R.L., Usability inspection methods, New York: John Wiley & Sons (1994)euristiche e walkthrough cognitivi

Fetterman D.M., Ethnography: step by step, Thousand Oaks, CA: Sage (1998)Etnografia

Rubbin J., Chisnell D., Handbook of usability testing, John Wiley & Sons (2008)Test di usabilita’

Albanesi, C., I focus group, Carocci editore (2004)6868