VALUTARE L’USABILITA’

Corso di Interazione Uomo MacchinaAA 2009-2010

Roberto Polillo

Università di Milano BicoccaDipartimento di Informatica, Sistemistica e Comunicazione

1

Tecniche di valutazioneSi possono dividere in due grandi categorie:

• Valutazioni attraverso l’analisi di esperti di usabilità (“ispezioni”)– Walkthrough cognitivi– Valutazioni euristiche– …

• Valutazioni con la partecipazione degli utenti– Test di usabilità– Interrogazioni– …

3

Ispezioni

5

Ispezioni (ingl.: inspections)

• Esperti di usabilità esaminano gli aspetti legati alla usabilità di un sistema, senza coinvolgere gli utenti

• Tipicamente, questi metodi vengono usati in vari momenti durante la progettazione e la realizzazione del sistema (anche nelle fasi iniziali)

• Due tecniche principali:

– Valutazioni basate su euristiche (“heuristic evaluation”)

– Walkthrough cognitivi

6

Valutazioni basate su euristiche

Euristico (dal greco eurisco, trovo): in matematica, qualsiasi procedimento non rigoroso che consente di prevedere o rendere plausibile un risultato, il quale in un secondo tempo dovrà essere controllato e convalidato per via rigorosa (Vocabolario Treccani)

• Il sistema viene esaminato verificandone con sistematicità la conformità a specifiche “regole d’oro” (dette, appunto, “euristiche”), correlate a principi e linee guida generalmente accettati

• Le euristiche possono essere diverse, più o meno dettagliate.In pratica, si preferiscono euristiche costituite da pochi principi molto generali, piuttosto che linee guida dettagliate, di difficile utilizzo

7

Le euristiche di Nielsen

J.Nielsen (1994) ha indicato le seguenti 10 euristiche (molto generali), per valutare la usabilità di un sistema:

1. Visibilità dello stato del sistema2. Corrispondenza fra il mondo reale e il sistema3. Libertà e controllo da parte degli utenti4. Consistenza e standard5. Prevenzione degli errori6. Riconoscere piuttosto che ricordare7. Flessibilità ed efficienza d’uso8. Design minimalista ed estetico9. Aiutare gli utenti a riconoscere gli errori, diagnosticarli e correggerli10. Guida e documentazione

(Vedi J.Nielsen, How to conduct a Heuristi Evaluation, in http://www.useit.com/papers/heuristic/heuristic_evaluation.html )

8

Valutazioni basate su euristiche: aspetti

• Poco costose (“discount usability”)

• Valutatori diversi tendono a trovare problemi diversi (un valutatore non basta)

• Tipicamente ci si può aspettare che 5 valutatori scoprano i due terzi dei problemi di usabilità

• I risultati sono tanto migliori quanto più i valutatori sono esperti (conoscenza dei problemi di usabilità della specifica applicazione)

• NB I valutatori non devono comunicare fra loro durante la valutazione

9

Esempio

Sistema bancario valutato da 19 valutatori (ordinati dal basso in alto sulla base del numero di problemi trovati), da J.Nielsen, cit. 10

Walkthrough cognitivo

• Il valutatore esamina in dettaglio (passo passo) le azioni elementari che l’utente del sistema deve compiere per portare a buon fine ogni specifico compito…

• …cercando anche di ricostruire i processi mentali richiesti agli utenti nello svolgimento delle varie azioni, per individuare eventuali problemi di usabilità

11

Il walkthrough cognitivo: come si fa

Per ogni azione nella sequenza di azioni che l’utente deve effettuare per realizzare un compito, il valutatore cerca di

rispondere alle seguenti 4 domande :

1. L’utente cercherà di ottenere l’effetto corretto?

2. L’utente noterà che l’azione corretta è disponibile?

3. L’utente assocerà l’azione corretta con l’effetto che sta cercando di ottenere?

4. Se l’azione corretta è stata eseguita, l’utente vedrà che c’è un progresso verso la soluzione del compito?

12

Esempio: Copy & Paste di una frase in Word

UT 1: Selezionare la fraseSIST 1: Evidenzia la frase UT 2: Seleziona Edit CopySIST 2: nessun feedbackUT 3: Posiziona il cursore sul punto di

inserimentoSIST 3: La barra del cursore lampeggiaUT 4: Seleziona Edit PasteSIST 4: La frase selezionata appare nella

posizione del cursore

Per ogni azione dell’utente bisogna rispondere alle 4

domande precedenti

13

Walkthrough cognitivo: aspetti

• La tecnica richiede molta esperienza

• L’analisi di interfacce complesse richiede molto tempo

• La tecnica risulta efficace soprattutto per stabilire se è facile imparare ad usare il sistema, quando lo si esamina per la prima volta

14

Classificazione dei problemi riscontrati

Qualunque sia la tecnica di ispezione utilizzata, gli eventuali problemi di usabilità individuati dovranno essere classificati sulla base della loro importanza, ad esempio:

1 Problema irrilevante: non deve essere risolto, ameno che avanzi del tempo

2 Problema secondario: da risolvere con bassa priorità

3 Problema rilevante: da risolvere con alta priorità

4 Problema bloccante: deve necessariamente essere risolto prima che il sistema venga rilasciato

15

Test di usabilità

16

Sulla carta funziona, ma...…poi bisogna provare!

17

In sostanza...

Si individuano compiti importanti, e si osservano utenti “cavie” mentre li eseguono, senza interferire

Osservatore Osservato 19

Tipi di test di usabilità

• Test di compitoAgli utenti viene chiesto di svolgere compiti specifici, che permettano di esercitare le funzioni principali del sistema (es. Provare i diversi casi d’uso)

• Test di scenarioAgli utenti viene indicato un obiettivo da raggiungere attraverso una serie di compiti elementari, senza indicarli esplicitamente: l’utente dovrà quindi impostare una propria strategia di azioni

20

Esempio: test di compito per un sito di e-commerce

• Task 1: Registrarsi• Task 2: Verificare se si può pagare con Visa e

qual è l’importo minimo per un ordine• Task 3: Verificare quali sono i tempi di consegna • Task 4: Acquistare una scatoletta da 500 gr di

tonno sott’olio• Task 5: Cercare se vendono confezioni di

sciroppo di acero • Task 6: Verificare lo stato degli ordini effettuati• Task 7: Verificare se esistono offerte speciali di

pasta

21

Esempio: test di scenario per un sito di e-commerce

Domani sera hai due amici a cena, ma non hai tempo di andare al supermercato. Decidi quindi di fare la spesa on-line, pagando con la tua Visa. Collegati al sito e ordina gli ingredienti per una cena veloce e poco costosa, ma simpatica.

22

Test di usabilità: logistica

Due filosofie:

• Organizzazione informale (costi bassi)

• Usability lab (costi alti):

>>

23

Usability lab

Testing roomObservation

room

24

25

Telecamera

Microfono

Tester

Schermo conSoftware ScreenRecording

Organizzazione informale

27

28

Thinking aloud

E’ una tecnica per la quale si chiede all’utente di svolgere un compito, e, contemporaneamente, di esprimere ad alta voce ciò a cui sta pensando:

– che cosa sta cercando di fare– che cosa vede sullo schermo– come pensa di dover proseguire– quali dubbi e difficoltà sta provando

29

Aspettatevi delle sorprese!

?Y!W?KJZ

Video: test di usabilità 30

Come si organizza un test di usabilità

Quattro fasi:

1. Preparazione del test

2. Esecuzione del test

3. Analisi dei risultati

4. Conclusioni

31

1. Preparazione del test

• Definizione degli obiettivi e tipo del test, e delle misure da raccogliere

• Definizione del numero e della tipologia degli utenti campione

• Definizione dei compiti e/o scenari d’uso

• Individuazione degli utenti campione

• Preparazione dei materiali e dell’ambiente di prova

>>

32

Quali misure raccogliere?

Spesso vengono raccolte le seguenti metriche elementari:

• il tempo richiesto da un determinato compito

• la percentuale di compiti portati a termine con successo (“success rate”)

• la soddisfazione dell’utente

33

Success rate: esempio

Success rate: (9 + (4*0.5)) / 24 = 46%

successfultrials

partiallysuccessful

total trials

34

Test di usabilità: quanti utenti? Dipende dagli obiettivi del test e dalla complessità del

sistema

Check-up informale di un sito semplice:

- 5-7 utenti- 5-7 compiti ciascuno(20-40 minuti per ciascun utente)

Valutazione approfonditadi un sito complesso:

- 10-15 utenti- 1 – 1,5 h per ciascun utente

Esempio: per un sito web, tipicamente

35

La regola di Nielsen(per i siti web)

• Dopo il quinto utente, sprecherete il vostro tempo osservando più volte gli stessi risultati, senza imparare molto di nuovo

• Dopo avere osservato 5 utenti, eliminate i problemi individuati, e provate di nuovo con 5 utenti

(Jakob Nielsen)

• Però questa regola informale è stata molto criticata

36

Preparazione dei materiali e dell’ambiente di prova

• Scheda per raccogliere dati significativi sugli utenti (esperienza, conoscenza del sistema, …)

• Descrizione scritta dei compiti/scenari, da dare agli utenti

• Modulo di raccolta dati per gli osservatori (per ogni utente/compito: tempo impiegato, % di completamento, eventi significativi osservati)

• Questionario per l’intervista finale agli utenti

38

1. Dati personaliNome: _____________________Età: __Titolo di studio: _____________________ Professione: _____________________

2. Livello di conoscenza di Internet

Giudichi di avere una esperienza d’uso del web:scarsa – media – buona - ottima

In media quante ore alla settimana usi il web? meno di 1 – tra 1 e 5 – più di 5 – più di 10

Hai mai partecipato ad un forum o ad una chat su Internet?Sì – No

3. Livello di conoscenza del sito

Hai già utilizzato il sito in esame? No – Sì, meno di 3 volte – Sì, più di 3 volte - Sì, più di 10 volte Se sì, quali operazioni hai effettuato? ____________________________________________________

Hai mai utilizzato siti simili?

No – Sì,qualche volta – Sì, spesso

Se sì, quali? _____________________

1. Dati personaliNome: _____________________Età: __Titolo di studio: _____________________ Professione: _____________________

2. Livello di conoscenza di Internet

Giudichi di avere una esperienza d’uso del web:scarsa – media – buona - ottima

In media quante ore alla settimana usi il web? meno di 1 – tra 1 e 5 – più di 5 – più di 10

Hai mai partecipato ad un forum o ad una chat su Internet?Sì – No

3. Livello di conoscenza del sito

Hai già utilizzato il sito in esame? No – Sì, meno di 3 volte – Sì, più di 3 volte - Sì, più di 10 volte Se sì, quali operazioni hai effettuato? ____________________________________________________

Hai mai utilizzato siti simili?

No – Sì,qualche volta – Sì, spesso

Se sì, quali? _____________________

Esempio:Scheda per i dati sugli utenti

39

2. Esecuzione del test

• Spiegazione agli utenti

• Conduzione del test (un utente per volta) Osservazione e registrazione del loro comportamento (note, think aloud, webcam,...), senza interferire

• Intervista agli utenti (dopo)

>>

40

3. Analisi dei risultati

• Analisi dettagliata dei dati raccolti (eventualmente con analisi del filmato)

• Individuazione ed elencazione dei singoli problemi individuati

>>

44

Analisi risultati di un test di usabilità: esempio

(Registrazione utente in un sito di e-commerce) 45

• Riorganizzazione dell’elenco dei problemi in aree funzionali

• Definizione del livello di priorità dei problemi, es.:

Priorità 1: Interventi indispensabili e urgenti

Priorità 2: Interventi necessari ma meno urgentiPriorità 3: Interventi auspicabili

• Stesura delle raccomandazioni finali

3. Conclusioni

46

Raccomandazioni finali: esempio

47

Altre tecniche basate sull’utente

48

Inchieste (“inquiry”)

Chi valuta la usabilità ottiene informazioni sulle necessità degli utenti, sulla loro comprensione del sistema, sugli aspetti graditi e sgraditi, intervistando gli utenti

Esistono varie tecniche:

- interviste individuali- questionari- focus group (discussione con gruppi di utenti)

49

Inchieste: aspetti

Le inchieste possono fornire utili indicazioni, ma non possono sostituire i test di usabilità:

gli utenti non sono esperti di usabilità, ed è molto raro che siano in grado di individuare con precisione le cause delle proprie difficoltà nell’uso di un sistema

50

Esperimenti controllati

• Per indagini su problemi specifici, si possono effettuare esperimenti di laboratorio con utenti scelti in modo statisticamente rappresentativo

• Esempi:– Leggibilità di testi a video (dimensione font, tipo di font, colori, …)

– Efficacia dei banner pubblicitari su pagine web

– ….

• La conduzione di questi esperimenti richiede una metodologia rigorosa (scelta del campione, definizione delle ipotesi, conduzione dell’esperimento, analisi dei risultati con i metodi della statistica) ed esula dagli scopi di questo corso

51