1. 1 VALUTARE LUSABILITCorso di Interazione Uomo MacchinaAA 2012-2013Roberto PolilloCorso di laurea in InformaticaUniversit di Milano BicoccaDipartimento di Informatica, Sistemistica e ComunicazioneR.Polillo -Marzo 2013

2. Tecniche di valutazione4Si possono dividere in due grandi categorie: Valutazioni attraverso lanalisi di esperti di usabilit (ispezioni) Valutazioni euristiche Walkthrough cognitivi Valutazioni con la partecipazione degli utenti Test di usabilit Interrogazioni R.Polillo -Marzo 2013 3. Valutazioni basate su euristiche5 Euristico (dal greco eurisco, trovo): in matematica, qualsiasiprocedimento non rigoroso che consente di prevedere o rendereplausibile un risultato, il quale in un secondo tempo dovr esserecontrollato e convalidato per via rigorosa(Vocabolario Treccani) Il sistema viene esaminato verificandone la conformit a specificheregole doro (dette, appunto, euristiche), derivanti da principi e lineeguida generalmente accettati Le euristiche possono essere diverse, pi o meno dettagliate. Si preferiscono euristiche costituite da pochi principi molto generali,piuttosto che linee guida dettagliate, di difficile utilizzoR.Polillo -Marzo 2013 4. Le euristiche di Nielsen (1994)6 1. Visibilit dello stato del sistema 2. Corrispondenza fra il mondo reale e il sistema 3. Libert e controllo da parte degli utenti 4. Consistenza e standard 5. Prevenzione degli errori 6. Riconoscere piuttosto che ricordare 7. Flessibilit ed efficienza duso 8. Design minimalista ed estetico 9. Aiutare gli utenti a riconoscere gli errori, diagnosticarli e correggerli 10.Guida e documentazioneR.Polillo -Marzo 2013 5. Valutazioni euristiche: aspetti8 Poco costose (discount usability) Un valutatore non basta (valutatori diversi tendono a trovareproblemi diversi) Tipicamente, ci si aspetta che 5 valutatori scoprano i due terzidei problemi di usabilit I risultati sono tanto migliori quanto pi i valutatori sonoesperti (di usabilit e della applicazione) R.Polillo -Marzo 2013 6. Esempio9Sistema bancario valutato da 19 valutatori (ordinati dal basso in alto sulla base del numero diproblemi trovati), da J.NielsenR.Polillo -Marzo 2013 7. Valutazioni euristiche vs test di usabilit10R.Polillo -Marzo 2013 8. Sulla carta funziona, ma...poi bisogna provare!14 R.Polillo -Marzo 2013 9. Test di usabilit15 Utenti campione usano il sistema in un ambiente controllato, sotto osservazione da parte di esperti di usabilit che raccolgono dati, li analizzano e traggono conclusioniOsservatoreOsservatoR.Polillo -Marzo 2013 10. Tipi di test di usabilit16 Test di compito Agli utenti viene chiesto di svolgere compiti specifici, che permettano di esercitare le funzioni principali del sistema (es. Provare i diversi casi duso) Test di scenario Agli utenti viene indicato un obiettivo da raggiungere attraverso una serie di compiti elementari, senza indicarli esplicitamente: lutente dovr quindi impostare una propria strategia di azioniR.Polillo -Marzo 2013 11. Esempio: test di compito (sito di e- commerce)17 Task 1: Registrarsi Task 2: Verificare se si pu pagare con Visa e qual limporto minimo di un ordine Task 3: Verificare quali sono i tempi di consegna Task 4: Acquistare una scatola da 500 gr di tonno sottolio Task 5: Cercare una confezione di sciroppo di acero Task 6: Verificare lo stato degli ordini effettuati Task 7: Verificare se esistono offerte speciali di pastaR.Polillo -Marzo 2013 12. Esempio: test di scenario (sito di e-commerce)18 Scenario 1: Domani sera hai due amici a cena, ma non hai tempo di andare al supermercato. Decidi di fare la spesa on-line, pagando con la tua Visa. Collegati al sito e ordina gli ingredienti per una cena veloce e poco costosa, ma simpatica. R.Polillo -Marzo 2013 13. Test di usabilit: logistica19 Due filosofie: Usability lab (costi alti): Organizzazione informale (costi bassi) >> R.Polillo -Marzo 2013 14. Usability lab20 telecameraSala di osservazione Sala delle prove R.Polillo -Marzo 2013 15. 21 R.Polillo -Marzo 2013 16. Organizzazione informale22utente osservatorethinkaloud istruzioni sistemaappuntiin prova facilitatore R.Polillo -Marzo 2013 17. Thinking aloud23Si chiede allutente di esprimere ad alta voce ci a cuista pensando: che cosa sta cercando di fare che cosa vede sullo schermo come pensa di dover proseguire quali dubbi e difficolt sta provando R.Polillo -Marzo 2013 18. SW di ScreenRecording24 WebcamMicrofono R.Polillo -Marzo 2013 19. 25 R.Polillo -Marzo 2013 20. 26 R.Polillo -Marzo 2013 21. 27 R.Polillo -Marzo 2013 22. Aspettatevi delle sorprese!28?Y!W?KJZ!!R.Polillo -Marzo 2013 23. Organizzare un test di usabilit29RequisitiPIANIFICAZIONE (a inizio progetto) UtentiANALISIPREPARAZIONE ESECUZIONE E PROPOSTE Piano di testRapporto divalutazione Modulo per informazioni anagrafiche Descrizione compiti/scenari Modulo per raccolta annotazioni e misure Questionario per intervista finale Stazione di test Appunti , misure e registrazioni Interviste finali R.Polillo -Marzo 2013 24. Organizzare un test di usabilit30RequisitiPIANIFICAZIONE (a inizio progetto) UtentiANALISIPREPARAZIONE ESECUZIONE E PROPOSTE Piano di testRapporto divalutazione Modulo per informazioni anagrafiche Descrizione compiti/scenari Modulo per raccolta annotazioni e misure Questionario per intervista finale Stazione di test Appunti , misure e registrazioni Interviste finali R.Polillo -Marzo 2013 25. Preparazione del test31 Definizione obiettivi, tipo di test, misure da raccogliere Definizione numero e tipologia degli utenti campione Definizione compiti e/o scenari duso Individuazione utenti campione Preparazione materiali e ambiente di prova R.Polillo -Marzo 2013 26. Quali misure?32 Tipicamente: il tempo richiesto da un determinato compito la percentuale di compiti portati a termine con successo (tasso di successo) la soddisfazione dellutenteR.Polillo -Marzo 2013 27. Tasso di successo: esempio33Compito 1 Compito 2Compito 3Compito 4 Compito 5 Compito 6 Utente 1 FFS F F S Utente 2 FFP F P F Utente 3 SFS S P S Utente 4 SFS F P S Legenda: S=successo F=fallimento P=successo parzialeTasso di successo : (9 + (4*0.5)) / 24 = 46% successi numerosuccessiparziali proveR.Polillo -Marzo 2013 28. Quanti utenti?34 Dipende dagli obiettivi del test e dalla complessit del sistema Esempio: per un sito web, tipicamente Check-up rapido, duranteValutazione approfondita lo sviluppo:di un sito complesso: - 5-7 utenti- 10-15 utenti - 5-7 compiti ciascuno- 1 1,5 h per ciascun utente (20-40 minuti per ciascun utente) R.Polillo -Marzo 2013 29. Durante lo sviluppo iterativo35Dopo il quinto utente, sprecherete il vostro tempoosservando pi volte gli stessi risultati, senza impararemolto di nuovoDopo avere osservato 5 utenti, eliminate i problemiindividuati, e provate di nuovo con 5 utenti(Jakob Nielsen)R.Polillo -Marzo 2013 30. La regola di Nielsen36 Problemi di usabilit trovati con 5 utenti si scopre l85% dei problemi di usabilit! Numero di utenti campione R.Polillo -Marzo 2013 31. Leffetto mascheramento37 Iterazione n Iterazione n+1 I problemi incontrati mi I problemi incontrati mi impediscono di vederne altri:impediscono di vederne altriR.Polillo -Marzo 2013 32. Quali compiti o scenari?38 E una decisione critica Compromesso fra copertura delle situazioni possibili e tempo/risorse Basarsi sulle priorit espresse nei requisitiR.Polillo -Marzo 2013 33. Preparazione materiali e ambiente di prova39 Scheda utente (esperienza, conoscenza del sistema, ) Descrizione scritta dei compiti/scenari, da dare agli utenti Modulo di raccolta misure e osservazioni, per losservatore (uno per ogni utente e compito/scenario) Questionario per lintervista finale agli utentiR.Polillo -Marzo 2013 34. 1. Dati personali Nome: _____________________ Esempio:Et:__ Titolo di studio: _____________________ Scheda utente Professione:_____________________ 2. Livello di conoscenza di Internet Giudichi di avere una esperienza duso del web: scarsa media buona - ottima In media quante ore alla settimana usi il web? meno di 1 tra 1 e 5 pi di 5 pi di 10 Hai mai partecipato ad un forum o ad una chat su Internet?S No 3. Livello di conoscenza del sito Hai gi utilizzato il sito in esame?No S, meno di 3 volte S, pi di 3 volte - S, pi di 10 volte Se s, quali operazioni hai effettuato? ____________________________________________________ Hai mai utilizzato siti simili?No S,qualche volta S, spesso40 R.Polillo -Marzo 2013Se s, quali? _____________________ 35. Organizzare un test di usabilit41RequisitiPIANIFICAZIONE (a inizio progetto) UtentiANALISIPREPARAZIONE ESECUZIONE E PROPOSTE Piano di testRapporto divalutazione Modulo per informazioni anagrafiche Descrizione compiti/scenari Modulo per raccolta annotazioni e misure Questionario per intervista finale Stazione di test Appunti , misure e registrazioni Interviste finali R.Polillo -Marzo 2013 36. Esecuzione del test42 Briefing agli utenti Conduzione del test Intervista individuale o focus group finale >>R.Polillo -Marzo 2013 37. Briefing agli utenti43 Mettere gli utenti a proprio agio, per ridurre al massimo lo stress da esame Spiegare che lo scopo di provare il sistema, non lutente Spiegare quali registrazioni verranno fatte, e la politica relativa alla privacy Fornire agli utenti lelenco scritto dei compiti/scenari R.Polillo -Marzo 2013 38. Il ruolo dellosservatore44S: a che cosa stai pensando? continua a parlare non scoraggiarti, tenta ancoraNo: a che cosa serve quel bottone? perch hai cliccato l?NB: Interferenza cognitiva del think-aloudR.Polillo -Marzo 2013 39. Organizzare un test di usabilit46RequisitiPIANIFICAZIONE (a inizio progetto) UtentiANALISIPREPARAZIONE ESECUZIONE E PROPOSTE Piano di testRapporto divalutazione Modulo per informazioni anagrafiche Descrizione compiti/scenari Modulo per raccolta annotazioni e misure Questionario per intervista finale Stazione di test Appunti , misure e registrazioni Interviste finali R.Polillo -Marzo 2013 40. Analisi dei risultati e proposte finali47 Analisi dettagliata dei dati e della registrazione Elenco dei singoli problemi, e loro gravit (es. bloccanti / bypassabili / lievi) Elenco degli interventi suggeriti, e loro priorit Stesura del rapporto di valutazione R.Polillo -Marzo 2013 41. Elenco dei problemi: esempioREGISTRAZIONE48 PROBLEMA IDENTIFICATOPRIORITA 1 Se si accede alla registrazione dalla Home Page, nella prima videata A viene richiesta la verifica del CAP. Lutente non comprende il significato dellacronimo CAP (ritiene si tratti di un codice personale post-registrazione). Dopo lintervento del facilitatore per segnalare il significato dellacronimo, lutente dichiara di non comprendere lutilit di tale verifica. 2 Difficolt nel comprendere il significato dei campi: [Domanda] e A [Risposta]: non viene data alcuna informazione sul motivo di tale richiesta. 3 Non viene in alcun modo segnalato che il numero di caratteri che siA possono inserire, sia per la [Domanda] che per la [Risposta], sono limitati. Lutente non ha la possibilit di accorgersi che entrambe le stringhe di testo inserite saranno troncate. 4 Iniziale smarrimento nella conferma della registrazione: lutente si B attendeva un comando Invia e non Salva i dati password (etichetta ricavata dal nome dellimmagine Salva_dati password.gif) 5 Viene dato lobbligo di inserire due numeri telefonici creando A frustrazione in chi non ha un secondo numero utile per gli scopi indicati: lutente si mostra riluttante. 6 Al momento di inserire i dati per la consegna ad una terza persona,A trovando reinseriti i propri dati, non si accorge del vero scopo di quella schermata, e aggiunge i suoi dati, lamentandosi inoltre che gli viene richiesto il CAP per la terza volta. 7 Identifica il simbolo di Page Up [^], posto a pi pagina, come unM indicatore per muoversi sequenzialmente allinterno delle pagine (Forward, Back) anzich che per la funzione di scrolling nella pagina 8 Lutente dimostra di non gradire lopzione di default Accetto di essereR.Polillo -Marzo 2013 M (Compito: registrazione utente in un sito di e-commerce) contattato da SPESACLIC per eventuali ricerche di mercato. 9 Gli acronimi non vengono sciolti.A 42. Elenco interventi suggeriti: esempio49 CARRELLO CASSA SCONTRINORACCOMANDAZIONIPRIORITA 1Lasciare sempre in vista i contenuti del carrello 1 2Di fianco ad ogni prodotto del carrello inserire il comando elimina dal1carello oppure elimina. Il comando svuota il carrello pu restare inalto ad inizio lista. 3I prodotti inseriti nel carrello saranno quelli che verranno conteggiati per1la spesa. Non occorrer selezionarli 4Cambiare il Totale Spesa con il Totale Carrello 2 5Sostituire il termine conferma lordine con il comando Invia lordine,1pi chiaro e convenzionale in Internet 6Trovare una modalit pi chiara per scegliere la data e la fascia oraria di 1consegna; ad esempio, sottolineando con un link ogni possibilit di scelta 7Dare informazioni sulle possibili modalit di pagamento ed offrire un link1verso la pagina che contiene informazioni di dettaglio 8Indicare i dati riassuntivi della spesa appena effettuata ed inviare1messaggio di conferma alla casella e-mail del cliente 9Rendere possibile la funzione di stampa dalla pagina contenente i dati2riassuntivi 10 Eliminare i termini scontrino e cassa che risultano termini arbitrari in2quanto non corrispondenti a delle funzioni reali ed utili per effettuare laspesa on-line.R.Polillo -Marzo 2013 43. Altre tecniche basate sullutente50 Inchieste (inquiry) intervisteindividuali questionari on-line focus group NB: Non possono sostituire i test di usabilit! Esperimenti di laboratorio statisticamente significativi R.Polillo -Marzo 2013 44. Classificazione dei problemi53 Qualunque sia la tecnica di valutazione utilizzata, i problemi individuati dovranno essere classificati sulla base della loro importanza, ad esempio:1. Problema irrilevante: pu non essere risolto2. Problema secondario: da risolvere con bassa priorit3. Problema rilevante: da risolvere con alta priorit4. Problema bloccante: deve necessariamente essere risolto prima che il sistema venga rilasciato R.Polillo -Marzo 2013