13 Esperimento Con Utenti
description
Transcript of 13 Esperimento Con Utenti
Interazione Uomo-Macchina
Esperimento con gli utenti
Corsi di Laurea Magistrale in:
Ingegneria Informatica
Università degli Studi di Brescia
Docente: Daniela Fogli
Daniela Fogli – Interazione Uomo-Macchina 2
Esperimento controllato (in laboratorio)
si pone un problema
si adotta un modello si fissano certe variabili (variabili di controllo stabilizzando l’ambiente) si manipolano certe variabili secondo strategie predefinite (variabili indipendenti) si osservano (misurano) certe altre variabili (variabili dipendenti)
si valutano i risultati
Nel senso delle scienze tradizionali: si fissa un protocollo sperimentale:
Daniela Fogli – Interazione Uomo-Macchina 3
Il nostro osservato: l’utente umano che interagisce con un artefatto
per compiere un’attività in un ambiente �simile�
a quello in cui opera realmente
(ricostruito in laboratorio)
Considerazioni generali sull�esperimento con gli utenti
Daniela Fogli – Interazione Uomo-Macchina 4
Validità: il protocollo sperimentale è adeguato alle necessità; si misura qualche cosa di effettivamente rilevante rispetto allo scopo dell’esperimento Affidabilità: l’esperimento è ripetibile: dà lo stesso risultato se ripetuto avendo fissato le stesse variabili di controllo agli stessi valori e ripetendo le stesse strategie di manipolazione delle variabili indipendenti
Caratteristiche dell’esperimento
Daniela Fogli – Interazione Uomo-Macchina 5
Validità
Il risultato può non essere significativo a causa
1) della scelta di utenti non rappresentativi
(provare un sistema destinato a manager con studenti di chimica; meglio con studenti gestionali)
2) della scelta di un compito sbagliato (provare su pochi dati un programma destinato a gestire grandi moli di dati)
3) della mancata inclusione di adeguati vincoli di tempo o derivati dalle influenze sociali
Daniela Fogli – Interazione Uomo-Macchina 6
Affidabilità
Causa principale della scarsa affidabilità: la variabilità dell’utente
In certe situazioni, la capacità dell’utente migliore è 10 volte quella del peggiore. Nella velocità di battitura: il 25% dei migliori è 2 volte più veloce del 25% dei peggiori.
Dire: l’utente A con la macchina X esegue il compito meglio dell’utente B con la macchina Y non permette di giudicare quale macchina è migliore. E� un dato non affidabile.
Comunque: un’indicazione è meglio di nessuna indicazione (decisioni in presenza di incertezza)
Daniela Fogli – Interazione Uomo-Macchina 7
Si raggiungono buoni livelli di osservazione
indirizzando aspetti specifici del processo di interazione
con obiettivi ben limitati
L’organizzazione dell’esperimento può servire per organizzare altri tipi di osservazione - valutazione, capendo dove ci si discosta dal modello ideale e le conseguenze dello scostamento
Validità e Affidabilità
Daniela Fogli – Interazione Uomo-Macchina 8
Pianificare e progettare l’esperimento
Si pone il problema chiarire lo scopo dell’esperimento
Si pianifica l’attività sperimentale tenendo conto del budget
incluse: scelta utenti, scelta sperimentatori, scelta compiti, formulazione del modello
Si esegue l’esperimento 4 fasi: preparazione, introduzione, il test, debriefing
Si analizzano e sintetizzano i risultati quali statistiche utilizzare
Daniela Fogli – Interazione Uomo-Macchina 9
Quando e dove si terrà il test? Quanto tempo dovrà durare ogni sessione? Quali tipi di supporto (hardware/software) sono necessari per condurre il test? In che stato deve trovarsi il sistema per iniziare il test? Quali devono essere i tempi di risposta e/o i tempi della rete? Chi saranno gli sperimentatori? Chi saranno gli utenti test, come li troviamo, e quanti dovranno essere? Quali compiti faremo svolgere? Quali criteri adottiamo per decidere quando l’utente ha finito un task correttamente? Quali aiuti diamo agli utenti (manuali, etc.)? Fino a che punto lo sperimentatore può aiutare l’utente durante il test? Quali dati si vogliono raccogliere e come li analizzeremo? Quale sarà il criterio per dichiarare il successo o l’insuccesso del sistema?
dobbiamo porci qualche domanda…
Pianificare l’attività sperimentale
Daniela Fogli – Interazione Uomo-Macchina 10
E� l’incaricato di gestire l’esperimento Più il metodo è �scientifico� meno è influente
Deve avere esperienza
- del metodo sperimentale adottato - dell’applicazione
Non è necessario conosca i dettagli dell’implementazione, ma è utile se il sistema va in crisi (soprattutto se il sistema è prototipale… è bene avere vicino allora il programmatore) I progettisti come sperimentatori? Meglio 2 sperimentatori: 1 facilitatore e 1 osservatore
Scegliere lo sperimentatore
Daniela Fogli – Interazione Uomo-Macchina 11
Scegliere gli utenti test
Il tipo di popolazione destinataria influenza la scelta
Sistema destinato ad un singolo (difficoltà di accesso)
Sistema destinato a popolazione ben identificata (il personale amministrativo di una azienda; gli infermieri di un ospedale; etc. rappresentanti della popolazione sono raggiungibili magari a pagamento)
Sistema destinato a popolazione generica (facile reclutare, non facile avere un insieme rappresentativo: e.g. gli studenti sono una sottopopolazione)
Daniela Fogli – Interazione Uomo-Macchina 12
Scegliere gli utenti test (2)
Regola: l’insieme delle persone (campione) su cui eseguire l’esperimento deve rappresentare la popolazione cui è destinato il sistema (ricordare la validità)
Problemi: evitare polarizzazioni a seconda di quante persone posso coinvolgere (budget) per l’esperimento cambia il criterio
Daniela Fogli – Interazione Uomo-Macchina 13
Scegliere gli utenti test (3)
Esperti o non esperti eseguire l’esperimento sempre con utenti non esperti del sistema se si fa anche con esperti organizzare due gruppi, possibilmente test separati
A volte necessario prevedere addestramento a un nuovo strumento (e.g. touch screen, SO):
gli effetti associati all’uso di un nuovo strumento mascherano gli effetti dovuti alla bassa usabilità dell’intero sistema
Daniela Fogli – Interazione Uomo-Macchina 14
Quanti utenti?
Dipende da ragioni pragmatiche (fondi, disponibilità) ma il campione deve essere abbastanza grande da essere rappresentativo della popolazione (almeno 10)
con 5 utenti si scopre l’85% dei problemi di usabilità
con 15 utenti li si scopre tutti
www.useit.com
Daniela Fogli – Interazione Uomo-Macchina 15
Nell’esperimento si debbono considerare almeno due condizioni: - la condizione di controllo (stabilizzazione dell’ambiente, non viene manipolata) - la condizione sperimentale (la variabile indipendente che viene manipolata)
Between groups vs. Within groups
Nel progetto between groups ogni soggetto prova una sola condizione sperimentale Nel progetto within groups ogni soggetto prova tutte le condizioni
Confrontare l’usabilità di due o più sistemi
Daniela Fogli – Interazione Uomo-Macchina 16
Vantaggio: ogni effetto dovuto all’apprendimento viene evitato Problema: variabilità degli utenti. Per controllare:
- Esaminare molti utenti (costo) - Diverse tecniche:
a) creare gruppi a caso b) classificare gli utenti e mettere rappresentanti di ogni classe in ogni gruppo
Ogni soggetto prova una sola condizione sperimentale
Between groups
Daniela Fogli – Interazione Uomo-Macchina 17
Vantaggio: meno costoso, richiede meno utenti. Efficace quando sono ridotti i problemi di apprendimento. Meno problemi legati alla variabilità degli utenti Problema: gli utenti imparano. Sono inesperti solo alla prima esperienza Per controllare:
- dividere gli utenti in gruppi e far eseguire ad ogni gruppo una sequenza di compiti diversa - oppure far provare un gruppo prima con la condizione A poi con la condizione B, e l’altro gruppo prima con la condizione B e poi con la condizione A
Within groups
Ogni soggetto prova tutte le condizioni sperimentali
Daniela Fogli – Interazione Uomo-Macchina 18
Aspetti etici degli esperimenti con esseri umani
I test vanno condotti avendo rispetto degli utenti e delle loro emozioni Esempio, se è fatto dal progettista, non può trattar male gli utenti perché mostrano di non gradire il suo �amato� software Gli utenti sentono comunque una certa pressione anche se viene spiegato loro che lo scopo del test non è testare gli utenti ma il sistema Gli utenti faranno errori (soprattutto se il sistema è prototipale) e si sentiranno inadeguati o stupidi Sapere che sono osservati o addirittura ripresi può renderli ancora più a disagio
Daniela Fogli – Interazione Uomo-Macchina 19
Aspetti etici degli esperimenti con esseri umani (2)
Agli utenti deve essere detto chiaramente che nessuna informazione sulle loro prestazioni sarà rivelata (specialmente ai loro capi) Esperimento condotto in un’atmosfera rilassata Per mettere all’inizio a proprio agio l’utente, il primo compito deve essere talmente facile da garantire un sicuro successo Lo sperimentatore, prima di iniziare il test, deve assicurarsi che la stanza, il computer, il software siano pronti, assieme ad altro materiale necessario per condurre il test I risultati devono essere mantenuti confidenziali e i rapporti devono essere tali per cui gli utenti non possano essere identificati
Daniela Fogli – Interazione Uomo-Macchina 20
Aspetti etici degli esperimenti con esseri umani (3)
Fare in modo che ci siano meno osservatori possibili Le eventuali registrazioni non vanno diffuse se non c’è il consenso dell’utente Lo sperimentatore non deve interferire durante il test… a meno che l’utente non sia in evidente difficoltà e non riesca ad andare avanti Dopo il test si parla con l’utente, gli si chiede di commentare il sistema, si risponde a tutte le sue domande, lo si ringrazia e gli si ribadisce la sua utilità per risolvere i problemi del sistema Una buona idea è che lo sperimentatore provi a fare l’utente test anche una sola volta nella vita…
Daniela Fogli – Interazione Uomo-Macchina 21
Prima Dare garanzia sulla privatezza degli esperimenti e dei risultati Dire che è il sistema che viene testato non l’utente Verificare gli strumenti e la documentazione prima della prova Spiegare come verrà fatta l’osservazione e condotto l’esperimento
Durante Non intervenire se non in casi estremi Rispettare l’utente Prevenire interruzioni esterne
Dopo Ringraziare e spiegare perché sono stati utili Ascoltare commenti e rispondere ai dubbi Prevedere remunerazione Non rendere gli utenti identificabili nei rapporti
Rapporto con gli utenti test: in sintesi
Daniela Fogli – Interazione Uomo-Macchina 22
Come scegliere i compiti da eseguire
Devono essere rappresentativi dei compiti che dovranno essere svolti nel mondo reale (in base all’analisi dei compiti o alle specifiche di progetto)
Devono essere limitati in modo da essere fattibili nel tempo previsto ma complessi abbastanza da essere rappresentativi
Deve essere specificato prima dell’esperimento cosa l’utente deve produrre e ogni task definito in dettaglio
Deve essere dato all’utente per iscritto (parità di condizione; può chiedere cosa non ha capito prima di eseguire)
Daniela Fogli – Interazione Uomo-Macchina 23
Come scegliere i compiti da eseguire (2)
Non devono essere umoristici, offensivi o frivoli
Devono anzi essere il più realistici possibile
Possono essere inquadrati in uno scenario più ampio, per dare realismo alla prova e una miglior comprensione dell’esercizio da svolgere (si complica il laboratorio)
Devono essere di difficoltà incrementale, l’ultimo task deve dare idea all’utente che ha fatto qualcosa
Daniela Fogli – Interazione Uomo-Macchina 24
Test di compito e Test di scenario
I test di usabilità possono essere suddivisi in test di compito e test di scenario Nel test di compito viene chiesto di svolgere compiti specifici che permettano di esercitare le funzionalità principali dell’applicazione Ad es. per un sito web: registrarsi, ricercare un prodotto, acquistarlo, etc. Esempio di test di compito per un sito di un’agenzia viaggi
Compito 1: registrati sul sito, inserendo tutti i dati anagrafici richiesti Compito 2: ricerca nel catalogo dei viaggi proposti sul sito un viaggio a Cuba, della durata di circa una settimana, con partenza il giorno 24 del prossimo mese di dicembre Compito 3: trovato il viaggio desiderato, scegli l’albergo che costa di meno e richiedi preventivo per due persone adulte e disponibilità all’agenzia, utilizzando l’apposita funzione del sito Compito 4: accedi alla tua scheda personale e modifica il tuo indirizzo, inserendo un indirizzo di fantasia di un’altra città
Daniela Fogli – Interazione Uomo-Macchina 25
Test di scenario
Viene indicato un obiettivo da raggiungere attraverso una serie di compiti elementari, senza indicarli esplicitamente
L’utente dovrà impostare una propria strategia di azione
Lo scenario deve essere realistico
Esempio di test di scenario per un sito di un’agenzia viaggi Desideri organizzare una vacanza di circa una settimana al mare, per te e un amico, in una località tropicale, durante le vacanze di Natale di quest’anno. Siete liberi di partire in qualsiasi giorno successivo al 22 dicembre e dovete essere di ritorno entro il 10 gennaio. Il vostro budget è di 3000 euro, comprensivo di viaggio e albergo in pensione completa. Desiderate trovare un villaggio vacanze non lontano da un centro abitato abbastanza grande. Trova sul sito una proposta soddisfacente, con disponibilità di posti liberi.
Daniela Fogli – Interazione Uomo-Macchina 26
Esempio tratto da elaborato di:
Barbeno, Bombardieri, Panni, Pedretti
Daniela Fogli – Interazione Uomo-Macchina 27
Esempio tratto da elaborato di:
Barbeno, Bombardieri, Panni, Pedretti
Daniela Fogli – Interazione Uomo-Macchina 28
Esempio tratto da elaborato di:
Barbeno, Bombardieri, Panni, Pedretti
Test di Scenario: Esempio
Daniela Fogli – Interazione Uomo-Macchina 29
Le fasi di un esperimento
Tipicamente 4 fasi: 1. Preparazione: prima che arrivino gli utenti lo sperimentatore
controlla che tutto funzioni 2. Introduzione: lo sperimentatore accoglie gli utenti e spiega lo
scopo del test, come eseguirlo, garantisce la privatezza, si accerta che gli strumenti siano adatti agli utenti, distribuisce le istruzioni scritte su come eseguire l’esperimento, fa eseguire eventualmente una fase di addestramento
3. Esecuzione: lo sperimentatore non esprime opinioni o interviene, solo uno degli sperimentatori può aiutare (solo in casi estremi)
4. Debriefing: solitamente mediante questionari per raccogliere pareri degli utenti dopo il test. Appena possibile lo sperimentatore scriverà un breve rapporto sull’esperimento svolto (sistemando le note)
Daniela Fogli – Interazione Uomo-Macchina 30
Esempio da elaborato di:
De Rose, Giorgi, Girardi, Marranzino, Venturini
E� bene preparare una checklist con tutto quello che c�è da dire e da fare
Se sperimentatori inesperti…
Daniela Fogli – Interazione Uomo-Macchina 31
L’esecuzione dell’esperimento
Si misurano una o più variabili (dipendenti) facendo eseguire a un gruppo di utenti un insieme predefinito di compiti
Un possibile errore: misurare qualcosa che non è strettamente collegato con la proprietà a cui si è interessati
Necessario un modello di misura dell’usabilità
Daniela Fogli – Interazione Uomo-Macchina 32
Modello di misura di usabilità
Goal: usabilità
Componente Apprendibilità
Componente Efficienza d�uso
Variabile misurabile Tempo medio necessario per eseguire 5 compiti
Metodo di misura Gli utenti portati in lab. forniti della lista dei compiti Li eseguono senza aiuto
Tecnica di raccolta dati con cronometro (fissare prima quando far partire e fermare il cronometro)
Metodi di analisi Metodi statistici
…
Daniela Fogli – Interazione Uomo-Macchina 33
Esempio da elaborato di:
De Rose, Giorgi, Girardi, Marranzino, Venturini
Esempio: misura successi e tempo
Modulo per lo sperimentatore
Daniela Fogli – Interazione Uomo-Macchina 34
Esempio tratto da elaborato di:
Barbeno, Bombardieri, Panni, Pedretti
Variabili misurate
Modulo per lo sperimentatore
Daniela Fogli – Interazione Uomo-Macchina 35
Analisi statistiche
Innanzitutto due regole: 1) �guardare i dati�: si può notare ad esempio tramite un grafico che ci sono degli outliers, generalmente da eliminare per non polarizzare i risultati 2) �salvare i dati�: per analisi future (all’inizio lo sperimentatore calcolerà medie o poco più) Test parametrici: assumono i dati (misure della var. dipendente) distribuiti secondo la normale (e.g. t test) Test non parametrici: non assumono particolari distribuzioni (e.g. Wilcoxon test) La scelta delle analisi statistiche dipende dal tipo di dati e dalle domande a cui si vuol rispondere
Daniela Fogli – Interazione Uomo-Macchina 36
Analisi statistiche (2)
Esempio di domanda a cui i test statistici (parametrici e non) possono rispondere:
C’è differenza? Ad es. un sistema è meglio dell’altro?
Le tecniche rispondono a una ipotesi (da verificare)
La risposta sarà del tipo “siamo certi al 99% che la selezione da un pie menu di 7 oggetti è più veloce che la selezione da un pull-down menu con 7 oggetti”
Daniela Fogli – Interazione Uomo-Macchina 37
Debriefing con gli utenti
Domande d’esempio da fare dopo la sessione: Qual è stata la parte migliore/peggiore del sistema? Qual è l’aspetto che va maggiormente cambiato? Quanto semplici erano i compiti? Quanto realistici erano i compiti? …
Daniela Fogli – Interazione Uomo-Macchina 38
Esempio tratto da elaborato di:
Barbeno, Bombardieri, Panni, Pedretti
Esempio di Post-Questionario
Daniela Fogli – Interazione Uomo-Macchina 39
L’esperimento di usabilità
Aspetti scientifici
Revisione critica dei risultati valore assoluto dell’effetto osservato rispetto allo scopo del test spiegazioni alternative: gli effetti osservati sono causati da variazione delle variabili indipendenti?
consistenza delle variabili dipendenti generalizzazione dei risultati: ad altre macchine, altri ambienti, altri compiti
Daniela Fogli – Interazione Uomo-Macchina 40
Esempio: un test poco utile
Era da poco uscito il primo iPhone (2007)
Test sulla funzionalità di immissione testi
20 partecipanti con il loro telefono: 10 con tastiera (fisica) QWERTY 10 con tastiera numerica (multi-tap)
12 messaggi da inserire 6 con il loro telefono 6 con iPhone
Ordine controbilanciato
Risultati su errori e tempo: “Participants made significantly more errors on the iPhone than they did on their own phones” “Participants took longer to type text messages in on the iPhone than on their own phones”
Daniela Fogli – Interazione Uomo-Macchina 41
Percezione
Goal
Intenzione
Azione
Esecuzione
Interpretazione
Valutazione
Interfaccia
Esecuzione Valutazione Utente
Esperimenti utili anche per valutare gli aspetti �articolatori� dell’interazione umana
Gol
fo d
ell�
esec
uzio
ne
Distanza Semantica
Distanza Articolatoria
Distanza Semantica
Distanza Articolatoria
Golfo della Valutazione
Daniela Fogli – Interazione Uomo-Macchina 42
Esempio: la scelta di una tecnica per touch screen
Uso il pollice anziché stilo:
Direct Touch
Offset cursor (Potter et al. 88)
Thumbspace
Shift
Tecniche di selezione su dispositivi mobili con touch screen
Daniela Fogli – Interazione Uomo-Macchina 43
Thumbspace (Karlson & Bederson, Interact �07)
(Vogel & Baudisch, CHI 2007)
Shift
Questa tecnica mostra il contenuto della parte occlusa dello schermo in un callout sopra il dito. Aggiustando la posizione relativa del callout, si possono gestire tutti i target sullo schermo…
Si può attivare una �radar view� al centro dello schermo e interagire con essa per raggiungere tutte le locazioni (funziona come un touchpad superimposto sul touch screen)
Daniela Fogli – Interazione Uomo-Macchina 44
Problemi
Morfologia di mano e pollice non permettono di raggiungere facilmente i bordi e gli angoli
Il pollice può occludere la parte dello schermo che contiene il target
La selezione può essere ambigua se la zona di contatto è più ampia rispetto agli oggetti selezionabili
Nonostante ciò la tecnica Direct Touch è quella più usata
Daniela Fogli – Interazione Uomo-Macchina 45
Due nuove tecniche di selezione
Roudaut A., Huot, S. and Lecolinet E. (2008). TapTap and MagStick: Improving One-Handed Target Acquisition on Small Touch-screens. Proc. AVI '08. ACM, New York. 146-153. Video scaricato da http://www.anneroudaut.fr/
MagStick
TapTap
Daniela Fogli – Interazione Uomo-Macchina 46
Confronto qualitativo
(Roudaut et al. - AVI 2008)
Daniela Fogli – Interazione Uomo-Macchina 47
Esperimento
Condotto esperimento per confrontare TapTap e MagStick con Direct Touch, Offset Cursor, Thumbspace e Shift
Ipotesi da testare: H1: TapTap e MagStick sono le tecniche più veloci dopo Direct Touch H2: TapTap e MagStick sono le tecniche con minor tasso di errore
Daniela Fogli – Interazione Uomo-Macchina 48
Metodologia
Utenti: 12 volontari (1 donna, 11 uomini) età: 23-47 tutti novizi rispetto a dispositivo mobile con touch screen 2 mancini
Tecnica within-groups (ogni utente prova tutte le condizioni sperimentali)
10 prove come addestramento
Il compito consisteva nel fare una serie di selezioni di target in una mappa di una città con le 6 diverse tecniche
Daniela Fogli – Interazione Uomo-Macchina 49
Variabili
Variabili di controllo: ai partecipanti era richiesto di tenere il dispositivo con la mano dominante e di usare il pollice per le selezioni
Variabile indipendente: La tecnica utilizzata (6 valori)
Prove sulle 8 aree target con within-groups cambiando l’ordine di esecuzione riguardo alle tecniche e facendo fare due selezioni in tutte le 8 aree (ordinate in maniera circolare)
Variabili (dipendenti) misurate: Tempo di esecuzione del compito Numero errori commessi
Daniela Fogli – Interazione Uomo-Macchina 50
Risultati
(Roudaut et al. 2008)
Tempo
Tasso d’errore
Daniela Fogli – Interazione Uomo-Macchina 51
Il test pilota
E� bene sempre eseguire il test su alcuni soggetti prima di eseguirlo estesamente à fare una prova generale Con 1-2 soggetti fra persone facilmente raggiungibili Non ha valore di raccolta dati ma
Si scoprono ambiguità e oscurità nelle istruzioni su come condurre il test Si scopre se i compiti sono difficili e i tempi stretti Si scopre se le richieste all’utente sono chiare o di difficile comprensione
Serve per rifinire la procedura sperimentale e chiarire le definizione delle variabili che si vanno a misurare
Daniela Fogli – Interazione Uomo-Macchina 52
(Nielsen, 1993)
Il laboratorio di Usabilità
Daniela Fogli – Interazione Uomo-Macchina 53
Esempi di Laboratori di Usabilità
http://www.designperspectives.com/usability.html
http://iat.ubalt.edu/index.php/graduate-programs/usability-lab/
Daniela Fogli – Interazione Uomo-Macchina 54
Multiple-User Simultaneous Test
�Testing 5-10 users at once lets you conduct large-scale usability testing and still meet your deadlines� (Nielsen)
Playtest lab at Microsoft Games Studios. Headsets are helpful when many people in the same room are playing audio-intensive games www.useit.com
Daniela Fogli – Interazione Uomo-Macchina 55
In HCI gli esperimenti in laboratorio hanno valore limitato perché:
Il laboratorio è differente dal posto di lavoro Non è possibile controllare tutte le variabili ambientali (alcune ignote) I compiti eseguiti sono resi artificiali dai vincoli sperimentali (ad esempio di tempo) Non si presta attenzione alle idee ed alle motivazioni del soggetto
Limiti dell’esperimento nel senso tradizionale
Daniela Fogli – Interazione Uomo-Macchina 56
Pro e contro delle registrazioni video
CONTRO Normalmente non c’è bisogno di rivedere l’esperimento perché con esso si intendono rilevare principalmente le �catastrofi di usabilità�, cosa che si rileva al momento Il tempo per analizzare un video è circa 3-10 volte la durata dell’esperimento
PRO In molti casi servono per fare una analisi formale dell’impatto che hanno i problemi di usabilità: prima si individuano i problemi e poi si va sulle registrazioni dei vari utenti ad analizzare chi li ha avuti e cosa li ha provocati Servono anche come mezzo di comunicazione fra gli esperti di usabilità, gli sviluppatori e i manager
Daniela Fogli – Interazione Uomo-Macchina 57
Registrazioni senza telecamere
Si possono usare programmi che registrano ciò che succede sul video (e.g. CamStudio)
Lo svantaggio: l’utente non è incluso nelle immagini, non si possono fare zoom su parti interessanti dello schermo o sulla pagina del manuale che l’utente invano sta studiando
Daniela Fogli – Interazione Uomo-Macchina 58
Laboratori �portatili� e Chioschi
Invece di avere un laboratorio permanente, avere un laboratorio �portatile� per esperimenti sul campo (con laptop, webcam, microfono e software di registrazione video)
Un chiosco di usabilità è un laboratorio self-service: si mette il sistema in vista in un’area di passaggio del pubblico allo scopo di raccogliere commenti, esegue un �esperimento automatico� (suggerisce certi compiti agli utenti e memorizza tempi e commenti)
Daniela Fogli – Interazione Uomo-Macchina 59
… e per dispositivi mobili
Mobile Device Camera Strumento di osservazione di utenti che interagiscono con dispositivi mobili (Noldus Information Technology – www.noldus.com )
Daniela Fogli – Interazione Uomo-Macchina 60
Remote Usability Testing
Permette di condurre l’esperimento con partecipanti che rimangono nel loro ambiente naturale
Si usano software di condivisione dello schermo o piattaforme online specifiche per questo scopo
Solitamente gli esperimenti consistono in pochi compiti (3-5 compiti) per una durata globale limitata (15-30 minuti)
Esempi di tool: Loop11, OpenHallway, TryMyUI, UserLytics, UserZoom, …
Daniela Fogli – Interazione Uomo-Macchina 61
Due tipologie
Remote Usability Testing
Moderated
Unmoderated
• Sincrono • Un utente alla volta • Tecnologia condivisa
• Asincrono • Più utenti alla volta • Auto-gestito • Tool specifici per
memorizzazione e feedback
Daniela Fogli – Interazione Uomo-Macchina 62
Quando?
Tempi ristretti per condurre gli esperimenti
I partecipanti (utenti target) sono geograficamente distribuiti (le spese di viaggio hanno un costo)
I partecipanti devono usare una certa macchina per questioni tecniche o di sicurezza
I partecipanti hanno problemi di accessibilità e devono usare la loro macchina con tecnologie assistive
Si vogliono lanciare più test contemporaneamente
Daniela Fogli – Interazione Uomo-Macchina 63
Pro e Contro
Pro Ambiente reale (… ed elimina il bisogno di un laboratorio) Costi ridotti Organizzazione Più utenti
Contro Sicurezza Non si vede l’utente nella sua interezza Difficoltà tecniche (connessione lenta, software che va in conflitto, …)
Daniela Fogli – Interazione Uomo-Macchina 64
Potenti se applicati correttamente
Richiedono molte risorse (tempo/denaro)
Molto intrusivi (effetto Hawthorne)
Valore limitato
Utili quando si richiedono informazioni specifiche su nuove tecnologie di interazione
Pro e contro degli esperimenti in generale
Daniela Fogli – Interazione Uomo-Macchina 65
Mantiene alcuni aspetti della sperimentazione scientifica: § prove in laboratorio (eventualmente portabile o chiosco) § la progettazione dell’esperimento in anticipo § stabilisce in anticipo i goal di usabilità da valutare e tende ad
esprimerli secondo metriche quantitative Ma accetta l’impossibilità di controllare tutte le variabili non di interesse e ammette maggior interazione con l’utente (durante l’esperimento e nel debriefing finale)
L’esperimento secondo l’ingegneria dell’usabilità
Daniela Fogli – Interazione Uomo-Macchina 66
Il Rapporto di valutazione
Deve contenere: Nomi degli sperimentatori, data, descrizione oggetto dell’analisi Obiettivi della valutazione (se specifici) Metodologia: quanti utenti, loro caratteristiche, compiti/scenari, il contesto, gli strumenti utilizzati, come è stato condotto il test, quanto tempo è durato, quali variabili misurate, come sono stati analizzati i risultati, i moduli utilizzati Tabella di sintesi delle misure raccolte Analisi dei risultati, commentando le misure raccolte e descrivendo i problemi incontrati dagli utenti (per lo meno quelli più significativi) Sintesi delle interviste/questionari sottomessi agli utenti Descrizione di interventi migliorativi Allegati