Antonella De Angeli
Manchester Business School
Programma
• Introduzione allo user-centred design
• Misure di qualitá in HCI
– Usabilitá
– Esperienza dell’utente UX (User-Experience)
• Principi di misurazione
– Validita’, affidabilita’
– Definizioni operative
• Metodi di valutazione
– Studi sul campo
Reading List
• Sharp, H, Rogers, Y, & Preece, J (2007)
Interaction design: Beyond human-computer interaction New York: John Wiley & Sons, Inc 2
ndEdition
• Cairns, P, Cox, A L Eds (2008) Research
methods for Human-Computer Interaction
Cambridge UK: Cambridge University Press
Risorse on-line
• http://www.id-book.com/
– website del libro Interaction Design
• http://hcccc.gatech.edu/
– Portale web per materiale didattico raccolto da Georgia Tech
• http://www.baddesigns.com/
– esempi di oggetti che sono difficili da usare
User-centred design
Valutazione (Re)Design
Requisiti
Prototipazione
Prodotto Finale
1. Identificare bisogni e requisiti dell’utente 2. Progettare varie
soluzioni di design
3. Costruire prototipi che possano essere
dimostrati a utenti 4. Valutare
Ripetere il ciclo …
Valutazione
Valutazione (Re)Design
Requisiti
Prototipazione
• Valutazioni di verifica
– Formative evaluation – Eseguite durante il ciclo
di progettazione
• Inform design
• Valutazioni di convalida
– Summative evaluation – Prototipo avanzato /
prodotto finale
• Convalida della qualitá
• Strategie di supporto
Qualitá del software
Esercizio 1
Pensate al vostro sistema web preferito,
quello che usate piu’ spesso (non per lavoro o studio, ma perche’ vi va)
Scrivete 5 parole che lo descrivano
Misure di qualitá
• Qualitá = funzionalitá
– Approccio tradizionale informatico
• Qualitá = usabilitá
– Approccio HCI post 1980
• Qualitá = esperienza
– Approccio UX post 2000
Usabilitá
Accettabilitá
Accettabilitá pratica Accettabilitá sociale
Privacy
Sicurezza Costo Praticitá Compatibilitá Affidabilita
Utilitá Usabilitá
Attributi di Usabilitá
• Facilità di apprendimento: l’utente deve raggiungere buone prestazioni in tempi brevi
• Efficienza: superata la fase di apprendimento, il sistema deve garantire prestazioni altamente produttive
• Facilità di ricordo: l’utente deve potere interagire con un’interfaccia anche dopo un periodo di lungo inutilizzo, senza essere costretto a ricominciare da zero
• Sicurezza e robustezza all’errore
– Sicurezza: ridurre al minimo la probabilità di errori
– Il sistema deve essere robusto: il funzionamento non deve venire compromesso da errori banali e deve permettere semplici azioni riparatorie
ISO
• L’usabilità è definita come l'efficacia, efficienza e soddisfazione con cui determinati utenti raggiungono determinati scopi in un ambiente ben definito
– Efficacia: grado di accuratezza e completezza con cui gli utenti raggiungono lo scopo
– Efficienza: rapporto fra efficacia e risorse spese per il raggiungimento dello scopo
– Soddisfazione: giudizio relativo al comfort dell’interazione e alla piacevolezza di uso
• ISO 9241 Part 11 - 1998
Considerazioni
• Usabilita’ = assenza di problemi interattivi
• Attributo fondamentale di sistemi finalizzati a obiettivi funzionali
– Ambito lavorativo – Eseguire compiti
– Risolvere dei problemi
• Is usability all that matters here?
Considerazioni (2)
Evoluzione
Funzionale Emozionale
Computer =
medium for emotion
Computer = artefatti cognitivi
Usabilita’ UX
Pleasure --- Emotion
Fun
Aesthetics
UX
User Experience
• Reazione soggettiva all’interazione con strumenti interattivi
• Intrinsecamente multidimensionale
Dimensioni della UX
• Attributi pragmatici
– Funzionalita’, usabilita’
• Attributi edonistici
– Piacevolezza estetica, divertimento, motivazione, gratificazione, emozione
• Attributi simbolici
– Brand, identificazione, attribuzioni sociali (status
UX
• Visione olistica della qualita’
– Multi-dimensionale
– Combinazione di diversi attributi
• Soggettiva
– Dipende dalle caratteristiche dell’utente e del contesto
• Positiva
– Cerca di migliore il design introducendo elementi
positivi (piuttosto che togliendo problemi) – design for
emotion
Principi di Misurazione
Problemi
• Misurare comportamenti e reazioni psicologiche e’ complesso
• L’usabilitá e’ un costrutto di ricerca
• UX e’ composta da una serie di costrutti psicologici
• Devono essere definiti per potere essere
misurati
Requisiti
• Validitá - validity
– Le tecniche utilizzate misurano esattamente quello che il ricercatore si propone di misurare
• I problemi di usabilita’ evidenziati nella valutazione emergerebbero anche in un contesto di utilizzo reale
• Affidabilitá – reliability
– Replicabilitá del risultato della valutazione
• Altri utenti, condizioni ambientali diverse
• Requisito logico del concetto di validita
• Sensibilitá – effective range
Definizioni operative
• Definire una variabile sulla base delle procedure usate per misurarla
– Descrizione precisa del costrutto osservato – Descrizione precisa di come e’ stato
osservato
– Descrizione precisa dell’unita’ di misura
Esempio 1
• Efficacia = numero di errori nel risultato finale
• Efficacia = L
c- L
r– L
c= numero di link cliccati dall’utente per raggiungere la pagina desiderata
– L
r= numero di link necessari per raggiungere
la pagina desiderata in una prestazione ideale
Esempio 2
• La piacevolezza estetica e’ stata misurata utilizzando il questionario PVA (Perceived Visual Aesthetics) sviluppato da Lavie e Tractinsky (2003). Il questionario è composto da 10 item, ciascuno dei quali costituito da una breve frase o da un aggettivo designante una qualita’ estetica
dell’interfaccia. Ai partecipanti viene richiesto di valutare ‘quanto bene ogni item descrive il design dell’interfaccia’. Ogni aggettivo richiede un giudizio su una scala a 5 punti, dove 5 significa molto e 1 per niente. La versione italiana della scala è stata tradotta da due persone curando la massima fedeltà linguistica. Successivamente è stata condotta una traduzione backward da parte di un'interprete di madre lingua italiana.
• Secondo l’analisi fattoriale presentata dagli autori, il PVA misura due
dimensioni distinte: una dimensione di estetica classica e una di estetica di espressione. L’attendibilita’ dei due fattori e’ risultata soddisfacente α < .85.
I due indici sono stati calcolati mediando i punteggi dei singoli item delle due scale.
Esempio 3/4
• L’usabilita’ e’ stata definita in termini di efficienza
nell’esecuzione del compito. Per ogni partecipante e’
stato considerato l’intervallo di tempo (in msec) trascorso dal primo click sull’interfaccia al momento in cui sullo
schermo compariva l’informazione ricercata. Per
diminuire l’effetto delle differenze interindividuali nella
velocita’ di scrittura, il tempo speso dai partecipanti per
riempire i campi del modulo e’ stato sottratto dall’indice
finale di efficienza.
Tipi di misure
• Oggettive
– Descrivono eventi osservabili
• Usabilita’: tempi di esecuzione
• UX: arousal, attivazione fisiologica
• Soggettive
– Descrivono costrutti psicologici
• Usabilita’: soddisfazione
• UX: interesse, piacevolezza estetica
Metodologie di valutazione
Metodologie di valuazione
• Analitiche
– Basate su modelli o euristiche ed eseguite da esperti senza il convolgimento dell’utente
• Studi sul campo
– Osservazioni di dinamiche comportamentali in contesti naturali
• Test di usabilita’
– Analisi in laboratorio di compiti pre-stabiliti
Test di usabilita’
Studi sul campo
Analitiche
Utenti Eseguono compiti
Si comportano naturalmente
Non ci sono utenti
Dove Laboratorio controllato
Luogo naturale ovunque
Quando Prototipi Sistema o prototipo avanzato
prototipi
Dati Quantitative Qualitative Problemi Feed back Dati oggettivi ed Descrizioni Problemi
Valutazioni con utenti
• 2 tecniche principali
– Osservazione
• Guardo l’utente (sul campo o in laboratorio) e cerco di capire cosa fa
• Dati oggettivi, ma a volte difficili da interpretare
– Tecniche verbali
• Chiedo all’utente (interviste, questionari, focus-group, diari)
• Dati soggettivi e a volte soggetti a rielaborazione (conscia o inconscia), bias di desiderabilita’ sociale
Studi sul campo
• Eseguiti in un contesto naturale per capire come si comportano gli utenti spontaneamente e in
che modo la tecnologia modifica il loro comportamento
- identificare nuove opportunita’ di mercato - definire i requisiti dell’utente
- decidere quando/come introdurre un nuovo
sistema
Osservazione e’ una componente principale dello studio sul campo
Interviste formali o informali con la gente aiutano a comprendere il contesto
E’ utile avere degli informatori, che conoscano bene il dominio
Si ricercano pattern di comportamento
Interviste
• Pianificare un set di domande principali
– a few good questions gets things started
• Evitare di indirizzare le risposte dell’utente - bias
• Mantenere un atteggiamento neutro
• Non giudicare
– Lasciare parlare l’utente, ma focalizzare l’intervista
• Utilizare le risposte dell’utente per continuare l’intervista
– Approfondire punti interessanti
Cultural probes
• L’utente viene invitato a usare un sistema per un certo periodo di tempo e registrare il suo comportamenti o riportare le sue
opinioni con vari strumenti preparati dal ricercatore
• Ottimo per UX
– Tenere un diario
– Compilare delle cartoline quando succedono certi eventi
– Fare foto
Analisi qualitativa
• Si ricercano pattern o temi ricorrenti
– Basati sui dati raccolti o su un eventuale framework di ricerca
• Si categorizzano i dati
– Lo schema di categorizzazione puo o meno essere pre-esistente
• Si cerca di evidenziare incidenti critici
– Focalizzare eventi chiave
Analisi di affinita’: gerarchia di idee e insights raccolti durante l’analisi
Test di usabilita’
• Studi controllati – osservazione di utenti che eseguono dei compiti dati dal valutatore
• Il comportamento dell’utente viene video-registrato
• Output:
– Misure quantitative – tempi
– errori
– Analisi del comportamento dell’utente
• Questionari e interviste sono usati per raccogliere
commenti e opinioni - UX
Raccolta dati
• Anche lo stato emozionale
dell’utente puo’
essere registrato
durante l’interazione
Osservazioni semplici
• L’utente esegue un compito datogli dal valutatore
• Valutatore guarda l’utente
• Problema
– E’ difficile interpretare i motivi degli errori e i
Usability specification table
Scenario task
Worst case
Planned Target
Best case (expert)
Observed
Find most expensive house for sale?
1 min. 10 sec. 3 sec. ??? sec
…
Coding sheet example
Time 09:00 09:02 09:05 09:10 09:13
Errors General actions
text scrolling image new delete modify correct miss
editing editing node node node error error
Graph editing
x x
x x
tracking a person’s use of an editor
Interviste retrospettive
• Interviste condotte dopo un test di usabilita’
• Gli utenti a commentano i problemi incontrati
• Spesso non ricordano
– Videoregistrare il test
– Guardare il video con l’utente e chiedere di
• Chiarire eventi successi durante l’interazione
• Problema: processi di razionalizzazione
• L’utente spesso non sa’ perche’ ha fatto una certa scelta
Think aloud method
• Gli utenti verbalizzano i loro pensieri mentre eseguono il compito
– Che cosa stanno cercando di fare
– Perche’ hanno fatto una certa azione – Che cosa pensano del sistema
– Permette di interpretare i modelli mentali degli utenti
• Potrebbe modificare le procedure di soluzioni
• Poco naturale
• Difficile per gli utenti, specialmente nel caso di problemi
Interazioni costruttive
• A due persone viene richiesto di lavorare insieme
– Osservatore ascolta la loro conversazione – Piu’ naturale del think-aloud
– Ha meno validita’ ecologica
• Esistono una serie di varianti sul tema
– Co-discovery learning
– Combina un utente di media esperienza e un utente inesperto
• Solo l’utente inesperto usa l’interfaccia
• Inesperto chiede aiuto all’utente piu’ esperto
Esperimenti controllati
• Sperimentatore cerca di controllare il maggior numero possibile di fattori esterni
– Guidati da un’ipotesi di ricerca
– 1 o + variabili indipendenti – manipolate dallo sperimentatore
– Osservare l’effetto della manipolazione su una o piu’
variabili indipendenti
File Edit View Insert New
File
Edit New
Open
Esperimenti controllati (2)
• Si raccolgono misure oggettive
• Analisi statistiche per
dimostrare gli effetti
DECIDE
• Determine the evaluation goals
– Stabilire gli obiettivi della valutazione
• Explore specific evaluation questions
– Definire specifiche domande di ricerca
• Choose the evaluation paradigm and techniques to answer the questions
– Scegliere paradigmi e tecniche di valutazione
• Identify the practical issues
– Identificare I problemi pratici
• Decide how to deal with the ethical issues
– Decidere come gestire I problemi di tipo etico
• Evaluate, interpret and present the data
