Componente fondamentale del test è la definizione di uno scenario e dei compiti da svolgere in relazione a questo. Ai partecipanti è stato appunto chiesto di immaginare di essere un giornalista, professionista considerato come uno dei possibili utenti della piattaforma. Il territorio su cui il giornalista è operativo è quello di Arezzo, condizione dovuta ai dati a disposizione. Ecco lo scenario così come viene descritto in un breve preambolo ai task da eseguire:
« Sei un giornalista che lavora sul territorio di Arezzo. Hai cercato in home page i documenti relativi al comune di arezzo per l’argomento “servizio finanziario” perché devi scrivere un servizio sulle spese del comune, in particolare
sulle aziende che hanno lavorato per il comune. Decidi poi di entrare nella sezione “Inferenza”. A cosa serve secondo te questa sezione? »
La necessità di inserire la sezione all’interno del suo contesto deriva dalla possibilità di non complicare inutilmente la vita all’utente: allo stato attuale gli utenti devono prima compiere una ricerca nella home di SemplicePA e solo succssivamente possono accedere alla sezione, la cui icona è altrimenti disattivata, avendo così già ben chiaro che le operazioni sul grafo riguardano in qualche modo i documenti appena ricercati.
Durante la propria esplorazione sulla pagina, ciascun partecipante dovrà semplicemente descrivere ad alta voce cosa sta osservando (o cosa pensa di stare osservando) e cercare poi di dedurre lo scopo ultimo della pagina web sottoposta, senza cliccare su nessuno degli elementi presenti.
Task
Il partecipante procede a questo punto all’esecuzione di alcuni task. I principali compiti individuati sono sei, e sono scelti con un diverso livello di difficoltà. I compiti considerati più facili sono posti all’inizio e alla fine del test. Da un lato si vuole evitare di frustrare il partecipante con richieste iniziali complesse, scoraggiandolo o irritandolo sin dal principio, rischiando di pregiudicare il successo dei task successivi, anche i più semplici. Dall’altro si cerca di concludere il test congedando un utente dallo stato d’animo positivo, possibile attraverso la garanzia della riuscita dell’ultimo compito: per questo i test si concludono spesso raggiungendo un obiettivo concreto, come scaricare un file ed aprirlo (Nielsen, 1993).
Ecco i sei compiti scelti per questa sessione, con il relativo svolgimento: • Task 1 : vorresti farti un’idea delle persone che hanno autorizzato i
lavori delle aziende. Cerca le aziende e le persone citate nei documenti;
selezionare nel menù a tendina in alto "Persone" e "Aziende" e poi premere il bottone "Mostra la rete".
• Task 2: scopri con più precisione quali persone hanno un numero maggiore
di collegamenti con altri elementi, e quali invece occupano una posizione
• Task 3 :
– hai trovato un’azienda x di cui ti interessa approfondire le relazioni e
vuoi visualizzare solo gli elementi in relazione con questa; cliccare sul
tasto "Cerchia"; seguire le istruzioni e selezionare una delle aziende. – ti sei accorto che c’era anche un’altra azienda y da controllare, ma
non compare tra i vicini dell’azienda x. Visualizza nuovamente la rete originaria; seguire le istruzioni e cliccare fuori dalla rete
visualizzata, nello spazio non occupato dai nodi; selezionare un altra azienda.
• Task 4: sposta un elemento in un’altra posizione. Poi sblocca questa
posizione; Questo task obbliga il partecipante a disattivare la funzione
"Cerchia", premendo su un altro tasto. Occorre poi trascinare un elemento e premere il tasto "Sblocca elementi".
• Task 5: la rete è troppo estesa. Hai due modi per ridurre il numero degli
elementi, individuane almeno uno; Un metodo consiste nel premere il
tasto "Ridimensiona", un altro nel modificare il numero massimo di nodi e/o il numero minimo di relazioni e poi premere "Ridimensiona".
• Task 6: Scarica i dati relativi alla rete in formato compatibile con Excel. Premere sul tasto "csv" sotto il grafo a sinistra.
Pr ciascun task è stato registrato uno di quattro possibili esiti: superato, con un punteggio di 1, fallito, con punteggio 0 e superato in parte 0, 5. Quest’ultimo esito viene attribuito quando si completa solo una parte del task o quando le azioni individuate dall’utente per svolgere il compito portano comunque a un qualche risultato utile allo scopo. Nessun esito è attribuito invece ai task di cui non è stato possibile richiedere l’esecuzione.
Ciascuna sessione è stata filmata attraverso l’applicazione online "Screen Recorder" (Screencast-O-Matic), che ha registrato lo schermo e l’audio per una durata di 15 minuti, durante i quali l’utente ha dovuto compiere una prima esplorazione della pagina e poi cercare di risolvere i task proposti. A questo scopo è stata fatta firmare a ciascun partecipante un’apposita liberatoria.
I questionari
Tra i questionari proposti da eGLU, si è deciso di sottoporre ai soggetti il Net Promoter Score (NPS) e il System Usbility Scale (SUS).
Net Promoter Score È un questionario che consiste in una sola domanda, ovvero: “Con quanta probabilità raccomanderesti questo sito ad un amico o un collega?”. La scala di accordo è a 11 intervalli, con 0 come livello minimo (nessuna probabilità) e 10 come livello massimo (massima probabilità). Il punteggio viene calcolato solo in base ai valori molto alti (9 o 10: promotori) o molto bassi (0-6: detrattori). Non vengono considerati infatti i voti 7 o 8, ritenuti neutrali. La percentuale di promotori meno quella dei detrattori dà un punteggio assoluto, da −100 a +100. L’ideale sarebbe ottenere un punteggio di 100. A livello indicativo, sarebbe bene non scendere sotto il punteggio di 50. Il questionario è stato proposto da Fred Reichheld, Bain & Company, e Satmetrix sulla rivista “Harvard Business Review” nel 2003. Nonostante nasca come misura della fedeltà di un consumatore verso un certo prodotto, il suo punteggio medio ha mostrato nel tempo una elevata correlazione (r = 0, 61) con il SUS. Consigliato per la sua rapidità di somministrazione eGLU suggerisce comunque di integrarlo a strumenti specifici per la valutazione dell’usabilità, come appunto il SUS.
System Usbility Scale Si tratta di un questionario composto da 10 afferma- zioni, costruito nel 1986 da John Brooke e da quasi 30 anni è usato e adattato ai più diversi contesti. Conta oltre 600 pubblicazioni tecnico-scientifiche ed è uno dei più robusti e testati strumenti psicometrici per l’usabilità. Per ogni affermazione i partecipanti devono fornire un grado di accordo su una scala da 1 a 5, dove 1 equivale a “per nulla d’accordo” e 5 a “completamente d’accordo”. Le affermazioni pari sono negative, mentre quelle dispari positive: un giudizio positivo potrà quindi risultare solo con punteggi bassi le prime e alti per le seconde. Occorre quindi invertire la polarità delle affermazioni pari prima di sommare tutti i valori. Il punteggio va moltiplicato per 2, 5 per ottenere un numero da 0 a 100. Il valore medio di un questionario SUS su oltre 500 appli-
cazioni è di 68, Ma solo nel 10% degli studi, comunque, si ottiene un punteggio superiore a 80, 3. Ecco le dieci domande che compongono il questionario:
1. Penso che mi piacerebbe utilizzare questo sito frequentemente 2. Ho trovato il sito inutilmente
3. Ho trovato il sito molto semplice da usare
4. Penso che avrei bisogno del supporto di una persona già in grado di utilizzare il sito
5. Ho trovato le varie funzionalità del sito bene integrate 6. Ho trovato incoerenze tra le varie funzionalità del sito
7. Penso che la maggior parte delle persone possano imparare ad utilizzare il sito facilmente
8. Ho trovato il sito molto difficile da utilizzare 9. Mi sono sentito a mio agio nell’utilizzare il sito
10. Ho avuto bisogno di imparare molti processi prima di riuscire ad utilizzare al meglio il sito
Formula
Per facilitare gli operatori nella sottomissione dei test, Krug ha scritto un discorso standard introduttivo ai test fai da te, consentendo di sottoporre il test ai partecipanti seguendo con precisione gli stessi passi, senza tralasciare alcun dettaglio. Di seguito il testo, che va letto ad alta voce a ciascun soggetto mentre sullo schermo del pc compare il browser aperto ad una pagina neutrale (ad esempio la homepage di Google).
« Ciao, nome partecipante. Oggi sono qui per assisterti durante la sessione di test. Prima di iniziare, ho alcune informazione da darti, e preferisco leggerle così da essere certa di non dimenticare nulla.
Probabilmente hai già un’idea chiara di quanto ti verrà richiesto, ma per- mettimi di spiegarti cosa andrai a fare: sto chiedendo ad alcune persone di
utilizzare questa pagina web, che è solo una delle sezioni di una piattaforma che si chiama "SemplicePA", in modo da capire se funziona o meno. La sessione durerà circa 15 minuti.
La prima cosa da chiarire è che non stiamo testando te, ma il sito. Non ci sono comportamenti sbagliati, quindi non temere di fare errori o di sbagliare. Ti chiederò di eseguire alcuni compiti. Comportati come faresti di solito, ma cerca di pensare ad alta voce come se dovessi descrivermi cosa stai facendo. Mentre utilizzi il sito ti farò delle domande per spingerti il più possibile a pensare a voce alta. Dovrai cercare di dirmi passo passo ciò che stai guardando, cosa cerchi di fare e cosa ne pensi. Questo è estremamente utile per me. Non temere di offendere me o l’azienda proprietaria del sito, stiamo facendo questo lavoro per migliorare il sito, e quindi ho bisogno di sentire le tue opinioni sincere.
Quando pensi di aver raggiunto l’obiettivo basta che tu mi dica, per esempio: “Ho raggiunto l’obiettivo”. Può anche darsi che l’obiettivo che ti propongo non sia facile da raggiungere e che tu non riesca a trovarlo. In questo caso basta che tu mi dica, per esempio: “Secondo me quello che sto cercando non si riesce a trovare”.
L’unica attenzione che ti chiedo è di cercare il modo per arrivare all’obiettivo seguendo le indicazioni che ti vengono proposte senza uscire dal sito.
Se nel corso dell’esercizio hai bisogno di farmi una domanda, fai pure. Probabilmente non potrò risponderti subito perché mi interessa conoscere il comportamento di una persona quando non c’è nessuno che possa aiutarla. Alla fine del test, se avrai ancora dei dubbi sarò felice di rispondere. Se hai bisogno di interrompere, dimmelo, ci fermeremo.
Avrai forse notato che c’è un programma aperto sul desktop. Con la tua autorizzazione registreremo cosa succede sullo schermo e la nostra conversazione. La registrazione verrà utilizzata solo per i fini della tesi e per capire come migliorare il sito. E aiuta me, permettendomi di prestare maggiore attenzione a ciò che succede senza dover prendere troppi appunti. Se non hai nulla in contrario, ti farò firmare un semplice modulo in cui mi concedi l’utilizzo degli strumenti di registrazione. Mentre il soggetto partecipante firma il modulo di consenso alla registrazione, avvio lo screen recorder. Hai domande su quanto detto fino ad ora? Sei pronto? Bene, Iniziamo! »