6. Analisi dei dati
6.2 Significatività delle differenze e correlazione dei dati
In questo capitolo vengono introdotte delle analisi sui dati raccolti. In particolare si è utilizzato due diversi tipi di strumenti: test del chi-quadro e coefficiente di connessione di Tschuprow. Entrambi sono stati svolti mediante l’utilizzo del foglio di calcolo, quindi in maniera automatica.
Il test del chi-quadro studia la presenza di un’ eventuale differenza significativa tra i valori di una variabile, mentre l’indice di Tschuprow è utile per rilevare la presenza di correlazione lineare tra due variabili di tipo qualitativo o categoriale. Nella maggior parte dei casi è stata applicata la correzione di Yates al test del chi-quadro, in quanto i casi totali erano minori di 30 e nelle celle vi erano valori minori di 5. Per questo motivo alla celle con valore più grande è stato sottratto valore 0.5, mentre ai valori più bassi è stato sommato 0.5. Per ogni correlazione verranno riportati entrambi i valori chi-quadro ottenuti.
41
3 PRE: Per quanto tempo la tua abitazione rimane incustodita in un giorno?
6 PRE: Possiedi un allarme nella tua abitazione?
6 pre / 3 pre Meno di 4 tra 4 e 8 ore tra 9 e 15 più di 15 più giorni consecutivi TOT
Si 1 8 2 0 0 11
No 7 4 0 0 0 11
TOT 8 12 2 0 0 22
Come si può notare nessun utente lascia la propria abitazione incustodita per più di quindici ore al giorno. Per questo motivo le ultime due colonne sono state eliminate dal calcolo della correlazione.
H0 (ipotesi iniziale): “la differenza tra le ore in cui la casa rimane incustodita in relazione al possesso di un sistema d'allarme è dovuta al caso”.
χ 2 = 1,99%
χ2 con correzione di Yates = 3,35%
Per questo test e per i futuri si è presa convenzionalmente come soglia di accettazione dell'ipotesi una percentuale pari al 5%. Questo vuol dire che, qualora la probabilità
42 ottenuta dal test del chi-quadro sia superiore al 5%, si può accettare con un certo grado di affidabilità l'ipotesi iniziale H0, ovvero che la differenza dei dati sia dovuta al caso.
In questo specifico caso i valori ottenuti sono minori di quella soglia quindi possiamo permetterci di rifiutare l'ipotesi iniziale H0, il che vuol dire che esiste effettivamente una differenza tra i dati in analisi.
Indice di connessione T= 0,36
Indice T è un valore compreso tra 0 e 1. Lo zero indica l’assoluta non-correlazione dei dati in esame mentre il valore uno indica una correlazione perfetta. Bisogna sempre tenere in considerazione che questo indice è basato sulla correlazione lineare e non fornisce nessuna indicazioni su altri tipi di correlazione. Infine si consideri che nulla di preciso si può affermare qualora il valore risultante sia compreso tra gli estremi indicati.
6 PRE: Possiedi un allarme nella tua abitazione
10 PRE: Quanto pensi possa costare l’istallazione di un sistema anti-intrusione Ci si può aspettare che chi possiede un sistema d'allarme abbia più competenze rispetto all'effettivo costo dell'installazione (che si aggira intorno ai 2000 euro).
6 pre / 10
Come si può notare nessun utente ha indicato l'opzione “meno di 500 euro”, quindi è stata eliminata la rispettiva colonna dal calcolo della correlazione.
43 H0 (ipotesi iniziale): “la differenza tra il costo indicato in relazione al possesso di un sistema d’allarme è dovuta al caso”
χ 2 = 57,24%
χ 2 con correzione di Yates = 76,10%
Indice di connessione T= 0,17
Come si può notare le probabilità trovate sono decisamente >5%, per questo motivo si accetta l'ipotesi iniziale di casualità nella differenza, che smentisce le previsioni. Allo stesso modo si evince un indice di correlazione molto basso che ci porta ad escludere una relazione fra i dati.
44
5 PRE: Quanto ti senti sicuro nel luogo in cui vivi?
6 PRE: Possiedi un allarme nella tua abitazione?
Ci si può aspettare che chi considera il luogo d'abitazione sicuro non riterrà necessaria l'installazione di un sistema d'allarme.
6 pre / 5 pre 1-poco sicuro 2 3 4 5-sicurissimo TOT
Si 0 1 1 6 3 11
No 1 0 5 5 0 11
TOT 1 1 6 11 3 22
H0 (ipotesi iniziale): “la differenza tra la sensazione di sicurezza nel luogo d'abitazione in relazione al possesso di un sistema d'allarme è dovuta al caso”.
χ 2 = 10,09%
χ 2 con correzione di Yates = 20,84%
Indice di connessione T= 0,26
Dato che le probabilità sono superiori al 5%, possiamo accettare con una certa sicurezza l'ipotesi iniziale di casualità nelle differenze, che smentisce le previsioni. Allo stesso modo indice T porta alla negazione di una relazione.
45
9 PRE: Se avessi la possibilità economica, installeresti un sistema di allarme in tutte le tue abitazioni?
6 PRE: Possiedi un allarme nella tua abitazione?
Ci si può aspettare che chiunque installerebbe l'allarme se ne avesse la possibilità economica.
Indipendentemente dal test di correlazione si può osservare che quasi tutti gli utenti installerebbero un sistema d'allarme se ne avessero la possibilità economica.
Particolarità viene fornita da un utente che già possiede l'allarme che al contrario non lo installerebbe e dall'utente che, pur non possedendo un allarme, non lo installerebbe comunque. Si può fornire una spiegazione plausibile a questa anomalia considerando che i due utenti si sentono abbastanza o molto sicuri nel luogo di abitazione (rispettivamente voto 4 e 5 nella relativa domanda), il che non necessità la presenza di un sistema d'allarme.
6 pre / 9 pre Si No TOT
Si-con allarme 10 1 11
No-senza allarme 10 1 11
TOT 20 2 22
46 H0 (ipotesi iniziale): “la differenza è dovuta al caso”.
χ 2 = 100%
χ 2 con correzione di Yates = 45,83%
7 POST: Hai trovato difficoltà nello svolgere i compiti 1 e 3 proposti
Errori di esecuzione dei compiti
Si vuole verificare se tutti coloro che hanno ritenuto facili i compiti 1 e 3 abbiano in realtà avuto difficoltà nell'esecuzione effettiva.
7 post / errori Corretta Errata TOT
Si 0 0 0
No 41 3 44
TOT 41 3 44
In questo caso e nel successivo vengono considerati tutti i test effettuati in maniera singola, indipendentemente dal prototipo di riferimento. Il totale delle frequenze sale dunque a 44 (22x2)
47 Si può subito notare che tutti gli utenti hanno risposto in maniera negativa alla domanda proposta ma in realtà 3 di loro hanno avuto dei problemi esecutivi. Uno di questi errori potrebbe però essere giustificato da una totale inesperienza nell'uso di dispositivi tecnologici.
È evidente che è inutile in questo caso proseguire con qualsiasi tipo ti analisi.
8 POST: Hai trovato difficoltà nello svolgere i compiti 2 e 4 proposti?
Errori di esecuzione dei compiti
SI vuole verificare se tutti coloro che hanno ritenuto facili i compiti 2 e 4 abbiano in realtà avuto difficoltà nell'esecuzione effettiva.
Dato interessante da analizzare è costituito dai 9 utenti che affermano di avere avuto difficoltà nello svolgere i compiti ma che in realtà hanno svolto le indicazioni in maniera corretta. Al contrario si notano subito ben otto prove durante le quali è stato commesso un errore ma di cui l’utente in analisi non si è accorto.
H0 (ipotesi iniziale): “la differenza tra la risposta alla domanda in relazione allo 8 post / errori Corretta Errata TOT
Si 9 7 16
No 20 8 28
TOT 29 15 44
48 svolgimento effettivo è dovuta al caso”.
χ 2 = 30,69%
Indice di correlazione T= 0,15.
La probabilità calcolata risulta essere elevata e non si può rifiutare l'ipotesi iniziale, quindi la differenza, come si poteva facilmente immaginare, è casuale. Allo stesso modo è molto probabile un assenza di correlazione tra i dati.
10 POST: Quale interfaccia grafica preferisci tra il modello arancione e il modello azzurro?
11 POST: Vota l’estetica del modello arancione
Ci si può aspettare che chi considera l'interfaccia grafica Arancione migliore di quella Azzurra preferirà l'estetica della stessa.
10 post / 11 post 1-per niente bella 2 3 4 5-bellissima TOT
Arancione 0 0 2 7 0 9
Azzurro 0 3 6 4 0 13
TOT 0 3 8 11 0 22
Come si può notare, gli estremi di valutazione non vengono utilizzati da nessun utente quindi non saranno presi in considerazione al fine della correlazione.
49 H0 (ipotesi iniziale): “la differenza tra di valutazione estetica del prototipo arancione in relazione alla preferenza dello stesso è dovuta al caso.
χ 2 = 7,19%
χ 2 con correzione di Yates = 13,75%
Indice di correlazione T= 0,31.
In questo caso si può accettare l'ipotesi iniziale di differenza dovuta al caso, il che smentisce le previsioni. Anche in questo caso l’indice T non fornisce indicazioni precise e affidabili di una possibile correlazione.
10 POST: Quale interfaccia grafica preferisci tra il modello arancione e il modello azzurro?
12 POST: Vota l’estetica del modello azzurro
Ci si può aspettare che chi considera l'interfaccia grafica Azzurra migliore di quella Arancione preferirà l'estetica della stessa.
10 post / 12 post 1-per niente bella 2 3 4 5-bellissima TOT
Arancione 0 1 5 2 1 9
Azzurro 0 0 1 10 2 13
TOT 0 1 6 12 3 22
Si nota che nessun utente ha indicato il valore 1 che viene quindi escluso dall'analisi di correlazione.
50 H0 (ipotesi iniziale): “la differenzadi valutazione estetica del prototipo azzurro in relazione alla preferenza dello stesso è dovuta al caso.
χ 2 = 3,06%
χ 2 con correzione di Yates = 4,71%
Indice di correlazione T=0,31.
In questo caso, considerati i bassi valori di probabilità ottenuti, si può rifiutare l'ipotesi iniziale, il che vuol dire che la differenza non è dovuta al semplice caso. Questo conferma le aspettative iniziali ma produce perplessità confrontando il dato con quello precedente, che invece esprimeva l’esatto contrario. Quantomeno per gli indici T si riscontra una minor incertezza, poiché i valori ottenuti sono i medesimi.
51
10 POST: Quale interfaccia grafica preferisci tra il modello arancione e il modello azzurro?
13 POST: Vota l’intuitività del modello arancione
Ci si aspetta che chi considera l'interfaccia grafica Arancione migliore di quella Azzurra preferirà l'estetica della stessa.
10 post / 13 post 1-per niente intuitiva 2 3 4 5-molto intuitiva TOT
Arancione 0 0 0 7 2 9
Azzurro 0 2 8 3 0 13
TOT 0 2 8 10 2 22
Anche in questo caso si nota che nessuno degli utenti ha indicato come preferenza il valore 1, che viene quindi escluso dall'analisi.
H0 (ipotesi iniziale): “la differenza tra la valutazione dell’intuitività del modello arancione in relazione alla preferenza dello stesso è dovuta al caso.
χ 2 = 0,40%
χ 2 con correzione di Yates = 1,64%
Indice di correlazione T=0,35.
Si notano in questo caso percentuali molto basse che portano a rifiutare l'ipotesi iniziale H0, il che quindi conferma le nostre previsioni iniziali di differenza casuale tra i dati.
52
10 POST: Quale interfaccia grafica preferisci tra il modello arancione e il modello azzurro?
14 POST: Vota l’intuitività del modello azzurro
Ci si aspetta che chi considera l'interfaccia grafica Azzurra migliore di quella Arancione preferirà l'estetica della stessa.
10 post / 13 post 1-per niente intuitiva 2 3 4 5-molto intuitiva TOT
Arancione 0 3 4 1 1 9
Azzurro 0 0 2 8 3 13
TOT 0 3 6 9 4 22
Per quanto riguarda il punteggio più basso vale il medesimo discorso delle analisi precedenti, quindi non viene preso in considerazione.
H0 (ipotesi iniziale): “la differenza tra la valutazione dell’intuitività del modello azzurro in relazione alla preferenza dello stesso è dovuta al caso.
χ 2 = 2,13%
χ 2 con correzione di Yates = 3,86%
Indice di correlazione T=0,32.
53 Come ci si poteva facilmente aspettare anche in questo caso si può rifiutare l'ipotesi H0, confermando quindi le previsioni iniziali di differenza casuale tra i dati. Allo stesso si riscontrano valori di T molto vicini tra quest’analisi e quella precedente, come ci si potrebbe aspettare.
10 POST: Quale interfaccia grafica preferisci tra il modello arancione e il modello azzurro?
15 POST: Hai trovato difficoltà nell’utilizzo del modello arancione?
Ci si aspetta che chi considera l'interfaccia grafica Arancione migliore di quella Azzurro non avrà riscontrato particolari problemi nel utilizzo della stessa.
H0 (ipotesi iniziale): “la differenza tra il riscontro di errori del modello arancione in relazione alla preferenza dello stesso è dovuta al caso.
χ 2 = 8,27%
χ 2 con correzione di Yates = 13,95%
Indice di correlazione T= 0,35.
15post/10post Azzurro Arancio TOT
Si 6 1 7
No 7 8 15
TOT 13 9 22
54 Le probabilità ottenute sono >5% e non si può rifiutare l'ipotesi iniziale H0, quindi si può affermare che la differenza è dovuta al caso. Notiamo che anche in questo caso il valore di T rimane pressoché invariato, il che non ci fornisce utili indicazioni.
10 POST: Quale interfaccia grafica preferisci tra il modello arancione e il modello azzurro?
16 POST: Hai trovato difficoltà nell’utilizzo del modello azzurro?
Ci si aspetta che chi considera l'interfaccia grafica azzurra migliore di quella arancione non avrà riscontrato particolari problemi nell’utilizzo della stessa.
16 post / 10 post Arancione Azzurro TOT
Si 4 1 5
No 5 12 17
TOT 9 13 22
H0 (ipotesi iniziale): “la differenza tra il riscontro di errori del modello azzurro in relazione alla preferenza dello stesso è dovuta al caso.
χ 2 = 4,31%
χ 2 con correzione di Yates = 6,75%
Indice di connessione T= 0,4.
55 In questo caso ci si trova di fronte ad un problema di scelta perché con il test del chi-quadro classico la probabilità trovata è al di sotto del 5%, quindi per convenzione bisognerebbe rifiutare l'ipotesi iniziale quindi si riscontra una differenza effettiva.
Invece con il test del chi-quadro con correzione di Yates, si ottiene una probabilità al di sopra del 5%. In questo caso quindi non potremmo rifiutare l'ipotesi iniziale. Sia questi risultati che quelli dell’analisi precedente spiazzano quanto era nelle previsioni iniziali e quanto si potrebbe dire a logica. Da notare però che quantomeno sono tra di loro coerenti, come allo stesso modo gli indici T.
10 POST: Quale interfaccia grafica preferisci tra il modello arancione e il modello azzurro
17 POST: Se dovessi acquistare un gestore di allarme, quale sceglieresti?
Ci si può aspettare una forte correlazione tra queste due domande.
10post/17post Azzurro-acquisto Arancione-acquisto TOT
Azzurro-preferito 11 2 13
Arancione-preferito 0 9 9
TOT 11 11 22
56 H0 (ipotesi iniziale): “la differenza tra la scelta dell'interfaccia da acquistare in relazione alla preferenza della stessa è dovuta al caso”.
χ 2 = 0,01%
χ 2 con correzione di Yates = 0,02%
Indice di correlazione T= 0,64.
Come era facilmente intuibile l'utente acquisterebbe il prototipo che reputa con l’interfaccia migliore. Ciò nonostante è interessante considerare che due utenti non hanno seguito questo ragionamento che può sembrare il più logico, preferendo l'interfaccia grafica Azzurra ma scegliendo poi il modello Arancione. La motivazione, espressa dagli stessi utenti, si può riassumere in queste parole: ”l'interfaccia azzurra è la migliore perché più ricca di grafica, ma il prototipo arancione è preferibile per la sua semplicità”. Notiamo che in questo caso si può azzardare anche osservando l’indice T la presenza di una correlazione.
Quindi si rifiuta l’ipotesi iniziale, ovvero la differenza tra i dati non è casuale.
57
10 PRE: Quanto pensi possa costare l’istallazione di un sistema anti-intrusione?
18 POST: Quanto pensi possa costare il sistema di allarme proposto
Ci si aspetta una relazione tra il costo espresso precedentemente e il valore
Interessante notare che anche in questo caso l'opzione “meno di 500 euro” non viene scelta da nessun utente. Inoltre, grazie alla tabella precedente, si posso fare altre superiore rispettivamente 68% e 32%, percentuale che migliora dopo il test con 12 e 10 utenti rispettivamente con 55% e 45%, che costituisce un indice di gradimento complessivo del prodotto. Va da se che in questo caso sono molto più interessanti le considerazioni appena viste piuttosto che qualsiasi misurazione, che vengono riportate comunque per completezza di studio.
58 H0 (ipotesi iniziale): “la differenza di prezzo scelto in relazione a quanto indicato precedentemente è dovuta al caso”.
χ 2 = 0,21%
χ 2 con correzione di Yates = 1,00%
Indice di correlazione T= 0,25.
Come ci si poteva aspettare anche in questo caso si può rifiutare l'ipotesi H0, confermando quindi le previsioni iniziali di differenza casuale tra i dati.
59 7. Conclusioni
Il prototipo sviluppato in precedenza è stato affiancato da un nuovo elaborato che si discosta dal precedente essenzialmente per la sostituzione di bottoni testuali con altrettanti a descrizione pittorica, per la semplificazione di alcuni aspetti di impostazione della schermata e infine per l'aggiunta di misure di sicurezza più concrete.
I due prototipi così costituiti sono stati successivamente studiati sotto la luce di una prima analisi ergonomica per evidenziarne le possibili potenzialità ed in particolare gli aspetti negativi sui quali è stata posta un'attenzione maggiore. L’errore principale si può constatare nell'uso di un impostazione grafica discordante per la creazione degli elementi attivi dell'interfaccia, poiché non viene mantenuto un aspetto coerente in tutta l'applicazione, creando notevole confusione all'utente. Anche l'impostazione strutturale non è esente da critiche in quanto, se da un lato si può premiare la fruizione di contenuto in maniera chiara ed essenziale, dall'altro si nota la presenza di divisori orizzontali nella schermata principale che portano a mutare la schematizzazione a blocchi di interesse pensata dagli sviluppatori.
Passando poi alla vera e propria fase di raccolta dati, l’indagine preliminare tramite la somministrazione di questionari ha permesso di evidenziare alcune particolarità di carattere statistico sul campione preso in esame composto di un totale di 22 utenti ugualmente distribuiti tra possessori di allarme e non. In particolare, un dato inatteso si evince considerando che 4 utenti non installerebbero un sistema d'allarme nella propria abitazione, indipendentemente dalle possibilità economiche. Si è potuto inoltre evidenziare come gli utenti che possiedono un sistema di allarme nella propria abitazione coincidano con quelli la cui casa rimane incustodita per parecchie ore durante il giorno.
Una volta terminato il questionario preventivo si è scelto di osservare direttamente i singoli utenti alla prova con i prototipi facendo svolgere, su ambedue, i compiti proposti ricavati da un'analisi dei casi d'uso e degli scenari tipici. Sono state eseguite
60 delle registrazioni video sulle operazioni svolte sui prototipi che hanno permesso di ricavare, in una fase successiva, i tempi di esecuzione senza influenzare così gli utenti stessi, concentrati sulla volontà di terminare un compito e non di farlo in tempi brevi.
Inoltre, un aspetto fondamentale, è stato la scelta di far procedere in maniera alternata l'esecuzione dei due modelli, per minimizzare l'errore seriale che si sarebbe riscontrato in maniera prepotente visti gli aspetti comuni ad entrambi i prototipi. Sui tempi medi registrati per ogni singolo compito e per ogni modello utilizzato è stato eseguito un T-test, il quale ha portato nella maggior parte dei casi a sostenere la non casualità delle differenze sui valori trovati, che risultano quindi significative.
Per concludere la sezione di svolgimento dei compiti è doveroso constatare come alcuni errori di pensiero commessi dagli utenti siano dovuti ad una leggerezza nella stesura dei compiti stessi, derivata a sua volta da un'ambiguità sull'uso del termine
“allarme”. Con quest'ultimo infatti si tende a descrivere sia l'allarme inteso come intero sistema, sia come effettivo suono eseguito all'interno dell'abitazione in caso di rilevamento di un anomalia.
Terza sezione dell'intero progetto riguarda le domande di gradimento proposte dopo lo svolgimento dei compiti, le quali hanno permesso di mettere in luce alcuni aspetti generali del prodotto e talune funzioni aggiuntive considerate utili dagli utenti, come la presenza del codice di sblocco nel modello azzurro per la disattivazione dell'allarme che era invece assente nel modello arancione. Invece, per quanto riguarda le funzioni di allarme aggiuntive, si è riscontrato un maggior interesse per i sistemi di apertura chiusura porte e finestre, quello di incendio e di fughe di gas rispetto ai sistemi di movimento, di allagamento e di interruzione corrente. Questi dati possono risultare utili in caso di ampliamento del sistema proposto.
Infine si è arrivati alla fase di analisi dei dati raccolti, dove si sono eseguiti principalmente due tipi diversi di operazioni. Per prima cosa è stato effettuato un test del chi-quadro (con correzione di Yates considerati i pochi valori raccolti) per osservare se vi è una eventuale differenza significativa tra le risposte ad una data domanda dovuta a fattori evidenziati in altre domande. Inoltre, per le stesse tipologie di dati, è
61 stato eseguito anche un calcolo dell'indice di connessione di Tschuprow per evidenziare una possibile correlazione lineare dei dati esaminati.
Agli utenti è stato infine chiesto quale delle due interfacce preferivano e questo dato è stato confrontato con le difficoltà di esecuzione, l’estetica e l’intuitività del modello. I risultati ottenuti hanno evidenziato una preferenza per il modello con un elevato giudizio estetico ed intuitivo e soprattutto il modello che ha permesso una esecuzione dei compiti più agevole. Tale riscontro si è anche potuto evidenziare in un eventuale acquisto del modello preferito.
Concludendo il modello preferito tra i due è risultato essere quello azzurro anche se con una piccola percentuale di differenza. In generale il modello arancione è risultato semplice e chiaro, invece quello azzurro molto bello e con un’interfaccia iconica intuitiva.