6.2 Risultati
6.2.6 Precisione e recupero
Un discorso a parte deve essere effettuato per le informazioni estratte tramite l‟indicatore presentato nella Sezione 4.5. Come si è visto, ISVIS permette di estrarre dall‟interazione di un gruppo finito di sensori un‟attività complessa. Nell‟esempio studiato è stata riconosciuta l‟attività “guardare la televisione” sulla base delle relazioni fra le attivazioni rilevate dai sensori del telecomando e quelle delle sedie e dei divani. I risultati prodotti sono i periodi giornalieri durante i quali la persona monitorata svolge tale attività. Come
128 Risultati sperimentali abbiamo visto, l‟Activity Time Ratio permette di calcolare quanto tempo venga trascorso guardando la televisione nelle 24 ore che costituiscono una giornata. Tuttavia lo scopo principale di questo indicatore è quello di identificare l‟attività “guardare la televisione” correttamente, ossia quando essa venga realmente svolta dalla persona monitorata. Per misurare il grado di correttezza dei risultati ottenuti si utilizzano le annotazione messe a disposizione dai dataset adottati. Esse vengono confrontate giornalmente istante per istante con i valori restituiti da ISVIS allo scopo di valutare se il riconoscimento dell‟attività è avvenuto correttamente o meno. Per misurare il grado di correttezza, la teoria dell‟informazione dispone di due misure:
Precisione: misura, sul tempo totale (espresso in secondi) delle attività “guardare la tv” individuate giornalmente dall‟indicatore, la frazione di secondi giornalieri in cui l‟attività è stata riconosciuta correttamente.
Recupero: misura, sul tempo totale (espresso in secondi) delle attività “guardare la tv” definito dalle annotazioni del dataset, la frazione di secondi giornalieri in cui l‟attività è stata individuata correttamente.
In particolare la precisione misura con un valore da 0 a 1 il grado di correttezza giornaliero di identificazione dell‟attività rispetto alle annotazioni espresse; „1‟ rappresenta il valore massimo di precisione, 0 quello minimo. Il recupero usa la stessa scala di valori per misurare, invece, l‟identificazione di attività fra le sole annotazioni di guardare la televisione custodite dal dataset nella ventunesima colonna. La Tabella 6.1 mostra le possibili casistiche del confronto: le colonne rappresentano gli stati risultati dall‟indicatore, quindi se in un secondo specifico si stia guardando la televisione (prima colonna) oppure no (seconda colonna); le righe invece riportano le annotazioni per il secondo in analisi, e quindi se per il dataset si stia guardando la televisione (prima riga) oppure no (seconda riga).
6.2 Risultati 129
Tabella 6.5: Casistica dei risultati restituiti.
Il confronto fra gli stati istantanei restituiti dall‟indicatore e quelli riportati nel dataset possono presentare quattro tipologie di casistiche necessarie per la valutazione di precisione e recupero e riportati sempre nella tabella precedente. Essi sono:
True Positive (TP): sono tutti i secondi in cui ISVIS ha correttamente identificato lo svolgimento dell‟attività guardare la televisione.
False Negative (FN): sono tutti i secondi in cui ISVIS non ha riconosciuto che la persona monitorata stesse guardando la televisione, stato dichiarato con un‟apposita annotazione per il dataset.
False Positive (FP): sono tutti i secondi nei quali ISVIS ha riconosciuto lo svolgimento dell‟attività guardare la televisione, ma nella realtà delle annotazioni del dataset non lo erano.
True Negative (TN): sono tutti i secondi in cui ISVIS ha riconosciuto che non si stesse guardando la televisione, e l‟annotazione dà ragione.
Questi risultati sono impiegati nelle formule di precisione e recupero:
130 Risultati sperimentali Le formule sono impiegate per ciascun giorno analizzato allo scopo di valutare la correttezza dei risultati ottenuti.
Le tabelle seguenti mostrano la valutazione di precisione e recupero per ciascuno degli 89 giorni analizzati dal dataset sintetico in cui viene svolta la stessa routine ma in assenza di cambiamenti comportamentali (Tabella 6.2) ed in presenza di essi (Tabella 6.3) .
6.2 Risultati 131
Tabella 6.7: Precisione e recupero per gli 89 giorni di analisi in presenza di drift. Le Tabelle 6.2 e 6.3 raccolgono i cvalori di precisione e recupero per lo svolgimento delle stesse routine di attività in assenza di cambiamenti comportamentali (la prima) ed in presenza di questi (la seconda). I risultati calcolati per entrambe le situazioni permettono di valutare positivamente l‟operato dell‟indicatore nella procedura di riconoscimento dell‟attività “guardare la televisione” impiegando semplicemente le informazioni proveniente da un gruppo ristretto di cinque sensori. Per quanto riguarda la precisione, in ambo le tabelle essa assume valore 1 nella maggioranza dei giorni analizzati (59 su 89), il che significa che, per ciascuno di tali giorni in cui questa misura restituisce tale valore, ogni secondo identificato come guardare la tv, lo è effettivamente. Questo risultato permette di affermare che nella maggioranza dei casi, sia in presenza sia in assenza di cambiamenti comportamentali, le attività trovate sono state identificate correttamente. Questo risultato viene rafforzato se si osserva che anche i valori restanti sono tutti prossimi al massimo, solamente due giorni su 89 nella Figura 6.2 presentano una precisione inferiore allo 0.5 (risultato scarso), mentre nella Figura 6.3 è uno solo. Laddove la precisione assume valore NaN è perché in quel giorno specifico non è
132 Risultati sperimentali presente alcuna attività “guardare la televisione” e, giustamente, non ne è stata riconosciuta alcuna occorrenza dal sensore.
Per quanto concerne il recupero, si nota come questa, misura in entrambe le situazioni rappresentate dalle tabelle, non sia mai inferiore a 0,9 questo significa che la maggioranza di secondi giornalieri del dataset, in cui viene indicata l‟attività guardare la televisione, viene riconosciuta correttamente da ISVIS. Anche in questo caso il valore NaN rappresenta la corretta assenza di rilevazioni dell‟attività scelta per il singolo giorno.
Precisione e recupero in questa analisi permettono quindi di validare i risultati ottenuti dall‟indicatore confrontandoli con quanto dichiarato nel dataset. La verifica infatti permette di misurare la correttezza dei risultati estratti da ISVIS. Sia la precisione che il recupero presentano valori molto alti in entrambe le situazioni, questo permette di definire l‟affidabilità e la robustezza dell‟indicatore che restituisce risultati credibili e prossimi alla correttezza sia in condizioni abitudinarie di vita che in quelle in cui sono presenti vistose variazioni in tali comportamenti. Concludere una valutazione così positiva per un indicatore complesso come questo permette di poter aprire la strada al riconoscimento in tempo reale di altre tipologie di attività complesse tramite i soli dati dei sensori installati in un‟abitazione intelligente.
Il processo di validazione svolto in questo capitolo permette quindi di attribuire valore agli indicatori sviluppati riconoscendone l‟efficacia per gli obbiettivi per i quali sono stati costruiti e quindi garantendo per i risultati calcolati.