Capitolo 6: Sperimentazione e Test
6.6 Test su caso reale di evento critico
La fase di test sui servizi esportati destinati agli utenti dell'applicazione software (SmartyTwitterService) si è protratta per circa un mese e mezzo e ha portato ottimi risultati. I tweet scaricati sono nel complesso circa 25.000, derivanti da circa 300 richieste ai servizi. La percentuale di riconoscimento dell'evento verificata in fase di sperimentazione sul classificatore SMO utilizzato nel modello si riflette con piccoli scarti percentuali sugli effettivi tweet classificati.
Di seguito si riporta un caso di particolare interesse, in cui si ha un'effettiva sicurezza della determinazione dell'evento critico "traffico".
Il 25 Gennaio 2014 il giornale “La Repubblica” presentato un articolo dal titolo “Incidente mortale sul raccordo, la cronaca su Twitter”, in cui si legge: “Un incidente mortale, lo sciopero dei mezzi pubblici e la pioggia hanno mandato in tilt il Grande Raccordo Anulare di Roma. Il traffico è completamente bloccato: dieci chilometri di coda. E su Twitter automobilisti e passeggeri diffondono la diretta in tempo reale attraverso foto e commenti”.
Per prima cosa, si deve osservare che è stato utilizzato più volte il servizio scaricaTweet per verificare il numero totale di tweet postati dagli utenti nell'arco temporale dell'incidente del 24 Gennaio.
Nella Tabella 8 vengono mostrati i valori assegnati ai parametri del servizio. Oltre a questi, vi è stata la necessità di modificare le keyword (all'interno del file SearchParameters.xml) associate alla ricerca, perché non si voleva un filtraggio nello scaricamento dei tweet.
Tabella 8: Valori assegnati ai parametri del servizio scaricaTweet per l'incidente di Roma del 24 Gennaio 2014.
Variabile Valore
geoCoordinate È stato utilizzato l'indirizzo
testuale: “Grande Raccordo Anulare, Roma, Italia”.
raggio 20 Km
data 2014-01-24T06:50:00
Il numero totale dei tweet individuati nell'arco temporale che va dalle 6:50 alle 12:20 nella zona d'interesse è stato di circa 1000 tweet. Dato che il numero dei tweet individuati è elevato e molti dei tweet trovati sono non significativi ai fini della ricerca, risulta molto difficile andare a verificare la presenza di un evento perché i tweet effettivamente riguardanti l'evento sono una minima percentuale del totale dei tweet estratti e quindi la politica di verifica dell'evento attualmente implementata darebbe risultato negativo.
È stata dunque eseguita una seconda richiesta alla scaricaTweet con gli stessi parametri espressi in tabella, ma con le parole chiave: "Incidente", "Traffico", "Coda", #Traffico, #Incidente, #Coda e come operatore di ricerca l'OR logico. I tweet individuati con tale esecuzione dalla scaricaTweet sono 34 e sono mostrati in Figura 24 tramite la tabella SUM sulla quale è stata fatta la seguente operazione di selezione:
SELECT id, data, "idGeoCoordinateSum", "idTesto", "idSocialNetwork", "idUtenteTwitter", "idGeoCoordinateRicerca", "idCollezione"
I tweet inerenti all'argomento vanno dalle 6:59:19 alle 12:09:11 e in ottima percentuale hanno il geocoder attivo, ovvero sono stati postati utilizzando un dispositivo mobile (es. smartphone, iPad, ecc.) con attivo il meccanismo di geo-localizzazione. 16 su 34 possiedono tale caratteristica e questo è un dato estremamente significativo in quanto si può dedurre che le persone innanzi a problemi “seri” utilizzano i propri dispositivi mobili al fine di comunicare cosa sta accadendo attorno a loro, consentendo così di tracciare l'area in cui si sta verificando l'evento. Dopo tali considerazioni iniziali, si è deciso di chiamare la controllaEventi con gli stessi parametri di ricerca dello scaricamento “filtrato” precedente. Nella tabella seguente viene mostrato il risultato del servizio fornito all'utente nel relativo formato JSON.
Figura 24: SUM presenti nel database scaricati con le keywords: Incidente, Traffico, Coda, #Traffico, #Incidente, #Coda.
Restituzione del servizio controllaEventi (con VisualizzaLog = true)
return (string): {"header": {"code":"200", "shortDescription":"OK", "longDescription":""}, "payload":[{"type":"EventoClassificato", "id":33, "nomeEvento":"traffico",
"dettagli":"Verifica la presenza di traffico nei Sum", "verificato":true,
"data":"2014-01-26T11:20:18", "nomeModello":"SMOTraffico.model",
"geoIndirizzo":"Grande Raccordo Anulare, Rome, Italy"}, {"type":"Sum",
"id":12279,
"idUtenteTwitter":"400227178905300480", "data":"2014-01-24 07:02:18.0",
"testo":"Traffico zero. pic.twitter.com/POLKOwW9j7", "latlong":"42.36598645/13.35051727"},
{"type":"Sum","id":12280,
"idUtenteTwitter":"400227176905300480", "data":"2014-01-24 06:59:18.0",
"testo":"Se stamani arrivo tardi al lavoro posso dire che cera traffic o in TL?",
"latlong":"null/null"}, {"type":"Sum","id":12253,
"idUtenteTwitter":"420469743905300480", "data":"2014-01-24 10:10:02.0",
"testo":" disastro Gra Roma traffico in tilt pic.twitter.com/YU23k lCA4e",
"latlong":"41.99769197/12.41446738"}, {"type":"Sum","id":12254,
"idUtenteTwitter":"420504751047073792", "data":"2014-01-24 09:14:02.0",
"testo":"rimanere bloccato dentro la galleria dellAppia traffico gra pic.twitter.com/j8cpRBclEj", "latlong":"41.91747457/12.50205958"}, {"type":"Sum", "id":12255, "idUtenteTwitter":"420157652596924416", "data":"2014-01-24 09:13:31.0",
"testo":"Questa settimana finisce iniziando male. utile traffico pic.twitter.com/XovCASL9tu",
"latlong":"41.909662/12.4768612"},
"id":12256,
"idUtenteTwitter":"420471100443860992", "data":"2014-01-24 10:33:31.0",
"testo":"roma muoversi bus Gra bloccato macchine in fila e guidatori disperati fuori dalle auto traffico metro",
"latlong":"null/null", {"type":"Sum"
“id":12257,
"idUtenteTwitter":"421424498651656192", "data":"2014-01-24 10:55:43.0",
"testo":"incidente sul gra, muore motocilcista traffico in tilt 10 km di coda ", "latlong":"null/null"},
{"type":"Sum", "id":12258,
"idUtenteTwitter":"423674498651656192", "data":"2014-01-24 11:35:17.0",
"testo":"Incidente sul Gra, muore motocilcistatraffico in tilt 10 km di coda … via mobilità a Roma!", "latlong":"null/null"}, {"type":"Sum", "id":12259, "idUtenteTwitter":"420341100443860992", "data":"2014-01-24 10:48:03.0",
"testo":"Sciopero e traffico a Roma oggi, città nel caos \u003e\u003e\u003e meteo traffico roma direttameteo trafficoroma",
"latlong":"null/null"}, {"type":"Sum",
"id":12260,
"idUtenteTwitter":"424798498651656192", "data":"2014-01-24 12:09:11.0",
"testo":"Traffico illecito di rifiuti dall’ENVI la richiesta di più controlli. Europarlamento. ", "latlong":"null/null"}, {"type":"Sum", "id":12262, "idUtenteTwitter":"420319743905300480", "data":"2014-01-24 09:00:55.0",
"testo":"In mezzo al traffico ke si fa?? -) pic.twitter.com/94NiV7UaPD", "latlong":"41.90469518/12.48301211"}, {"type":"Sum", "id":12263, "idUtenteTwitter":"420265743905300480", "data":"2014-01-24 09:56:25.0",
"testo":"incidentemortale moto traffico Sono bloccato in fila sul gra, la gente è fuori dalle macchine", "latlong":"41.982966/12.526342"}, {"type":"Sum", "id":12265, "idUtenteTwitter":"420333245905300480", "data":"2014-01-24 09:19:07.0",
"testo":"Guardate che tempi di percorrenza!!! Ammazza che traffico...sinizia bene la settimana. ", "latlong":"41.824541/12.580930"},
{"type":"Sum", "id":12264,
"idUtenteTwitter":"421686043905300480", "data":"2014-01-24 10:12:17.0",
"testo":"Sembra ci sia stato un grosso incidente che ha bloccato il raccordo. E che cazzo... Traffico Incidente", "latlong":"41.985518/12.493040"}, {"type":"Sum", "id":12266, "idUtenteTwitter":"423458098651656192", "data":"2014-01-24 11:48:32.0",
"testo":"INCIDENTE GRA, PERDE IL CONTROLLO DELLA MOTO MORTO 35ENNE. TRAFFICO IN TILT ROMA NEWS CRONACA …",
"latlong":"null/null"}, {"type":"Sum", "id":12268,
"idUtenteTwitter":"420333245905300480", "data":"2014-01-24 09:51:29.0",
"testo":"Incidente sul Gra, muore motocilcista, traffico in tilt 10 km di coda … via ", "latlong":"null/null"}, {"type":"Sum", "id":12269, "idUtenteTwitter":"422571100443860992", "data":"2014-01-24 10:53:43.0",
"testo":"Incidente sul Gra, muore motocilcistatraffico in tilt 10 km di coda … via mobilità a Roma!", "latlong":"41.9025885/12.48301211"}, {"type":"Sum", "id":12270, "idUtenteTwitter":"420789745905300480", "data":"2014-01-24 10:18:37.0",
"testo":". on the road \"Quasi a Roma ma in coda, finito ora di lavorare al discorso su Dl Imu-Bankitalia\" pic.twitter.com/MDsThEvnex", “latlong":"41.909662/12.4768612"}, {"type":"Sum", "id":12271, "idUtenteTwitter":"419578943905300480", "data":"2014-01-24 09:12:30.0",
"testo":"A24 Traffico in congestione da Barriera Di Roma Est a Ponte di Nona.Velocità rilevata35km/h", "latlong":"null/null"}, {"type":"Sum", "id":12272, "idUtenteTwitter":"409989943905300480", "data":"2014-01-24 08:56:07.0",
"testo":"ROMA - Un venerdì nero per i romani. Sul Grande Raccordo Anulare la situazione del traffico questa mattina è... ",
"latlong":"41.7806185/12.4443591"}, {"type":"Sum","id":12273,
"idUtenteTwitter":"407654943905300480", "data":"2014-01-24 08:46:16.0",
"testo":"Settebagni-Roma -Coda A1 Diramazione Roma nord - GRA (Km 23.1 - direzione G.r.a.) Coda di 3 km tra Settebagni... ",
"latlong":"null/null"}, {"type":"Sum", "id":12274,
"idUtenteTwitter":"406634943905300480", "data":"2014-01-24 07:24:28.0",
"testo":"Gra, carreggiata esterna, quadrante nord ovest, direz sud traffico paralizzato. Evitate. I tabelloni ricordano di allacciare lecinture..",
"latlong":"42.04982727/12.64440606"}, {"type":"Sum","id":12275,
"idUtenteTwitter":"406723178905300480", "data":"2014-01-24 07:26:22.0",
"testo":" grazie della segnalazione! Uffa il traffico", "latlong":"41.8566336/12.55635732"},
{"type":"Sum", "id":12277,
"idUtenteTwitter":"4252223763905300480", "data":"2014-01-24 09:56:34.0",
"testo":" Esiste carreggiata esterna nord-ovest direzione nord? Sì...contromano! ;-) Basta scansare in qualche modo la coda!",
"latlong":"41.88790506/12.49803467"}, {"type":"Sum","id":26302,
"idUtenteTwitter":"453078765804212224", "data":"2014-01-24 10:55:07.0",
"testo":"Traffico in congestione da Svincolo 13: Ss5 Via Tiburtina a Svincolo 14: A24 Roma-Teramo.Velocità rilevata:10km/h",
"latlong":"null/null"}, {"type":"Sum","id":26303,
"idUtenteTwitter":"452843444218896385", "data":"2014-01-24 10:42:19.0",
"testo":"SITUAZIONE SENTIMENTALE Chiuso in auto nel traffico sotto la pioggia a cantare a squarciagola Minuetto di Mia Martini spaventando vucumprà", "latlong":"null/null"},
{"type":"Sum","id":26304,
"idUtenteTwitter":"451729993383809024", "data":"2014-01-24 10:34:58:19.0",
"testo":"GRA traffico paralizzato: foto in diretta http://tinyurl.com/kgqodmj", "latlong":"null/null"},
]}
Dai dati restituiti dal servizio si può dedurre le seguenti informazioni:
•27 su 34 dei tweet scaricati sono stati classificati come tweet contenenti informazioni sulla generazione dell'evento traffico. Si può quindi dedurre che la restrizione di campo applicata durante lo scaricamento tramite l'uso delle parole chiave stabilite ha un'alta precisione.
•14 su 27 dei tweet classificati come appartenenti all'evento traffico contengono informazioni inerenti la geo-localizzazione. Si può dedurre che l'evento è stato importante e di una certa rilevanza dato l'alto numero di utenti che hanno postato sul social network tramite dispositivi mobili. Nondimeno grazie alle informazioni tracciate tramite le coppie latitudine/longitudine si può stabilire con buona precisione il luogo che interessa l'evento.
• I link del tipo pic.twitter.com/ sono stati lasciati di proposito all'interno dei tweet e non eliminati in fase di pre-filtraggio. Questi link riguardano le foto che gli utenti hanno postato sul social network inerenti all'argomento. È pensabile utilizzare tale foto per sviluppi futuri con introduzione di futuri servizi. In Figura 25 viene mostrato un esempio di uno dei tweet raccolti.
• Da notare che, per replicare attualmente questi risultati, non ci si può avvalere del servizio controllaEventi perché, come da specifiche della Twitter Search API, i tweet del social network vengono mantenuti e resi disponibili ad applicazioni esterne fino a 9 giorni successivi alla data in cui sono postati su Twitter. Attualmente è possibile replicare tale risultato utilizzando il servizio esposto per l'amministratore del modulo di classificazione controllaEventiDiUnaCollezione, dato che i tweet relativi all'incidente del 24 Gennaio sono salvati all'interno del database nella
Figura 25: Uno dei Tweet raccolti tramite il servizio. Questo è postato da un utente alle 10:10 relativamente all'incidente del 24 Gennaio 2014 sul GRA.
tabella SUM con idCollezione 69,
Si può infine notare che se il servizio fosse stato “attivo” in quel giorno, l'evento "traffico" sarebbe stato identificato nella zona del Grande Raccordo Anulare (considerando la politica attuale di riconoscimento dell'evento :
A > (Bx100) / 20
con A = tweet classificati come contenenti informazioni inerenti all'evento e B = numero totale dei tweet scaricati da Twitter)
a partire dalle 07:02:18, quindi 48 minuti prima dei normali servizi di informazione: “Società Autostrade” informa del grande traffico sul G.R.A. a partire dalle 07:50, “CorriereRoma” ha presentato la notizia a partire dalle 9:00 circa, “RomaNews” ne ha parlato dalle 10:20, “il Messaggero” e ANAS l'hanno riportata alle 10:55 e infine ANSA l'ha proposta alle 13:26.
In Tabella 9 si mostrano alcuni dei tweet postati dagli utenti relativamente all'incidente avvenuto. Viene inoltre mostrata la classificazione che il sistema restituisce per ognuno di essi.
Data Testo Geolocalizzazione
del tweet Classificazionedel tweet 2014-01-24
07:21:22 “Traffico internazionale di cocaina ed eroina, Operazione “Sillo” 35 arresti e sequestri patrimoniali per circa 2 Miliardi."
Non Attiva Falsi
2014-01-24
07:24:28 “Gra, carreggiata esterna, quadrante nord ovest, direz. sud traffico paralizzato. Evitate. I tabelloni ricordano di allacciare le cinture.." Lat: 42.04982727 Long: 12.64440606 Traffico 2014-01-24 07:26:22
"grazie della segnalazione del traffico sul Gra! Uffa il traffico"
Lat: 41.8566336 Long: 12.55635732 Traffico 2014-01-24
08:56:07 "ROMA - Un venerdì nero per i romani. Sul Grande Raccordo Anulare la situazione del traffico questa mattina è... "
Non Attiva Traffico
2014-01-24
09:00:11 “velocitá di crociera 100 metri lora!!! gra pic.twitter.com/PI5SDO8Zoq" Lat: 41.85428142 Long: 12.50854541 Traffico 2014-01-24
09:14:02 "rimanere bloccato dentro la galleria dell'Appia traffico gra pic.twitter.com/j8cpRBclEj" Lat: 41.91747457 Long: 12.50205958 Traffico 2014-01-24 09:19:34
"Roma, per lottare contro il traffico i vigili usano anche Twitter - Yahoo Notizie Italia …"
Non Attiva Falsi
2014-01-24 09:56:25
"incidentemortale, moto traffico Sono bloccato in fila sul gra, la gente è fuori dalle macchine"
Lat: 41.982966
Long: 12.526342