Implementazione della Sentiment Analysis in Twitter

Per l’analisi dei “sentimenti” dei tweet estratti utilizzeremo due metodi (precedentemente descritti nel capitolo 2): il metodo Hopkins e King il metodo LDA. Sono stati scaricati tweet in italiano ed in inglese per capire cosa ne pensa sia il “paese di origine” sia i paesi esteri; per motivi di complessità nel geo-localizzare ogni tweet (come riportato precedentemente la geo- localizzazione è facoltativa), ci affideremo esclusivamente alla lingua del testo per dividere tra italiani e stranieri. I dati scaricati sono relativi al periodo dal 22 ottobre 2017 al 3 dicembre 2017. Tutte le analisi che seguiranno sono state effettuate con il software di analisi statistica R (www.r-project.org) su Windows 10.

Il primo metodo inizierà con la scelta delle categorie sia per la Sentiment Analysis che per l’Opinion Analysis, ma si deve tenere presente che tale scelta non è definitiva in quanto dovrà essere rivista durante la fase preliminare di analisi in cui la tabella viene rivista e aggiornata. Decidere le categorie è un passo necessario per poter successivamente associare ogni tweet ad una determinata categoria, non possono esserci infatti tweet non categorizzati.

A questo punto si devono scaricare i dati da Twitter tramite il programma statistico R. Tale passaggio richiede una serie di autenticazioni per poter accedere interamente ai tweet e alle informazioni che contengono.

Dopo aver scaricato i dati è necessario applicare il pre-processamento per preparare i dati all’analisi vera e propria. In questa fase il testo viene eliminato delle informazioni che non sono rilevanti.

56

A questo punto si procede al tagging manuale, ovvero una classificazione manuale che permette di non attribuire arbitrariamente le categorie, ma attraverso la lettura del training set definisce ex post le categorie rilevanti e trascura quelle definite a priori ma non utilizzate nel corpus di testi. Uno dei maggiori vantaggi del tagging manuale è che ogni testo può essere codificato con bassissimo margine di errore indipendente dalla lingua utilizzata, dal contesto di discussione, dall’uso di metafore, o altro.

Dopo questa fase è possibile iniziare l’analisi attraverso la metodologia“ReadMe” (Hopkins e King, 2013) che prende come input i testi, applica una serie di parametri, e ne restituisce la distribuzione di probabilità per ogni categoria presente.

Il metodo “ReadMe”

I dati raccolti, dopo essere stati sottoposti al preprocessamento, sono pronti per l’analisi tramite il metodo ReadMe. L’implementazione di questo metodo viene svolta in R attraverso il corrispondente pacchetto ReadMe, che assume come input un set di testi (blog, posts, articoli di giornale, riviste, …), uno schema di categorizzazione dei testi scelto dall’utente e un piccolo subset di testi classificati manualmente nelle categorie indicate. Se usato correttamente riferirà la percentuale di documenti all’interno di ciascuna delle categorie indicate tra quelli non codificati a mano, riducendo o eliminando l’errore della classificazione individuale. In altre parole, il metodo prende in ingresso i testi, le etichette, i vari parametri come il numero di sottoinsiemi, la loro numerosità e i pesi degli stem, restituendo poi la distribuzione di probabilità in ogni categoria presente. Sono presenti alcuni parametri che devono rimanere fissi:

 Threshold all’1%. Parametro imposto di default dal pacchetto. Come abbiamo detto, non tutte le parole vengono utilizzate per comporre il classificato e quelle che si presentano raramente o troppo spesso non sono utili per l’analisi, perciò è meglio escluderle.

 Numero di sottoinsiemi pari a 300. Parametro imposto di default dal pacchetto. Quando si parla del metodo Hopkins e King si fa riferimento anche alla tecnica di bagging, ovvero la suddivisione in gruppi dell’insieme complessivo di stem; su ogni gruppo si applica il metodo producendo delle stime di P(D) per ognuno e solo alla fine si fa una media aritmetica di tali valori.

 Numero di parole in ogni sottoinsieme. Hopkins e King suggeriscono di stabilire il numero di stem per sottogruppo, di default viene utilizzato il valore 15.

57

Si evince come i risultati possono variare in base alla scelta dei parametri principali. Il metodo ReadMe fornisce quindi come output finale un vettore di probabilità, corrispondente alla distribuzione aggregata dei sentimenti.

Il secondo metodo che utilizzeremo è il metodo LDA. L’analisi inizia dal download dei dati, che corrisponde a quanto riportato nel metodo precedente e allo stesso modo viene svolta la pulizia del testo.

Dopo queste fasi, viene creata la Document Term Matrix che descrive le frequenze dei termini presenti in una collezione di documenti. A questo punto è possibile utilizzare la funzione LDA, specificando l’oggetto (la matrice) e il numero di topic, ognuno dei quali sarà composto da una serie di parole.

Il passo successivo e finale è associare i topic individuati ai tweet, al fine di capire come ogni tweet può essere generato da uno o più topic.

Il pacchetto “Topicmodels”

Dalle considerazioni appena riportate si evince come la LDA sia un metodo statistico che si fonda sulla distribuzione di Dirichlet e presuppone che in ogni testo vi siano più argomenti detti “topic”. L’obiettivo della LDA è quello di inferire i topic che massimizzano la probabilità del corpus. Per estrarre i topic da un documento è possibile utilizzare il pacchetto R “topicmodels” che permette di trattare corpus di testi creati tramite il pacchetto “tm” e trasformati in una matrice documenti-termini (necessaria per la LDA). Il pacchetto “topicmodels” (Grhun -hornik, 2011) fornisce un’interfaccia al codice per il montaggio di una LDA con l’algoritmo VEM implementato da Blei e co-autori ed il codice per monitorare un modello LDA con campionamento Gibbs scritto da Phan e co-autori.

Le principali funzioni del pacchetto “topicmodels” sono:

LDA(x, k, method = "VEM", control = NULL, model = NULL, ...) CTM(x, k, method = "VEM", control = NULL, model = NULL, ...)

Le due funzioni hanno lo stesso argomento, ovvero “x” che corrisponde ad una matrice documento-termini; “k” è un numero intero maggiore di 1 che specifica il numero di argomenti e “method” determina il metodo di stima utilizzato e può essere “VEM” o “Gibbs”.

58

Queste sono alcune delle assunzioni preliminari necessarie per affrontare la nostra analisi. Nel capitolo successivo entreremo nel dettaglio spiegando ogni singolo passaggio e i risultati ottenuti.

59