5.3 Metodologia sperimentale
6.1.4 Confronto tra i tre task
In questa sezione analizziamo la correlazione fra i risultati ottenuti nei tre task. In buona parte dei confronti che stiamo per mostrare le correlazioni sono diverse a seconda che si usino gli embedding addestrati con Word2Vec o quelli addestrati con FastText.
Per quanto riguarda i due task Subjectivity e Polarity Classification, possiamo vedere che, come già accennato, in alcuni casi i risultati sono cor- relati fra loro in modo diverso a seconda che si usi Word2Vec o FastText per addestrare gli embedding.
Nel caso di Word2Vec, vediamo innanzitutto che la correlazione tra le F- score medieottenute nei due task è molto forte (0.92); la cosa non sorpren- de in quanto i due grafici sono molto simili, entrambi crescenti con tendenza logaritmica, con qualche oscillazione più marcata nel caso di Subjectivity. Vediamo poi che la correlazione tra le F-score massime ottenute nei due task è forte (0.74); anche in questo caso la forma dei due grafici è simile: crescente con tendenza logaritmica in entrambi i casi. Per quanto riguarda le F-score minime ottenute nei due task, possiamo vedere che la correla- zione tra esse è moderatamente negativa (-0.4); in effetti in questo caso i due grafici sono abbastanza diversi fra loro. Per quanto riguarda la deviazione standard, tra le due serie di valori c’è correlazione forte (0.63); in effetti en- trambi i grafici sono crescenti.
Nel caso di FastText, possiamo vedere che la correlazione tra le F-score medie è forte (0.78), come ci si aspetterebbe in quanto entrambi i grafici sono decrescenti con tendenza logaritmica. Per quanto riguarda le F-score massime, vediamo che fra esse la correlazione è forte (0.79), cosa che non sorprende in quanto entrambi i grafici sono crescenti con tendenza logaritmi- ca. La correlazione tra le F-score minime è debolmente negativa (-0.11); in effetti i due grafici hanno forme diverse. Per quanto riguarda la deviazio- ne standard, tra le due serie di valori c’è una correlazione moderatamente negativa (-0.48), cosa che non sorprende in quanto i due grafici hanno forma parecchio diversa.
Per quanto riguarda i due task Subjectivity Classification e Irony Detection, c’è parecchia differenza tra i valori delle correlazioni ottenuti a seconda che si siano usati embedding dell’uno o dell’altro tipo.
Nel caso di Word2Vec, possiamo vedere che la correlazione tra le F-score medieottenute nei due task è molto forte (0.9), come ci si aspetterebbe visto che entrambi i grafici sono crescenti con tendenza logaritmica (con oscillazioni più ampie nel caso di Irony). Possiamo vedere inoltre che la correlazione tra le F-score massimeottenute nei due task è forte (0.61), cosa che non stupisce in quanto entrambi i grafici sono crescenti con tendenza logaritmica (con oscillazioni più marcate nel caso di Irony). La correlazione tra le F-score minime ottenute nei due task è molto debole (0.17); in effetti i due grafici hanno forma diversa. Per quanto riguarda la deviazione standard, tra le due serie di valori c’è correlazione moderata (0.51), come ci si aspetterebbe visto che entrambi i grafici sono crescenti con tendenza complessivamente lineare.
Nel caso di FastText, possiamo vedere che le F-score medie ottenute nei due task presentano correlazione moderata (0.41), cosa probabilmente legata al fatto che entrambi i grafici sono decrescenti con tendenza logaritmica, ma con oscillazioni di segno diverso. Per quanto riguarda le F-score massime, la correlazione fra esse è moderatamente negativa (0.44); in effetti i due grafici
vanno in direzione opposta: nel caso di Subjectivity crescente e nel caso di Irony decrescente, entrambi con tendenza logaritmica. La correlazione tra le F-score minime è moderata (0.46). Per quanto riguarda la deviazione standard, possiamo vedere che la correlazione tra le due serie di valori è molto debolmente negativa (-0.1).
Per quanto riguarda i due task Polarity Classification e Irony Detec- tion, possiamo vedere che in alcuni casi i risultati sono correlati fra loro in modo diverso a seconda che si usi Word2Vec o FastText per addestrare gli embedding.
Nel caso di Word2Vec, possiamo vedere che le F-score medie ottenute nei due task presentano una correlazione forte (0.78), come ci si aspettereb- be in quanto entrambi i grafici sono crescenti con tendenza logaritmica (con oscillazioni più marcate per Irony). Inoltre, anche le F-score massime mo- strano di avere tra loro una correlazione forte (0.7), cosa che non sorprende in quanto entrambi i due grafici è simile (crescenti con tendenza logaritmica). La correlazione tra le F-score minime è debolmente negativa (-0.34); in ef- fetti i due grafici sono di forma diversa. Per quanto riguarda la deviazione standard, possiamo vedere che la correlazione tra le due serie di valori è forte (0.6); effettivamente entrambi i grafici sono crescenti, pur con tendenza diversa, logaritmica nel caso di Polarity, lineare nel caso di Irony.
Nel caso di FastText, vediamo che la correlazione tra le F-score medie è forte (0.69), in effetti entrambi i grafici si mostrano decrescenti con tendenza logaritmica. Per quanto riguarda le F-score massime, la correlazione tra esse è moderatamente negativa (-0.49), cosa che non sorprende in quanto i due grafici sono opposti: nel caso di Polarity, crescente con tendenza logarit- mica; nel caso di Irony, decrescente con tendenza logaritmica. La correlazione tra le F-score minime è molto debole (0.1); in effetti i due grafici hanno forma differente. Per quanto riguarda la deviazione standard, possiamo vedere che la correlazione tra le due serie di valori è forte (0.62), cosa che non sorprende in quanto entrambi i grafici sono crescenti.