Mentre l’analisi automatica delle frasi è stata svolta utilizzando tre diversi parser, per coinvolgere gli umani in questo studio è stata utilizzata una piattaforma di crowdsourcing: Crowdflower13.
Il termine crowdsourcing deriva da crowd (folla) e sourcing (da outsourcing, cioè esterna- lizzazione aziendale). Al momento non esiste una definizione univoca per questo concetto e sono molte le attività che possono essere indicate come crowdsourcing. In generale, è possibile dire che il crowdsourcing coinvolge un gruppo più o meno eterogeneo di individui, cui viene richiesto di svolgere un compito specifico. I compiti da svolgere possono essere molto diversi e sono numerose le piattaforme di crowdsourcing nate sul web negli ultimi anni: da quella impiegata in questo studio alla più nota Amazon Mechanical Turk (MTurk).
12Il formato delle Universal Dependencies 13www.crowdflower.com
Negli ultimi anni, il crowdsourcing si è dimostrato essere molto utile anche in ambito linguistico e linguistico-computazionale. Per gli strumenti di trattamento automatico della lingua (TAL) è spesso fondamentale avere a disposizione corpora annotati manualmente di alta qualità: molti strumenti, per esempio, necessitano di essere addestrati su corpora gold, che devono essere annotati manualmente dagli esseri umani. Tuttavia, la creazione di tali risorse è molto costosa, specialmente quando si richiede la creazione di una annotazione molto complessa (come nel caso dell’annotazione a dipendenze). Nel corso degli anni sono state indagate numerose strade per ridurre i costi dell’annotazione manuale e, recentemente, si è trovato nel crowdsourcing una valida alternativa per lo svolgimento di diversi compiti di annotazione. Attraverso le piattaforme di crowdsourcing è possibile richiedere a un gruppo di persone di svolgere un determinato task, grazie al quale i partecipanti possono guadagnare una piccola somma di denaro. Attualmente le piattaforme di crowdsourcing sono sempre più utilizzate in ambito linguistico: Munro et al. (2010) hanno dimostrato come il crowdsourcing sia una risorsa fondamentale per produrre vari tipi di dati linguistici (non solo annotazioni), utili per molteplici ambiti, dalla semantica alla psicolinguistica.
Tra i quesiti più frequenti sul crowdsourcing vi è quello sull’accuratezza dei dati prodotti. Si è discusso a lungo sulla validità del crowdsourcing per lo svolgimento di task linguistici: mentre gli esperimenti linguistici realizzati in laboratorio avvengono in un ambiente altamente controllato, nel crowdsourcing non si ha quasi nessuna possibilità di controllo sugli utenti. Si pensa che il contesto user-controlled del crowdsourcing possa influire negativamente sulla qualità dei dati raccolti. In realtà, è stato dimostrato che in diversi task i dati prodotti con il crowdsourcing sono quasi indistinguibili dai dati prodotti in laboratorio (Sprouse, 2010). Il crowdsourcing si dimostra pertanto essere uno strumento valido per la raccolta di dati linguistici. Uno dei problemi che riguarda il crowdsourcing è la mancanza di un "addestramento" appropriato degli utenti che svolgono i task proposti. I gruppi di persone che accedono alle piattaforme di crowdsourcing online sono eterogenei e spesso gli utenti che intraprendono un task non fanno parte degli addetti ai lavori (non è detto che chi accede a un task linguistico sia un linguista o abbia conoscenze linguistiche approfondite). Le piattaforme online prevedono spesso dei criteri di selezione per gli utenti ed è possibile inserire dei test prima di ogni task per scremare gli utenti non adatti a svolgere il compito richiesto. Data l’impossibilità di lavorare con gruppi di utenti altamente specializzati per i task proposti, è necessario proporre dei task semplici che possano essere accessibili dalla maggior parte degli utenti. Guillaume e Fort (2016) dimostrano come sia possibile ottenere dati linguistici altamente validi tramite la creazione di task-gioco, in cui gli utenti producono dati linguistici utilizzando un gioco online creato appositamente.
Il task creato su Crowdflower per questo studio è stato impostato in modo da essere facilmente eseguibile dagli utenti. Agli umani non è stato richiesto di produrre un’annotazione sintattica delle frasi, ma semplicemente di indicare quanto percepivano come complessa una frase in una
scala da 1 a 7. La domanda proposta, cui gli annotatori14 dovevano rispondere, è stata: "quanto è difficile da 1 a 7 la frase che stai leggendo?". Le frasi sottoposte agli utenti nella piattaforma sono state presentate in gruppi di 5 per pagina; gli annotatori potevano scegliere di valutare quante frasi volevano, ricevendo un compenso di 0.02€ per ogni pagina completata. Prima di richiedere agli utenti la valutazione degli interi corpora, sono stati effettuati degli esperimenti preliminari per capire quale fosse la migliore configurazione da utilizzare al fine di ottenere risultati validi (De Mattei, 2016). Tra i criteri utilizzati per impostare il task vi sono:
• un controllo sulla distribuzione delle risposte: se un utente dava la stessa risposta per più dell’80% delle frasi, veniva eliminato dal task dopo 50 annotazioni;
• un controllo sulla velocità di risposta: sono stati eliminati gli utenti che impiegavano meno di 15 secondi per completare una pagina di annotazioni, al fine di scartare chi svolgeva il task senza prestare attenzione;
• un controllo sulla lingua: gli utenti dovevano essere di madrelingua italiana e madrelin- gua inglese per accedere al task; inoltre, per gli utenti italiani sono stati scartati tutti gli individui che pur avendo dichiarato di parlare italiano, non erano di origine italiana. In seguito alla valutazione delle frasi secondo questi criteri, le annotazioni sono state ulterior- mente filtrate per eliminare eventuali outlier. Infine, per ogni frase dei corpora si hanno a disposizione 20 giudizi di complessità (prodotti da 20 annotatori diversi).