CAF – Il confronto tra le misure di fluenza pause lunghe e esitazioni – Italiane e apprendenti (valori di gruppo)

tutte le italiane tutte le apprendenti storia

telefonate

Tabella 13. Le misure di fluenza, variazione

storia telefonate

apprendenti italiane apprendenti italiane pause lunghe/AS-unit -13,20% 37,25% -42,77% 50,45% esitazioni/AS-unit 33,99% 1,31% -11,63% 20,46%

Ricapitolando, in questo studio, riguardo al CAF vengono usate le seguenti misure: per la complessità sintattica due specifiche di grado (lunghezza e subordinazione); tre qualitative di gamma relative al tipo di clausola (percentuale di clausole indipendenti, unità indipendenti inferiori alla clausola e clausole subordinate sul totale delle clausole), e infine tre qualitative di gamma relative alla subordinazione (percentuale di avverbiali, argomentali e relative sul totale delle subordinate).

Per l’accuratezza viene usata la misura percentuale delle AS-unit senza errori sul totale delle AS-unit.

Infine per la fluenza sono state scelte due misure: il numero di pause lunghe per AS-unit, e quello di fenomeni di esitazione per AS-unit.

3.5.2. Le valutazioni QCER

In questa sezione presento le griglie del QCER utilizzate in questo studio, discuto un’indagine di validazione empirica dell’affidabilità delle valutazioni e infine illustro la procedura impiegata per la valutazione del mio corpus.

I descrittori selezionati per questo studio sono tratti dalle griglie relative agli aspetti qualitativi dell’uso della lingua parlata e si riferiscono alle tre dimensioni della coerenza-coesione, della correttezza grammaticale, e della fluenza. Questa selezione è dovuta al fatto che questi descrittori sono confrontabili con ciò che viene misurato attraverso le misure analitiche CAF esposte in § 3.5.1. Infatti alla complessità del CAF corrisponde la coerenza- coesione (QCER, p. 154), all’accuratezza corrisponde la correttezza grammaticale (QCER, p. 140), mentre – ovviamente – la fluenza del CAF coincide con quella del QCER (p. 158). La tabella 14 riporta i descrittori del QCER selezionati.

Tabella 14. QCER – Gli aspetti qualitativi dell’uso della lingua parlata

coerenza-coesione correttezza grammaticale fluenza

C2

È in grado di realizzare un discorso coerente e coeso usando in modo

appropriato una grande varietà di schemi organizzativi e un’ampia gamma di connettivi e di meccanismi coesivi di altro tipo.

Mantiene costantemente il controllo grammaticale di forme linguistiche

complesse, anche quando la sua attenzione è rivolta altrove (ad es. nella pianificazione di quanto intende dire e

nell’osservazione delle reazioni altrui).

È in grado di esprimersi in discorsi lunghi con scioltezza naturale, senza sforzi né esitazioni. Fa pause solo per cercare le parole per esprimere con precisione il proprio pensiero o per trovare un esempio o una spiegazione adatti.

C1

È in grado di realizzare un discorso chiaro, sciolto e ben strutturato, mostrando un uso controllato degli schemi organizzativi, di connettivi ed espressioni coesive.

Mantiene costantemente un livello elevato di correttezza grammaticale; gli errori sono rari e poco evidenti.

È in grado di esprimersi con scioltezza e spontaneità, quasi senza sforzo. Solo un argomento concettualmente complesso può ostacolare la naturale scioltezza del discorso.

B2+

È in grado di usare in modo efficace diversi connettivi per esplicitare i rapporti tra i concetti.

Ha una buona padronanza grammaticale; nella struttura delle frasi possono ancora verificarsi sbagli occasionali, errori non sistematici e difetti minori, che sono per lo più rari e corretti a posteriori.

È in grado di comunicare con spontaneità, dando per lo più prova di notevole scioltezza e uso disinvolto dei mezzi espressivi anche in discorsi piuttosto lunghi e complessi.

B2

È in grado di usare un numero limitato di elementi di coesione per collegare i propri enunciati in un discorso chiaro e coerente. In un intervento lungo possono presentarsi dei “salti” logici.

Mostra una padronanza grammaticale piuttosto buona. Non fa errori che possano provocare fraintendimenti.

È in grado di produrre sequenze discorsive con un ritmo abbastanza uniforme; anche se può avere delle esitazioni quando cerca strutture ed espressioni, fa poche pause evidenti. È in grado di interagire con spontaneità e scioltezza tali da consentire una normale interazione con parlanti nativi, senza sforzi per entrambe le parti.

B1+

Comunica con ragionevole correttezza in contesti familiari; la padronanza grammaticale è

generalmente buona anche se si nota l’influenza della lingua madre. Nonostante gli errori, ciò che cerca di esprimere è chiaro.

È in grado di esprimersi con relativa disinvoltura. Nonostante alcuni problemi di formulazione che possono sfociare in pause e blocchi, è in grado di portare avanti il discorso efficacemente senza aiuto.

B1

È in grado di collegare una serie di elementi

relativamente brevi e semplici in una sequenza lineare per punti.

Usa in modo

ragionevolmente corretto un repertorio di formule di

routine e strutture d’uso

frequente, relative alle situazioni più prevedibili.

È in grado di mantenere il discorso comprensibile, anche se sono evidenti pause per cercare parole e forme grammaticali e per riparare agli errori,

specialmente nelle sequenze di produzione libera di una certa lunghezza.

A2+

È in grado di collegare frasi semplici usando i connettivi più usuali per raccontare una storia o descrivere qualcosa, realizzando un semplice elenco di punti.

Riesce a farsi comprendere con enunciati molto brevi, nonostante che pause, false partenze e riformulazioni siano molto evidenti.

A2

È in grado di collegare gruppi di parole con connettivi semplici quali “e”, “ma” e “perché”.

Usa correttamente alcune strutture semplici, ma continua sistematicamente a fare errori di base – per esempio tende a confondere i tempi verbali e a

dimenticare di segnalare gli accordi; ciononostante ciò che cerca di dire è solitamente chiaro.

Su argomenti familiari è in grado di formulare espressioni e ha sufficiente capacità di portare a termine scambi comunicativi brevi, nonostante le esitazioni e le false partenze siano evidenti.

A1

È in grado di collegare parole o gruppi di parole con connettivi molto elementari quali “e” o “allora”.

Ha solo una padronanza limitata di qualche struttura grammaticale e di semplici modelli sintattici, in un repertorio memorizzato.

È in grado di cavarsela con enunciati molto brevi, isolati, solitamente

memorizzati, facendo molte pause per cercare le espressioni, per pronunciare le parole meno familiari e per riparare agli errori di comunicazione.

Per rilevare l’affidabilità nell’applicazione dei descrittori selezionati, mi rifaccio all’indagine sperimentale condotta da Ferrari & Nuzzo (in stampa). Tale indagine consiste in una validazione empirica dell’affidabilità delle valutazioni espresse da due gruppi di valutatori, tutti insegnanti, tra cui 5 esperti valutatori e 5 non esperti, su tre attività del corpus oggetto di questo studio (il racconto di un film, l’intervista e le telefonate) realizzate da 3 soggetti (due apprendenti, Pandita e Shirley, e una studentessa italiana, Elisa). Gli insegnanti esperti sono docenti di un Centro Territoriale Permanente, formati come esaminatori e regolarmente coinvolti come valutatori della prova

orale negli esami di certificazione CELI dell’Università per Stranieri di Perugia. Gli insegnanti non esperti hanno diverse esperienze nel mondo della scuola, e sono tutti impegnati come volontari in scuole di italiano L2 per adulti.

Ciascun gruppo di insegnanti è stato coinvolto in una sessione di valutazione della durata di 3 ore circa durante la quale si sono valutate le videoregistrazioni dei 3 task, riferendosi a griglie basate sia sui descrittori degli aspetti qualitativi dell’uso della lingua parlata che sui descrittori specifici riferiti al task. L’attribuzione del livello avveniva subito dopo la visione di ciascuna produzione ed era suddivisa in due momenti: una prima valutazione individuale e una seconda valutazione condivisa da raggiungere attraverso una discussione di gruppo. L’analisi dell’affidabilità dei giudizi espressi (statistica descrittiva e correlazione) è stata condotta sulle valutazioni individuali e sulle valutazioni condivise.

La tabella 15 riporta i risultati relativi ai tre descrittori impiegati per questo studio. Ricordando che in letteratura in genere si considerano affidabili i giudizi quando il valore della correlazione è pari o superiore a 0,80 (Alderson et al., 1995), osserviamo che i descrittori relativi alla correttezza grammaticale hanno ottenuto il maggior accordo. Rispetto a coerenza-coesione le discrepanze più rilevanti sono relative al task telefonate, poiché in diversi casi le insegnanti non sono state in grado di esprimere una valutazione ritenendo i descrittori inadeguati per un task così interattivo. I risultati relativi alla fluenza sono stati invece meno soddisfacenti.

Tabella 15. L’affidabilità dei giudizi. Spearman rank-order (da Ferrari & Nuzzo, in stampa)

tutti gli insegnanti insegnanti esperti insegnanti non esperti giudizi comuni coerenza-coesione 0,83 0,89 0,83 0,79 correttezza grammaticale 0,90 0,88 0,81 0,87 fluenza nel parlato 0,68 0,87 0,55 0,83

Gli insegnanti esperti dimostrano maggior accordo rispetto ai colleghi non esperti. Questo risultato è in linea con ciò che viene da più parti

evidenziato nella letteratura sul testing, e cioè che la formazione aumenta la coerenza e l’affidabilità delle scelte dei valutatori (Lunz et al., 1990) oltre che ridurre le differenze di severità tra esaminatori (Wigglesworth, 1993; Weigle, 1994). Lumley & McNamara (1995) suggeriscono che i vantaggi della formazione non sono però di lunga durata, dimostrando come sia necessario un momento di formazione prima di ogni sessione di valutazione. Interessanti inoltre i risultati ottenuti nelle valutazioni condivise: la discussione nei gruppi per il raggiungimento di un accordo sembra portare gli insegnanti ad allinearsi maggiormente nelle loro scelte. Questo dato sostiene l’utilità della pratica diffusa nelle certificazioni di impiegare due valutatori per ciascuna valutazione (cfr. Alderson et al., 1995). Nonostante non ci sia sempre una correlazione ottimale dei giudizi per i 10 insegnanti, i risultati di questa indagine permettono alcune osservazioni in positivo. Sugli 11 livelli disponibili2 per ciascuna competenza, lo scarto tra le scelte effettuate oscilla tra 2 e 4 livelli, con una preferenza per 2 valutazioni diverse. Le diverse valutazioni inoltre si riferiscono nella maggior parte dei casi a livelli contigui sulla scala. Questo suggerisce come il QCER possa essere un buon punto di riferimento, anche se sembra non riuscire a guidare in modo chiaro e preciso le scelte degli insegnanti nella distinzione tra livelli contigui, in particolare per la fascia C. Del resto difficoltà per i livelli più alti sono state evidenziate anche in altre ricerche: Kaftandjieva & Takala (2002: 113), ad esempio, sottolineano come il livello C2 non sia sempre distinto dal C1; Cassandro & Maggini (2004: 71), conducendo un’esercitazione con un gruppo di insegnanti, osservano come non manchino divergenze vistose nell’attribuzione dei livelli, specialmente per quanto riguarda la parte alta del continuum. Questo fa presupporre che anche se la formazione appare come un elemento centrale nel garantire l’affidabilità delle valutazioni, non si possono escludere fattori interni al QCER per la scarsa affidabilità dei giudizi, dal momento che anche tra i valutatori esperti si riscontrano problemi di allineamento.

2 _{Calcolando livelli e sotto-livelli, dal momento che in molti casi i livelli delle fasce A e B sono}

Poiché insegnanti esperti e valutazioni condivise ottengono i risultati migliori, nel definire la procedura di valutazione per questo studio si è cercato di soddisfare entrambe le condizioni. Sono stati coinvolti due valutatori esperti, entrambi regolarmente impegnati come esaminatori in esami di certificazione, oltre che buoni conoscitori del QCER. Ai valutatori è stato richiesto di esprimere un giudizio su complessità, accuratezza e fluenza delle produzioni di tutte le apprendenti del corpus in tre task (intervista, storia e telefonate) realizzati a t1 e a t4, utilizzando le griglie del QCER predisposte. Sono state così valutate in 3 sessioni di 2 ore ciascuna 36 videoregistrazioni, randomizzate per task, apprendenti e momento di rilevazione. Ai valutatori è stato richiesto di esprimere prima una valutazione individuale e di concordare poi una valutazione condivisa. I risultati della valutazione individuale sono stati utilizzati per verificare l’inter-rater reliability dei due valutatori. I risultati sono stati piuttosto buoni: 0,82 per coerenza-coesione, 0,88 per correttezza grammaticale, e 0,84 per fluenza. I risultati della valutazione condivisa sono stati poi utilizzati per osservare la variazione longitudinale e situazionale di complessità, accuratezza e fluenza, oggetto di indagine di questo studio.

CAPITOLO 4

RISULTATI

Il capitolo è dedicato alla presentazione dei risultati delle analisi effettuate sul corpus. Prima verranno presentati i risultati dell’analisi CAF (§§ 4.1-4.4), poi quelli delle valutazioni QCER (§ 4.5). Infine verranno discusse alcune interazioni tra i due approcci (§ 4.6).

4.1. La complessità sintattica CAF

La sezione presenta i risultati relativi all’analisi della complessità sintattica effettuata attraverso l’applicazione delle due misure globali: lunghezza (parole/clausole) e subordinazione (subordinate/AS-unit); e delle sei misure specifiche: tipo di clausola (percentuale di clausole indipendenti, di unità indipendenti inferiori alla clausola e di subordinate sul totale delle clausole) e tipo di subordinata (percentuale di avverbiali, di argomentali e di relative sul totale delle subordinate).

Si inizia ogni volta con l’analisi della variazione longitudinale della complessità sintattica considerando complessivamente i due gruppi di soggetti (studentesse italiane e apprendenti) comulativamente in tutti i task (§ 4.1.1); si prosegue con quella della variazione situazionale individuando le differenze tra i quattro task (§ 4.1.2), e si conclude illustrando, con esempi oltre che con grafici, il percorso individuale di ogni studentessa (§ 4.1.3).

4.1.1. La variazione longitudinale

Il grafico 5 mostra i valori delle due misure di lunghezza e di subordinazione relativamente allo sviluppo longitudinale, mentre la tabella 16 riporta quelli delle sei misure relative al tipo di clausola e di subordinata. In entrambi i casi i dati si riferiscono ai valori medi dei due gruppi considerati comulativamente per tutti i task.

I dati mostrano come già a t1 le apprendenti sono piuttosto avanzate rispetto alla complessità sintattica. Infatti la misura di subordinazione ottiene gli stessi valori delle compagne italiane, e la misura di lunghezza è di poco inferiore. Alcune differenze si registrano però rispetto alla distribuzione qualitativa di tipi di clausole e di subordinate, poichè le apprendenti producono più unità indipendenti inferiori alla clausola rispetto alle italiane, e utilizzano subordinate relative e argomentali piuttosto che avverbiali. In prospettiva longitudinale si realizzano due tipi di progresso. In primo luogo, rispetto alla lunghezza vi è un aumento dei valori, e in secondo luogo, nonostante per la subordinazione ci sia una lievissima flessione della misura, la distribuzione qualitativa del tipo di clausole e di subordinate si avvicina man mano a quella nativa.

Grafico 5. CAF – Complessità – Variazione longitudinale – Tutti i task – Italiane