Gli studi di Bormuth

Anche John Bormuth inizia a sperimentare la procedura cloze come nuovo criterio. Il suo primo studio (1966) fornisce una panoramica di tutte quelle variabili, oltre al vocabolario e la lunghezza delle frasi, che possono influire sulla comprensione; il cloze gli permette di valutare gli effetti di questi fattori non solo sulla difficoltà di interi brani ma anche su singole parole o frasi.

I dati della ricerca sono ottenuti dai risultati della valutazione della difficoltà tramite il cloze test di 20 testi campione, i quali hanno livelli di leggibilità dal 4° all’8° grado in base alla formula di Dale e Chall. I brani hanno tra le 275 e le 300 parole e sono tratti da materiali

42 _{Le reti ABC, CBS e NBC; telegiornali locali sulle stazioni della rete di Los Angeles KABC-TV, KNXT e}

KNBC; Il New York Times, il Wall Street Journal, il Christian Science Monitor, il Los Angeles Times, il

56

didattici di vario genere (letteratura, storia, geografia, biologia, scienze fisiche). I soggetti esaminati includono l’intero corpus di studenti dal 4° all’8° grado (675 studenti) di una scuola elementare e media californiana, con livelli di lettura che vanno dal 2° al 12° grado (dalla seconda elementare all’ultimo anno di scuola superiore).

Nel corso dei due lavori successivi (1967 e 1968), Bormuth cerca di fornire un quadro di riferimento per l’interpretazione dei risultati delle prove cloze; il suo obiettivo è determinare quali punteggi percentuali prendere convenzionalmente come riferimento per la valutazione della comprensione della lettura. In base allo studio pubblicato da Thorndike (1916), il 75% di risposte corrette nei test a scelta multipla è da considerarsi il criterio della difficoltà ottimale per l'apprendimento assistito in classe e il 90% per la lettura indipendente. Bormuth stabilisce allora una corrispondenza tra i punteggi ottenuti nelle prove di comprensione della lettura a scelta multipla e quelli ricavati con il cloze sugli stessi testi: percentuali di risposte corrette di 50%, 75% e 90% nei test a scelta multipla equivalgono a percentuali di 35%, 45% e 55% di completamenti cloze corretti. Questi valori vengono presi come punteggi di riferimento per indicare il livello di frustrazione (35% di riempimenti corretti in un cloze), il livello di lettura scolastica (45%) ed il livello di lettura indipendente (55%).

Nel 1969 Bormuth conduce la più ampia analisi di leggibilità che sia stata fatta, fornendo una nuova base empirica per le formule successive. Lo studioso misura la comprensione di 330 brani di circa 100 parole ciascuno, tratti da libri di testo di dieci materie (biologia, chimica, educazione civica, notizie di attualità, economia, geografia, storia, letteratura, matematica e fisica); i livelli di difficoltà dei testi vanno dalla prima elementare all’università. I soggetti testati sono 2600 alunni di un distretto scolastico di Minneapolis, dalla quarta elementare all’ultimo anno delle superiori; gli studenti sono divisi in 50 gruppi in base ai punteggi ottenuti con il California Reading Achievement Test (edizione del 1963). Come criterio di misurazione viene usata la procedura cloze, sia nella sua versione originale che in altre cinque varianti, per un totale di più di 2 milioni di risposte da analizzare. Oltre a questo, i soggetti sono sottoposti anche a test a scelta multipla.

Lo studioso controlla il potenziale valore predittivo di 169 variabili (molte delle quali mai analizzate prima), sviluppando ben 24 formule di leggibilità.

Le formule sono raggruppate in 4 serie: formule “senza restrizioni”, che includono ogni variabile che abbia una correlazione anche parziale ma significativa con la difficoltà e che contengono quindi dai 14 ai 20 indici statistici; la forma breve delle formule senza restrizioni, ottenute utilizzando soltanto 10 variabili; formule destinate all’uso manuale e formule per il computer. La difficoltà è misurata sia a livello dell’intero brano (vedi formule seguenti) sia a livello di singole frasi e parole.

Ogni serie prevede inoltre quattro forme diverse: tre basate sui valori criterio (35%, 45% e 55%) e una generalizzata, basata su una media (formula Mean Cloze), calcolata in modo tale che l’utente possa scegliere un qualsiasi punteggio.

Le formule indicano il livello minimo di lettura necessario per ottenere un dato punteggio cloze in un test che misura la leggibilità di un determinato brano.

Formule per il calcolo manuale:

𝐶𝑙𝑜𝑧𝑒 𝑀𝑒𝑎𝑛 = 1,051674 — 0,099691 (𝐿𝐸𝑇/𝑊) — 0,004236 (𝐿𝐸𝑇/𝑀𝑃𝑈) + 0,000015 (𝐿𝐸𝑇/𝑀𝑃𝑈)2

57 𝐺𝑃 (35) = 0,861207 + 1,279050 (𝐿𝐸𝑇/𝑊) + 0,050548 (𝐿𝐸𝑇/𝑀𝑃𝑈)— 0,000172 (𝐿𝐸𝑇/𝑀𝑃𝑈)2 𝐺𝑃 (45) = 1,849494 + 1,307968 (𝐿𝐸𝑇/𝑊) + 0,053930 (𝐿𝐸𝑇/𝑀𝑃𝑈) — 0,000191 (𝐿𝐸𝑇/𝑀𝑃𝑈)2 𝐺𝑃 (55) = 1,231834 − 2,764035 (𝐿𝐸𝑇/𝑊)— 0,023845 (𝐿𝐸𝑇/𝑊)3 + 0,051591 (𝐿𝐸𝑇/𝑀𝑃𝑈) — 0,000186 (𝐿𝐸𝑇/𝑀𝑃𝑈)2 dove

GP = grado di posizionamento (grade placement) per percentuali di completamenti corretti cloze (35), (45), (55).

LET/W = lettere per parola

LET/MPU = lettere per unità minima di punteggiatura (minimal punctuation units)

Formule per il calcolo automatico:

𝐶𝑙𝑜𝑧𝑒 𝑀𝑒𝑎𝑛 = 0,886593 – 0,083640 (𝐿𝐸𝑇/𝑊) + 0,161911 (𝐷𝐿𝐿/𝑊)3 – 0,021401 (𝑊/𝑆𝐸𝑁) + 0,000577 (𝑊/𝑆𝐸𝑁)2 – 0,000005 (𝑊/𝑆𝐸𝑁)3 𝐺𝑃 (35) = 3,761864 + 1,053153 (𝐿𝐸𝑇/𝑊) − 2,138595 (𝐷𝐿𝐿/𝑊)3 + 0,152832 (𝑊/𝑆𝐸𝑁) − 0,002077 (𝑊/𝑆𝐸𝑁)2 𝐺𝑃 (45) = 3,398999 + 1,107014 (𝐿𝐸𝑇/𝑊) + 0,155327 (𝑊/𝑆𝐸𝑁) − 0,002184 (𝑊/𝑆𝐸𝑁) 2 + 6,672669 (𝐷𝐿𝐿/𝑊)2− 7,523689 (𝐷𝐿𝐿/𝑊)3 − 5,266225(𝑚𝑜𝑑𝑎𝑙 𝑣) 𝐺𝑃 (55) = 3,450806 + 1,094841 (𝐿𝐸𝑇/𝑊) + 0,153830 (𝑊/𝑆𝐸𝑁) − 0,002242 (𝑊/𝑆𝐸𝑁) 2 + 11,478313 (𝐷𝐿𝐿/𝑊)2 − 11,224816 (𝐷𝐿𝐿/𝑊)3_{− 5,427013(𝑚𝑜𝑑𝑎𝑙 𝑣)} dove

LET/W = lettere per parola

DLL/W = numero di parole appartenenti alla lista di Dale delle 3.000 parole più frequenti sulle parole totali (Dale Long List Words)

W/SEN = parole per frase

Modal v = verbi modali (modal verbs)

Le formule sono state validate usando un nuovo set di 20 brani; per quelle che misurano la difficoltà a livello di brano sono riportate anche le validazioni incrociate.

Le formule senza restrizioni presentano coefficienti di correlazione con i 330 brani criterio che vanno da 0,86 a 0,89 e coefficienti che vanno da 0,67 a 0,80 nella convalida incrociata con i nuovi 20 brani. Per le forme brevi, i valori di correlazione con il criterio sono più bassi (0,83 - 0,87) ma più alti con i nuovi testi (0,88 - 0,93).

Le formule destinate al calcolo manuale presentano coefficienti di correlazione rispettivamente di 0,81 - 0,79 - 0,80 - 0,79; i coefficienti che derivano dalla convalida

58

incrociata sono 0,83 - 0,83 - 0,84 - 0,82. Infine, le formule per il computer mostrano correlazioni che vanno da 0,81 a 0,83 con i 330 brani criterio e che vanno da 0,92 a 0,93 con i 20 nuovi brani.

Nel 1975 Bormuth propone una nuova formula di facile applicazione, progettata per l'uso manuale da parte degli insegnanti. Come variabili sceglie la lunghezza della parola e la lunghezza della frase, "facili da analizzare, senza farsi coinvolgere in liste di parole o complesse analisi grammaticale" (p. 85). La formula è la seguente:

𝑑 = 1,069 − (0,106 1 𝑤) − (0,0036 1 𝑠) + [0,0000002 ( 1 𝑠) 2 ] dove:

d = difficoltà del testo in termini di completamenti cloze

1/w = numero medio di lettere per parola in un campione scelto a caso di 250 parole. 1/s = numero medio di lettere per frase in un campione scelto a caso di 250 parole.

Lo studioso pubblica anche una tabella da utilizzare per evitare i calcoli della formula; la tabella fornisce direttamente i valori di difficoltà (grado di istruzione necessario) per varie combinazioni di lunghezza di parole e frasi, per punteggi criterio equivalenti al 35%, 45% e 55% di riempimenti corretti cloze.

Culhane e Ranking (1969) conducono uno studio per verificare la validità dei valori presi da Bormuth come punteggi di riferimento. L’ipotesi è la seguente: se uno studio che utilizza la stessa procedura ma materiali, test e soggetti diversi produce una serie di punteggi non sostanzialmente diversi da quelli di Bormuth, allora questi valori posso essere considerati come riferimento per l’interpretazione dei risultati. I due studiosi somministrano le due prove di comprensione (5 prove a scelta multipla e 5 cloze test) a un campione di 5 classi di 5° grado, per un totale di 105 studenti. Come testi criterio vengono scelti 5 articoli tratti dalla World Book Encyclopedia; la leggibilità dei materiali è misurata tramite il grafico di Fry, con i livelli che vanno dal quinto all’ottavo grado. Nella prova cloze non vengono considerati corretti i riempimenti con sinonimi. La Tabella 5 mostra le correlazioni tra i coefficienti di regressione ottenuti nelle due prove. La correlazione media tra le due prove di comprensione risulta 0,68. Articoli n Correlazione Bear 22 0,54 Mars 24 0,75 Stalin 22 0,63 Hitler 20 0,77 Jerusalem 17 0,71 Totale 105 0,68 (media)

59

La Tabella 6 mostra invece il confronto tra i punteggi ottenuti nello studio di Bormuth del 1967 e quelli di Culhane e Ranking del 1969. La differenza media tra i risultati è di 3,1 punti percentuali. Come si può notare, le differenze sono maggiori agli estremi, in particolare nei punteggi più elevati: lo scarto medio tra i risultati è di 6,2 punti percentuali per punteggi a scelta multipla che vanno da 50 a 70 e di 9,8 punti per punteggi che vanno da 75 a 100.

Punteggi dei test a scelta multipla

Punteggi cloze (Bormuth)

Punteggi cloze

(Culhane e Ranking) Differenza

50 19 10 + 9 55 23 15 + 8 60 27 22 + 5 65 31 28 + 3 70 35 35 0 75 38 41 - 3 80 42 48 - 6 85 46 54 - 8 90 50 61 - 11 95 53 67 - 14 100 57 74 - 17

Tabella 6. Confronto tra punteggi cloze e punteggi a scelta multipla.

Le percentuali cloze prese come riferimento da Bormuth per la valutazione della comprensione della lettura sono confrontate con quelle di Culhane e Ranking nella Tabella 7.

Punteggi criterio Bormuth (1967) Bormuth (1968) Culhane e Ranking

75 % 38 44 41

90 % 50 57 61

Tabella 7. Corrispondenza tra punteggi cloze e punteggi criterio dei test a scelta multipla.

Questi risultati confermano la validità dei punteggi percentuali proposti da Bormuth. In particolare, per valori compresi tra 50 e 75 risultano più validi i punteggi ottenuti nello studio del 1967, per valori compresi tra 75 e 100 quelli ottenuti nello studio del 1968.