Appendice. Fattori che incidono sulla complessità degli item di Numeracy

La presente appendice descrive un modello di fattori che spiegano il livello di difficoltà dei diversi compiti per la valutazione della numeracy. Tale modello è stato elaborato per l’indagine ALL dal relativo team sulla numeracy. Il testo a seguire si basa sulla versione originariamente pubblicata nel Rapporto tecnico dell’indagine ALL, cfr. Gal et al. 2005. Questo modello è stato ritenuto utile per orientare lo sviluppo degli item, ovvero per aiutare nella creazione di item che si distribuiscono su vari livelli di difficoltà. I risultati dallo studio pilota di ALL hanno mostrato come la difficoltà prevista degli item utilizzati secondo il modello di seguito illustrato fosse strettamente correlata alla difficoltà osservata (r= 0,79). A causa della natura ricorsiva della sperimentazione di tale modello (per es., le stesse persone hanno sia scritto il modello che valutato la complessità degli item), è necessario prestare attenzione in caso di un ulteriore uso interpretativo della presente versione. Ferma restando la necessità di un'ulteriore verifica, il modello nel suo stato attuale sembra essere uno strumento utile per sviluppare gli item del test e per comprenderne e interpretarne i risultati.

Il modello a seguire è stato aggiornato rispetto all'ultima versione pubblicata nel precedente documento quadro della numeracy di PIAAC (PIAAC Numeracy Expert Group 2009). Tali aggiornamenti sono stati basati sull'uso del Modello di complessità nel lavoro di sviluppo degli item per il test ACER e anche su quando è stato impiegato come base per alcuni lavori di mappatura di diversi item, provenienti da diverse valutazioni della matematica e della numeracy, da parte di uno degli autori e dei membri dell'attuale Gruppo di esperti sulla numeracy.

Studi precedenti sulla complessità dei compiti

Nell’indagine ALS, tre fattori sono risultati essere le principali componenti del livello di difficoltà dei compiti (relativamente ai compiti di literacy o di tipo testuale): la plausibilità dei distrattori, il tipo di corrispondenza e il tipo di informazioni richiesti. Il livello di difficoltà dei compiti di Literacy quantitativa (QL) sembrava derivare da altri fattori:

1. la particolare operazione aritmetica richiesta per completare il compito;

2. il numero di operazioni necessarie per svolgere il compito;

3. la misura in cui i numeri erano inglobati all’interno dei materiali stampati;

4. la misura in cui occorreva fare deduzioni per individuare il tipo di

operazione da eseguire (per es., la chiarezza; cfr. in basso).

I fattori alla base del livello di difficoltà della Literacy quantitativa in IALS corrispondono nel complesso a quelli utilizzati in valutazioni su larga scala delle capacità matematiche (con i bambini), che spesso si avvalgono di tre o quattro fattori.

1. I concetti matematici interessati: sistemi numerici e senso dei numeri,

aspetti spaziali e geometrici, funzioni e algebra, questioni di probabilità/statistica, ecc. I concetti connessi agli argomenti insegnati a livelli più bassi sono considerati più facili.

2. La complessità delle operazioni: addizione, sottrazione, moltiplicazione e

divisione, e il confrontarsi con i numeri interi, con i decimali e con le percentuali. Le operazioni connesse agli argomenti insegnati a livelli più bassi sono considerate più facili.

3. Il numero di operazioni: i problemi con un unico passaggio sono

considerati più facili.

4. La chiarezza del problema: questo fattore è a volte rilevante; si riferisce

alla misura in cui la situazione problematica include numeri o entità identificati in modo chiaro e alla misura in cui è chiaro quali operazioni o azioni eseguire. Nella misura in cui questi non risultano chiari o evidenti, gli intervistati devono ricavare le informazioni necessarie applicando strategie di comprensione e deduzione, il che rende il compito più complesso.

Per sviluppare i vari livelli di difficoltà è possibile attingere ad altri progetti di valutazione degli adulti. Sia il Progetto di ricerca sulle Essential Skills che il sotto-test della batteria di test di Work Keys (American College Testing 1997) utilizzano, nella loro descrizione dei livelli di numeracy, un modello a due fattori di complessità. Il primo fattore, le “operazioni richieste”, è apparentemente

semplice e si riferisce alla difficoltà delle operazioni richieste. Tuttavia, esso viene complicato dal livello di difficoltà dei numeri trattati: i calcoli che includono frazioni e decimali sono di solito più difficili di quelli con numeri interi.

Il modello di Essential Skills descrive due sequenze di complessità, relative a tale fattore: le Operazioni e la Traduzione delle informazioni (talvolta definita “Chiarezza del problema”).

Operazioni

1. Sono unicamente richieste le operazioni più semplici, e quelle da utilizzare

vengono specificate in modo chiaro. Nel compito è utilizzato un solo tipo di operazione matematica.

2. Sono richieste solo operazioni relativamente semplici. Le specifiche

operazioni da eseguire possono non essere specificate in maniera chiara. I compiti implicano uno o due tipi di operazioni matematiche. Sono richiesti calcoli con pochi passaggi.

3. I compiti possono richiedere una combinazione di diverse operazioni o più

applicazioni di un’unica operazione. Sono richiesti calcoli con alcuni passaggi (operazioni più complesse possono richiedere di svolgere moltiplicazioni o divisioni).

4. I compiti implicano calcoli con più passaggi.

5. I compiti implicano calcoli con più passaggi. Possono essere richieste

tecniche matematiche avanzate (per es., percentuali, rapporti, proporzioni).

Traduzione (Chiarezza del problema)

1. Viene richiesta una traduzione minima per trasformare il compito in

un’operazione matematica. Vengono fornite tutte le informazioni richieste.

2. Può essere richiesta una traduzione, o può essere necessario raccogliere

da varie fonti i numeri richiesti per giungere alla soluzione. Possono essere utilizzate formule semplici.

3. Può essere richiesta una traduzione, ma il problema è definito in modo

chiaro.

4. Viene richiesto un grado considerevole di traduzione.

5. È possibile che i numeri necessari per eseguire i calcoli debbano essere

derivati o stimati; in caso di incertezza e ambiguità può essere necessario ricorrere ad approssimazioni. Possono essere utilizzate formule, equazioni o funzioni complesse.

Due considerazioni ci hanno spinto a mettere in discussione la convenienza di utilizzare framework connessi alla matematica (dalle Essential Skills o altrove) come unica fonte per sviluppare un modello di complessità per gli item che valutano la capacità degli adulti di affrontare i compiti di matematica nel mondo reale. Per prima cosa, affrontare molti problemi quantitativi del mondo reale in modo efficace dipende dalla capacità delle persone di dare un senso e di interagire con diverse tipologie testuali. Questo aspetto viene poco riconosciuto nel modello delle Essential Skills. È stato quindi fondamentale aggiungere fattori di difficoltà che riconoscessero i legami intrinseci tra literacy e numeracy, molto simili a quelli utilizzati nell'indagine IALS.

Un'altra considerazione, benché più limitata, è che l’ordine di complessità dei compiti in base al tipo di operazione eseguita potrebbe non essere per gli adulti chiaro quanto lo è per i bambini. Nelle valutazioni scolastiche, tale ordine si basa sui programmi tradizionali, in cui gli argomenti più complessi vengono appresi nelle classi superiori. Tuttavia, è noto come gli adulti utilizzino molte strategie inventate, forse in misura maggiore e più efficace rispetto ai bambini. I problemi con le moltiplicazioni o le divisioni, che possono rivelarsi relativamente difficili per alcuni giovani, possono essere risolti con strategie apparentemente più semplici, ripetendo per es. addizioni o sottrazioni; i numeri complessi possono essere scomposti in modo da alleggerire il carico mentale, e così via. Inoltre, la familiarità degli adulti con i contesti quotidiani, come per es. con le entità monetarie, facilita le loro prestazioni relative a concetti apparentemente avanzati. Per esempio, gli specifici valori di riferimento di frazioni e percentuali, come 1/2, 1/4, 50% o 25%, risultano familiari a molte persone; di conseguenza, possono essere più facili del previsto da gestire, a dispetto dell'ordine di difficoltà basato sui programmi scolastici. Si deve pertanto impiegare un livello di complessità generale, al fine di ponderare tali ‘incongruenze’ nell'ordine dei livelli di difficoltà proposti in altri modelli.

Fattori di complessità nell’indagine ALL

La rassegna della letteratura di cui sopra suggerisce come un framework dei fattori che influiscono sulla complessità dei compiti di numeracy non dovrebbe riguardare solo i fattori legati agli aspetti numerici e testuali dei compiti, ma dovrebbe affrontare anche altri aspetti. Esso dovrebbe trattare separatamente il numero e il tipo di operazioni rispetto al tipo di informazioni matematiche (o

statistiche) da elaborare, che potrebbero riguardare espressamente i numeri ma anche altri tipi di informazioni matematiche. Nel fare ciò, il framework dei fattori di complessità desiderato dovrebbe tenere conto dell'ampio campo di applicazione della definizione di numeracy, ovvero riflettere il grado di variazione all'interno dei contesti, la gamma di idee/contenuti matematici, i tipi di risposte possibili, e i tipi di rappresentazioni che interessano i vari contesti della vita adulta.

Alla luce di queste considerazioni, sono stati identificati cinque fattori chiave che si prevede influiranno, in modo congiunto o separato, sul livello di difficoltà dei compiti di numeracy da utilizzare nell'indagine ALL. Questi cinque "fattori di complessità" sono delineati nella tabella 4 e si articolano in due serie: due fattori che riguardano principalmente gli aspetti testuali dei compiti, e tre fattori che riguardano gli aspetti matematici. Questi cinque fattori vengono elencati separatamente per chiarezza di presentazione, ma in realtà non sono indipendenti l'uno dall'altro e interagiscono in modi complessi. Ogni fattore viene esaminato in dettaglio qui di seguito, accompagnato da una sottosezione che descrive il calcolo di un livello di complessità generale per ogni item, tenendo conto di tutti e cinque i fattori.

Tabella 4. Fattori di complessità - Panoramica generale

Aspetti Categoria Gamma

Aspetti testuali 1. Tipo di corrispondenza/chiarezza del problema

Da ovvio/esplicito a implicito/nascosto 2. Plausibilità dei distrattori Da nessun distrattore a vari distrattori Aspetti matematici 3. Complessità delle informazioni/dati

matematici

Da concreti/semplici ad astratti/complessi 4. Tipo di operazione/capacità Da semplice a complessa 5. Numero di operazioni previste Da una a molte

1. Tipo di corrispondenza/chiarezza del problema

Si tratta di una combinazione del sopra descritto fattore della Chiarezza del problema e di un fattore dell'indagine IALS denominato Tipo di corrispondenza. La Chiarezza del problema è una funzione di quanto sono ben specificate informazioni e compiti matematici, e comprende aspetti come quanto la procedura è definita in modo evidente, quanto esplicitamente sono stati espressi i valori, ecc. Il Tipo di corrispondenza si riferisce invece al processo che un intervistato deve seguire per mettere in relazione l'azione richiesta nella

domanda con le informazioni contenute nel compito o nel testo, che può variare da una semplice azione di individuazione o corrispondenza ad azioni più complesse, che richiedono l’esecuzione di varie ricerche per mezzo delle informazioni fornite. La misurazione della complessità di un compito di numeracy tiene conto anche del grado in cui le informazioni matematiche sono inglobate all’interno del testo.

In compiti semplici, il tipo di informazione (per es. valori numerici) e le operazioni necessarie appaiono chiari ed evidenti già dal modo in cui è strutturata la situazione. In compiti più difficili, i valori devono essere individuati o derivati da altri valori; è possibile che l'esecutore debba identificare le operazioni necessarie, a seconda di come interpreta il contesto e in base al tipo di risposta prevista. Allo stesso modo, le situazioni di numeracy possono comprendere vari livelli di testo, e quest’ultimo può avere più gradi di importanza. Possono esserci situazioni con poco testo o con testo assente. Alcune situazioni possono includere informazioni quantitative pure, che devono essere interpretate o utilizzate senza testi né input linguistici. In altre parole, l'esecutore ricava tutte le informazioni necessarie per rispondere dagli oggetti presenti nella situazione o dalla visualizzazione diretta di numeri.

A un livello superiore, accanto alle informazioni matematiche possono essere presenti alcune informazioni testuali o verbali. Il testo può fornire informazioni di base sulla situazione problematica, o alcune istruzioni. Per esempio, gli orari dell'autobus, le istruzioni per cucinare e i tipici problemi di tipo scolastico comportano tutti un po' di testo e alcuni numeri. Tuttavia, altre situazioni potrebbero basarsi in larga misura sul testo o non comprendere affatto numeri o simboli matematici, ma unicamente testo. Il compito conterrà informazioni matematiche o statistiche che devono essere comprese e, in alcuni casi, utilizzate, ma risulterà molto meno chiaro. Tali elementi matematici e statistici potranno essere profondamente inglobati all’interno di un testo ricco di informazioni o richiedere l'utilizzo di informazioni provenienti da diverse fonti all'interno o anche al di fuori del testo/compito, oltre a poter comportare la necessità di ricorrere a informazioni esterne (per esempio, la conoscenza e la comprensione di una formula/processo formali) per rispondere alla domanda. In base a questo fattore, un compito verrà esaminato alla luce delle seguenti domande: Quanto è difficile individuare e decidere quale azione intraprendere?

Quante capacità di literacy sono richieste? E Si trovano qui tutte le informazioni necessarie?