PARTE I. La valutazione della Numeracy nell’indagine PIAAC

Nella presente sezione sono riepilogate la revisione effettuata nel 2017 del Ciclo 1 di PIAAC sul framework e sulla valutazione della numeracy, presentando ulteriori questioni di ordine concettuale da tenere in considerazione, individuate dal Gruppo di esperti del Ciclo 2 della numeracy (NEG), terminando con una breve motivazione per la valutazione della numeracy nell’indagine PIAAC.

La revisione

Il framework concettuale e di valutazione per il secondo ciclo dell’indagine PIAAC sulla numeracy doveva essere aggiornato e rivisto sulla base di una revisione del framework di valutazione della numeracy utilizzato nel primo ciclo dell’indagine PIAAC. La presente revisione è stata commissionata dal Segretariato dell’OCSE e pubblicata all’inizio del 2017 (Tout et al. 2017). Questo progetto di revisione era finalizzato alla redazione di un documento che prendesse in esame il framework che ha orientato la valutazione della numeracy nel primo ciclo dell’indagine PIAAC.

La revisione mirava a valutare la misura in cui il framework sviluppato nel 2009 riflettesse le conoscenze odierne relative alla numeracy della popolazione adulta e ha continuato a costituire una base adeguata alla valutazione della capacità degli adulti di intraprendere con successo i vari compiti di numeracy che devono affrontare nell’ambito della loro vita quotidiana e professionale nella terza decade del XXI secolo. In particolare, la revisione affrontava i seguenti punti:

• gli sviluppi teorici nella comprensione e nella concettualizzazione della numeracy degli adulti rilevanti ai fini della valutazione della numeracy nell’indagine PIAAC;

• come assicurare che tale valutazione riflettesse l'importanza delle

informazioni, delle rappresentazioni, dei dispositivi e delle applicazioni digitali, come realtà che gli adulti devono gestire per far fronte alle esigenze di numeracy della vita quotidiana;

• gli sviluppi nella valutazione della numeracy (in particolare riguardo agli

adulti) potenzialmente rilevanti ai fini dell’indagine PIAAC (per es., tipologia e formato degli item, uso dell'animazione e di modelli);

• come concepire, sviluppare (se del caso) e presentare la relazione tra il

framework della numeracy dell’indagine PIAAC e quello della literacy matematica dell’indagine PISA;

• l'utilità e la fattibilità dello sviluppo e dell'implementazione di una

valutazione delle componenti della numeracy equivalente alla valutazione delle componenti di lettura dell’indagine PIAAC.

La revisione ha indicato una serie di aree da migliorare e potenziare, tra cui la definizione e le diverse elaborazioni della numeracy della popolazione adulta impiegate nel framework, e del contenuto della valutazione. Molti suggerimenti nascevano dalla questione se l'attuale framework e valutazione del Ciclo 1 riflettessero o meno alcune realtà nell’ambito delle competenze e conoscenze necessarie agli adulti per avere successo nella vita privata, sociale e professionale del XXI secolo. Tra gli elementi chiave emersi dalla revisione figurano:

• affrontare le competenze del XXI secolo, tra cui la capacità di pensiero

critico, lo spirito di riflessione, il ragionamento e la comprensione del grado di accuratezza;

• prendere in considerazione i progressi tecnologici/delle TIC, mantenendo un

equilibrio con modalità e mezzi di comunicazione più tradizionali e con la relativa esecuzione di compiti di numeracy;

• fare un uso migliore della tecnologia per la valutazione in relazione sia

all'autenticità che all'accessibilità degli item;

• affrontare una serie di questioni riguardanti le prestazioni e la

comprensione della numeracy negli adulti, compresa l’inclinazione di un individuo a utilizzare la matematica e a individuarla in contesti di numeracy;

• sviluppare una valutazione delle componenti di numeracy con obiettivi

ulteriori informazioni sulle capacità e sulle conoscenze dei molti adulti con bassi livelli di numeracy.

La revisione e le relative raccomandazioni sono state fondamentali nell’elaborazione di tale framework e del costrutto di valutazione. La revisione e questo documento si basano su framework concettuali e di valutazione e sulla conoscenza accumulata in relazione a precedenti indagini sulle competenze degli adulti, in primo luogo il primo ciclo dell’indagine PIAAC – cfr. il Gruppo di esperti della Numeracy di PIAAC (2009) e Gal e Tout (2014). Il framework e la valutazione del Ciclo 1 dell’indagine PIAAC si sono fortemente ispirati al framework di valutazione della numeracy dell’indagine ALL (Adult Literacy and Life Skills) (cfr. Murray et al. 2005). Si sono inoltre basati sul lavoro svolto dall'indagine IALS (International Adult Literacy Survey) e sulle ricerche condotte su studenti in età scolare, in particolare il Programma per la valutazione internazionale degli studenti (PISA).

Nuove questioni emerse

Nell'esaminare il contenuto e le raccomandazioni derivanti dalla revisione del 2017 del nuovo Gruppo di esperti sulla numeracy del Ciclo 2 dell’indagine PIAAC (NEG) al momento della prima riunione avvenuta a marzo 2018, sono state individuate ulteriori questioni che necessitavano di essere maggiormente approfondite. Il NEG ha di conseguenza condotto una rassegna della letteratura che andava a esaminare queste cinque questioni concettuali: grandi idee in

matematica, senso dei numeri, contestualizzazione, autenticità e

comportamento e pratiche di numeracy. Sebbene questo lavoro sia stato integrato nella presente revisione del framework della numeracy, ne viene di seguito proposto un riassunto.

Grandi idee in matematica

Si impiega l’espressione Grandi idee in matematica per parlare di importanti idee matematiche (Jones et al., 2002), fondamentali per apprendere la materia, che raccordano numerose nozioni di settore in un insieme coerente (cfr. per esempio Charles 2005; Hurst 2014; Hurst e Hurrell 2014; Kuntze et al. 2011a e 2011b; Steen 1990). Inizialmente, l'espressione "Grandi idee" si riferiva al fatto che le informazioni matematiche possono essere classificate in modi differenti rispetto alle aree di contenuto del programma di matematica della scuola

tradizionale. Includono spesso le seguenti aree di contenuto (elaborate nel framework dell’indagine PIAAC): quantità e numero, spazio e forma, variazioni e relazioni, dati e probabilità. Le "Grandi idee" vengono anche utilizzate come punti focali per conferire una certa struttura ai "programmi scolastici sovraffollati" (Siemon et al. 2012; Siemon 2017).

Senso dei numeri

Nel Ciclo 2 dell’indagine PIAAC, con particolare riguardo alla sfida di creare una nuova valutazione distinta delle componenti di numeracy, il senso dei numeri è visto in rapporto alla comprensione generale da parte dell’individuo delle differenti tipologie di numeri e operazioni, implicando una comprensione critica necessaria per prendere decisioni e risolvere i problemi utilizzando i numeri in maniera flessibile in ambito personale, lavorativo e sociale (Ontario Ministry of Education 2006; Peters 2012; Wagner e Davis 2010; Yang et al. 2009). McIntosh, Reys e Reys (1992) definiscono così il senso dei numeri: “Esso riflette un’inclinazione e un’abilità nell’utilizzare i numeri e i metodi quantitativi come strumenti per comunicare, elaborare e interpretare le informazioni” (ibidem, 3). Inoltre, “utilizzare i numeri va ben oltre il semplice fatto di ragionare su questi ultimi e di effettuare calcoli avanzati. Si tratta di dare un senso alla situazione alla quale applichiamo numeri e calcoli” (Thompson 1995, 220). I numeri e le espressioni quantitative possono presentarsi in diversi sistemi di rappresentazione, quali: testi o simboli, immagini di oggetti fisici, informazioni strutturate e dinamiche. Comprendere il senso dei numeri è stato individuato come un elemento chiave, oltre a essere esaminato in tutto il framework, contribuendo a rafforzare lo sviluppo della nuova valutazione delle componenti della numeracy per il Ciclo 2 dell’indagine PIAAC. La Parte VI contiene ulteriori approfondimenti.

Contestualizzazione, autenticità, comportamento e pratiche di numeracy

Si tratta di quattro questioni interconnesse, che il NEG ha tentato di affrontare in modo più esplicito nell'ambito del nuovo framework, sia nella sua elaborazione sia, in certa misura, nel contenuto della valutazione stessa, inclusi i quesiti del Background Questionnaire relativi alla numeracy e all’uso di capacità matematiche. Tali questioni della contestualizzazione, autenticità, attitudini e pratiche in ambito numerico si riferiscono tutte alla comprensione del rapporto vitale con il mondo reale, in cui la matematica viene utilizzata

dagli adulti nella loro vita di tutti i giorni e nella loro veste di individui, cittadini, componenti di un nucleo familiare e lavoratori.

La contestualizzazione della matematica si riferisce alla sua connessione profonda con il contesto in cui quest’ultima viene utilizzata. Ciò significa che il modo in cui la matematica viene utilizzata per svolgere un compito dipende sostanzialmente dal contesto, su cui insistono influenze socioculturali che consentono o limitano l'azione in ambito personale, sociale o professionale. In quest’ottica sussiste una chiara distinzione tra le conoscenze matematiche in ambito scolastico, con riguardo a come vengono insegnate, apprese e messe in pratica, e il loro uso al di fuori di tale contesto. La questione dell’autenticità è rilevante per sviluppare le domande del test di PIAAC, poiché attiene a quanto un compito, nell’ambito di una valutazione internazionale come tale indagine, somigli alla situazione di vita reale dalla quale è stato adattato. Gli item dell’indagine PIAAC sono frutto di una ricerca di situazioni e compiti basati su stimoli autentici e della successiva creazione di set di domande relative alle informazioni contenute nello stimolo alle quali qualcuno potrebbe voler ricevere una risposta. I comportamenti e le pratiche di numeracy sono questioni distinte ma complementari. I comportamenti di numeracy si riferiscono alla risposta cognitiva fornita da un individuo in situazioni in cui la matematica è inglobata in un problema del mondo reale, in cui viene richiesta una risposta o un'azione. Le pratiche di numeracy si riferiscono al differente uso della matematica all’interno di un contesto, definito non solo dal problema in sé, ma anche dal contesto fisico e sociale in cui si presenta. Tali questioni vengono ulteriormente approfondite ed esaminate nel documento quadro.

Fondamento della valutazione della numeracy nell’indagine PIAAC

Come si è detto nel Ciclo 1 del framework della numeracy nell’indagine PIAAC (PIAAC Numeracy Expert Group 2009), questo framework, insieme alla descrizione della numeracy, si fonda sul principio secondo cui una valutazione della numeracy nell’indagine PIAAC rappresenta un’operazione essenziale e proficua per quattro motivi distinti ma correlati (ibidem, 8-9):

• la numeracy è essenziale per gli adulti e per le società in cui vivono;

• nella maggior parte dei Paesi, le politiche pubbliche prevedono investimenti

distinti per la literacy e la numeracy;

• la politica e le risposte al programma differiscono, a seconda che si tratti di

• il livello delle capacità di numeracy non può essere adeguatamente misurato mediante strumenti che rilevano il livello di literacy.

Si è sempre considerata una conoscenza di base della matematica e dei calcoli come una delle abilità fondamentali richieste agli adulti per poter svolgere correttamente le proprie attività e raggiungere i loro diversi obiettivi nella sfera quotidiana, professionale e sociale. Come si dimostrerà in seguito nel presente framework, oggi le società presentano ai cittadini di ogni estrazione sociale un numero e una varietà sempre maggiori di informazioni di tipo matematico o quantitativo, in diversi contesti, connessi per esempio ai fattori di rischio per la salute, all’impatto ambientale, alla pianificazione finanziaria e alle assicurazioni, solo per citarne alcuni. A una maggiore presenza di tecnologia sul luogo di lavoro e a un accresciuto coinvolgimento dei lavoratori nel migliorare efficienza e qualità corrisponde un’importanza via via crescente attribuita alla numeracy e alle capacità matematiche. Le capacità connesse alla numeracy si stanno rivelando un fattore chiave nella partecipazione al mercato del lavoro, talvolta anche più delle competenze di literacy. Gli adulti con bassi livelli di numeracy e literacy sono più soggetti alla disoccupazione o a richieste di assistenza sociale. Inoltre, possedere solide capacità di calcolo è considerato essenziale per i livelli di istruzione superiori al secondo grado in vari ambiti, tra cui il comparto scientifico, tecnologico e ingegneristico (Bynner e Parsons 2005; Jones 1995; Hoyles et al. 2002; Jonas 2018; Tout e Gal 2015; NRDC 2006; Benn 1997; Coben

et al. 2000 e 2003; Condelli et al. 2006; Forman e Steen 1999; Gal 2000; Gal et al. 2005; Ginsburg et al. 2006; Johnston 1994; Willis 1990; Tout e Schmitt

2002).

Nella maggior parte dei Paesi, le politiche pubbliche prevedono investimenti distinti per la literacy e la numeracy. Il fatto che le capacità in queste due aree fondamentali vengano acquisite separatamente, è messo in luce sia nella scuola primaria che in quella secondaria, oltre che nella formazione degli adulti e in sistemi di apprendimento informale. I Paesi prevedono che gli investimenti nella literacy e nella numeracy aumenteranno la capacità dei cittadini di agire autonomamente per il loro progresso e la sicurezza del reddito, riducendo così le spese sociali future e contribuendo alla loro partecipazione alla vita economica e sociale in una società così ricca di informazioni.

La politica e le risposte al programma differiscono a seconda che si tratti di numeracy o literacy. Gli sforzi per migliorare i livelli di literacy e numeracy di

specifici gruppi di popolazione non vengono necessariamente attuati con gli stessi meccanismi: spesso richiedono la presenza di esperti, di risorse e di sistemi di apprendimento diversi, a causa delle differenti componenti delle loro conoscenze di base e dei percorsi di apprendimento. È di fondamentale importanza che gli Stati dispongano di informazioni sulla numeracy dei loro lavoratori e cittadini, indipendentemente da altre aree di competenza, così da valutare il capitale umano a loro disposizione per poter progredire, pianificare opportunità di apprendimento scolastico e permanente e comprendere meglio quali fattori incidono sull’acquisizione e l’impiego della numeracy da parte dei cittadini (Johnston e Maguire 2005).

Non è possibile rappresentare i livelli di numeracy della popolazione rilevando esclusivamente le prestazioni di literacy degli individui, ovvero esaminando il loro livello di lettura, di elaborazione, comprensione e comunicazione di vari tipi di testi e documenti. Come riscontrato nell’indagine PIAAC e in altre ricerche che mettono a confronto le competenze e le prestazioni di literacy e numeracy della popolazione adulta, vi sono differenze sostanziali nelle prestazioni, nei risultati e nelle implicazioni/conseguenze relative agli adulti con competenze di numeracy inferiori o superiori rispetto alle loro competenze di literacy (cfr. per es. Bynner e Parsons 2005; Jonas 2018; OECD 2017; Tout e Gal 2015). Come sarà in seguito illustrato nel dettaglio, la numeracy implica, tra le altre cose, non solo la gestione di processi aritmetici, ma anche la comprensione di proporzioni e idee probabilistiche, oltre che di tipologie e rappresentazioni numeriche, geometriche, grafiche e algebriche di informazioni matematiche, insieme all'interpretazione critica di messaggi statistici o matematici. La maggior parte di questi elementi e processi ha poca attinenza con quanto è sotteso alle misure di literacy (Coben et al. 2000; Gal et al. 2005). Ne consegue che una valutazione diretta della numeracy nell’ambito dell’indagine PIAAC può fornire ai decisori politici e alle altre parti interessate una base solida e univoca per valutare la distribuzione delle attuali competenze di numeracy nella popolazione adulta.