IL FRAMEWORK DEI QUESTIONARI DI PISA

I questionari PISA sono sviluppati prendendo come riferimento il modello del programma INES (Fig. 3.1), che rappresenta uno schema concettuale per ordinare tanto le variabili e gli indicatori individuati attraverso gli strumenti cognitivi, quanto quelli raccolti grazie ai questionari di contesto.

Il modello mette in evidenza i diversi livelli e i differenti soggetti che costituiscono un sistema educativo.

«What is described here is a constellation of institutions and actors at different levels that constitute an educational system. The interactions among these are complex and not fully understood, yet each level is important in shaping educational policy and probable education outcomes» (OECD, 2009a, p. 152).

59 Il programma INES, a sua volta, prende spunto dal modello concettuale CIPP (Context – Input – Process - Product)7, il quale si basa sull’assunto che una valutazione dei risultati deve necessariamente tener conto del contesto, degli input e dei processi. Nell’ambito del modello CIPP, gli “indicatori di contesto” sono rappresentati dalle condizioni dell’ambiente scolastico che si pensa possano influenzare il rendimento scolastico, tra queste: la spinta al raggiungimento di livelli elevati di rendimento, la domanda di educazione da parte delle famiglie, il coinvolgimento della comunità locale (ad es., alla gestione della scuola) e quello dei genitori nella definizione degli obiettivi della scuola, delle attività extracurricolari, ecc.; gli “indicatori di input” fanno riferimento alle risorse finanziare (ad esempio, la spesa per studente), materiali (ad esempio, il rapporto computer/studenti) e umane di una scuola (la qualifica e l’esperienza degli insegnanti di una scuola).

Le condizioni sotto il diretto controllo del Dirigente scolastico e del personale della scuola rappresentano gli “indicatori di processo”, tra queste: le politiche della scuola in materia di risultati, lo stile di direzione della scuola da parte del dirigente scolastico, un clima ordinato e sicuro, un uso efficiente del tempo, il curricolo della scuola e le opportunità di apprendimento offerte agli studenti, la valutazione degli studenti e della qualità dell’insegnamento. Infine, gli “indicatori di product/outcome” sono indicatori di risultati misurati alla fine di un periodo di istruzione, considerati al netto delle caratteristiche proprie degli studenti. Ne costituiscono un esempio, i risultati degli studenti nelle materie base, al netto degli apprendimenti precedenti e dello status socioeconomico e culturale, oppure i tassi di abbandono scolastico.

Occorre sottolineare che il modello non si prefigura come un modello deterministico in cui i risultati esprimono un rapporto di causa/effetto tra le variabili, ma piuttosto come schema o approccio concettuale, in quanto la definizione di una teoria in grado di spiegare in termini statistici tutte le relazioni esistenti tra i diversi fenomeni in campo educativo risulta essere una operazione estremamente complessa, a causa delle moltissime variabili che possono intervenire nel generare tali fenomeni8_.

7

Stufflebeam, D. (1971).

60

Figura 3.1.Modello INES

Indicatori di output (esempi) Indicatori di input e di processo (esempi) Indicatori di contesto e condizioni antecedenti (esempi)

A livello di individuo Risultati di

apprendimento in lettura

Tempo dedicato agli esercizi di lettura

Capitale culturale

A livello classe Media dei risultati in lettura per livello o classe

Insegnamento strutturato

Composizione della classe in termini di status socio-economico

A livello di istituzione educativa

Media dei risultati in lettura per scuola

Leadership educativa Composizione della scuola in termini di status socio-economico A livello di sistema

educativo

Media dei risultati in lettura a livello nazionale Potenziale della valutazione a livello nazionale Variabilità culturale

Fonte: traduzione e adattamento da OECD, Questionnaire Framework for Pisa 2009.

Il modo in cui tale modello è organizzato e la complessità delle interazioni tra i differenti livelli presi in considerazione richiama, per alcuni aspetti, il concetto di learning environment di Scheerens.

«Virtually all aspects and elements of national educational systems can be seen as part of “the learning environment” and be expected to have an impact on educational outcomes. Even characteristics that are deeply rooted in the national culture as well as basic values with respect to learning and education have been used to explain differences in educational achievement between nations. The same can be said of important structural differences in the organization of whole sectors of national education systems, for example, whether lower secondary schools are comprehensive or categorical, and whether or not vocational education at upper secondary level is organised in a “dual system”, where part of the training occurs in the workplace. Environmental factors can be distinguished according to the degree to which they are malleable or appear to be given, that is to say, determined by history or societal and demographic aspects that are beyond the control of educational or even government policy. A second characteristic of environmental factors is the level of aggregation at which the factors are defined. Educational systems can be depicted as a set of nested boxes. National policy measures, and structural and cultural aspects of the national system are the outermost box, moving inward towards state, provincial or regional characteristics, local (i.e. municipal) conditions, the level of schools and educational organizations, the level of the classroom and, finally, the level of the individual student.» (Scheerens, J., 2000b, p. 139).

La figura 3.2 descrive il modello analitico dei questionari PISA. Tale modello presenta due dimensioni: la prima riferita alle caratteristiche dei soggetti e agli aspetti principali del

61 sistema educativo, rappresentati a livello di sistema scolastico nazionale, a livello di istituto, a livello di ambiente in cui si realizza il processo di insegnamento/apprendimento e a livello di singoli individui che prendono parte al processo educativo; la seconda, agli aspetti relativi ai prodotti, ai risultati e ai processi, agli input e alle condizioni preesistenti o di contesto.

Le informazioni al livello più generale (Livello 4), quello cioè relativo a un sistema scolastico nel suo complesso, permettono di descrivere, in maniera comparativa, i sistemi educativi e di analizzare le eventuali relazioni tra risultati (educational outcomes)9 _{e condizioni complessive} che caratterizzano il sistema educativo. È a questo livello che le politiche educative di un singolo paese, relative ad esempio ai metodi di accountability, alla distribuzione delle risorse per l’educazione e agli investimenti di una società nell’istruzione10_{, così come forme di} decentralizzazione quali l’istituzione di scuole statali e non statali11 _{possono avere effetti} rilevanti sui livelli di rendimento degli studenti e sull’equità nel conseguimento dei risultati. Il livello 4 comprende fenomeni presenti nella società o caratteristiche degli individui di una società e che possono riflettersi sull’organizzazione del sistema educativo di un paese, sull’organizzazione delle scuole e sui risultati delle scuole e degli studenti. La presenza di immigrati12 _{e le diverse forme di interventi educativi che la distinzione in immigrati di I e di II} generazione richiede, così come le condizioni socio-economiche degli individui ne sono un esempio.

«Student learning in low social class schools is far more sensitive to school factors than in middle and high social class schools. […] students attending low social class schools continued to learn at significantly slower rates.» (Palardy, 2008, p. 21)

Il livello 3 del modello è rappresentato dalle scuole. É a questo livello che i diversi soggetti coinvolti nel processo di istruzione, le loro caratteristiche e quelle del contesto in cui si trovano e le politiche educative di un paese interagiscono tra loro.

L’organizzazione delle scuole varia da paese a paese, ma anche all’interno di un singolo paese i risultati degli studenti possono variare in funzione di questa organizzazione, dei soggetti che al loro interno operano e delle pratiche che mettono in essere. PISA raccoglie informazioni in

9 _{OECD, 2009a.}

10 _{I sistemi di finanziamento dell’istruzione sono uno degli indicatori della pubblicazione dell’OCSE Education at}

a Glance.

11 _{Si veda Bryk et al., 1993; Coleman & Hoffer, 1987; Lee & Bryk, 1989; Lee & Smith, 1997.}

12 _{Il Rapporto dell’OCSE Where Immigrant Students Succeed – A Comparative Review of Performance and}

Engagement in PISA 2003 (OECD, 2005) mette in evidenza la relazione tra background di immigrato e le performance degli studenti.

62 merito agli aspetti citati e studia le relazioni tra aspetti quali la leadership scolastica13_{, le} dimensioni della scuola, la composizione degli studenti iscritti, le attività proposte agli studenti e le performance degli studenti14_.

Il secondo livello è quello che raccoglie informazioni in merito al luogo in cui si realizza il processo di insegnamento/apprendimento: la classe. A questo proposito, PISA rileva informazioni in merito alle dimensioni della classe e alla sua composizione, in quanto classi con pochi studenti consentono, ad esempio, una maggiore attenzione da parte degli insegnanti nei confronti dei singoli studenti e maggiori opportunità di partecipazione degli studenti alle attività proposte, mentre la composizione in termini di provenienza socio-economica degli studenti e di presenza di immigrati può incidere sulle aspettative degli insegnanti e sugli obiettivi che essi si propongono di perseguire15_{; in merito alla qualità degli insegnanti}16 _{e alla} loro esperienza e formazione, al clima di classe e alle opportunità di apprendimento.

Al primo livello troviamo gli studenti. Le loro esperienze anche fuori dalla scuola, le differenze legate all’ambiente domestico e alle risorse educative offerte loro sono determinanti sia rispetto ai livelli di rendimento, sia rispetto ai loro atteggiamenti nei confronti dell’apprendimento.17

«More educated parents are able to provide a richer set of oral and written literary experiences which contribute to the education of their children both before their children begin school and during school. They are also able to provide more access to written materials for reading as well as travel and other resources that engage their child’s curiosity. By the age of 15 it is not only the accumulated effects of schooling that contribute to their children’s reading proficiencies, but also the experiences that take place in the home. One of the main purposes of gathering student data on family background is to take into account these influences on learning which are not attributable to the school.» (OECD, 2009a, p. 161 ).

Le informazioni del Framework di PISA, ritenute necessarie ai fini di una lettura approfondita dei risultati degli studenti e sopra citate, sono raccolte attraverso un questionario scuola e un questionario studente. Occorre ricordare che il questionario genitori è una opzione internazionale e quindi viene somministrato solo in alcuni paesi. Una descrizione dettagliata delle variabili indagate attraverso il questionario scuola è presentata nel paragrafo che segue.

13_{Nelle conclusioni del Council on efficiency and equity in education and training}13 _{si legge che la qualità della}

school leadership è uno dei fattori fondamentali per il conseguimento di alti livelli di apprendimento.

14 _{Cfr, OECD, 2009a.} 15

Cfr. OECD, 2009a.

16 _{Si veda, a questo proposito, McKinsey & Co (2007), How the world’s best performing school systems come out of}

top. http://mckinseyonsociety.com/how-the-worlds-best-performing-schools-come-out-on-top/

17

63

Figura 3.2.Modello analitico dei questionari PISA 2009

Livello 2

Antecedenti 1: politiche e contesto di istituto

Contesto e clima della classe

Insegnamento _{Output a livello}

di classe Antecedenti 2: caratteristiche dell’insegnante Caratteristiche del sistema scolastico Livello 1 Motivazione dello studente Antecedenti 1: insegnamento e contesto della classe

Processi di apprendimento Output a livello di studente Antecedenti 2: caratteristiche demografiche dello studente Livello 3 Caratteristiche dell’istituto Antecedenti 1: politiche nazionali e caratteristiche del sistemascolastico Gestione e organizzazione dell’istituto Output a livello di istituto Antecedenti 2: contesto di istituto Contesto nazionale Livello 4 Politiche

nazionali Output a livello di sistema scolastico

Caratteristiche del sistema scolastico

64