come tali. Inoltre, non bisogna dimenticare che PISA nasce e si sviluppa all’interno del proget-to INES. Nell’ambiproget-to, cioè, delle iniziative che hanno per obiettivo la costruzione di indicatori relativi ai diversi sistemi di istruzione dei Paesi OCSE. In qualche modo costituiscono il punto di riferimento per le analisi di tali sistemi sia in un’ottica comparativa, sia — ormai — all’interno dei singoli paesi. I risultati delle rilevazioni PISA sono utilizzati per la costruzione degli indicatori di risultato, che, a partire dalla prima rilevazio-ne del 2000, sono sistematicamente inseriti in Education at a Glance, la pubblicazione che annualmente aggiorna gli indicatori relativi ai sistemi di istruzione. Negli ultimi anni, inoltre, i risultati PISA sono diventati anche la base per la costruzione di parametri di riferimento per le politiche comunitarie europee.
Tutto ciò ha contribuito ad allargare progres-sivamente il numero dei Paesi che partecipano a PISA e ad accrescere il suo peso politico e la sua influenza a livello internazionale (anche in virtù delle politiche seguite da organismi qua-li la Banca mondiale per il finanziamento di progetti nei Paesi cosiddetti in via di sviluppo).
Da questo deriva l’attenzione che a livello di responsabili delle politiche educative e scolasti-che è data a questa indagine.
Le indagini TIMSS e PIRLS sono organizza-te dall’IEA, che — per quanto la situazione al suo interno si sia andata modificando rispetto alle sue origini — nasce e tuttora si caratterizza come un’associazione indipendente di ricerca-tori e di istituti di ricerca in campo educativo.
In Italia, le indagini IEA hanno rappresentato la prima grande — e per un lungo periodo uni-ca — ocuni-casione per sviluppare indagini di tipo valutativo, attraverso la raccolta di dati affida-bili sul nostro sistema di istruzione. In questo modo, le indagini IEA hanno anche contribuito alla crescita di più generazioni di ricercatori in campo educativo. L’indipendenza dell’associa-zione ha costituito probabilmente, in un Paese come il nostro in cui il rapporto tra ricerca e po-litiche nel campo dell’istruzione è stato ed è tra-dizionalmente abbastanza debole, il motivo per cui i risultati delle indagini realizzate dall’IEA (tutte le indagini, non solo TIMSS e PIRLS) non sempre hanno ricevuto l’attenzione dovuta.
I risultati di PISA sono comunque utilizzati a livello internazionale in termini immediata-mente politici. Lo stesso non accade per i risul-tati delle indagini IEA.
In secondo luogo, credo che un altro motivo per cui l’attenzione dedicata a PISA è maggiore sia individuabile nel diverso «oggetto» di PISA rispetto alle indagini IEA. PISA ha l’ambizione di rilevare e misurare le competenze degli stu-denti quindicenni in alcune aree fondamentali dell’istruzione scolastica. Le indagini IEA — seppure con alcune significative modificazioni nel corso degli ultimi anni — hanno per oggetto le conoscenze e le abilità degli studenti. Questa distinzione potrebbe essere oggetto di una lunga discussione. È indubbio, però, che nel momento in cui i curricola scolastici di molti Paesi ten-dono a mettere in primo piano la costruzione e lo sviluppo delle competenze (in un’ottica sia di maggiore continuità con le prospettive del lifelong learning, sia di maggiore integrazione delle economie dei Paesi più industrializzati) l’impostazione di PISA acquisti una maggiore forza di attrazione.
Credo che questi siano i due motivi che di più hanno pesato sulla diversa attenzione prestata a PISA e alle indagini IEA.
Se, però, manteniamo la distinzione tra opi-nione pubblica, responsabili delle politiche scolastiche e addetti ai lavori, è anche vero che il mondo della ricerca educativa ha da sempre guardato con attenzione alle indagini IEA, sia per i loro risultati, sia per le indicazioni meto-dologiche che ne sono scaturite.
D: Con quale periodicità si svolgono le in-dagini comparative? La decisione di svolgerle ogni tre anni o quattro da cosa dipende? Le ragioni sono puramente di carattere tecnico?
Le diverse periodicità rispondono a problemi di sostenibilità da parte dei Paesi partecipanti?
R: La periodicità varia da indagine a indagine:
tre anni per PISA, quattro o più per le indagini IEA. Le decisione è affidata agli organismi re-sponsabili delle indagini: il Governing Board per PISA, l’Assemblea Generale per l’IEA. La periodicità triennale delle rilevazioni PISA è legata all’esigenza di avere dati aggiornati per la costruzione degli indicatori di risultato. La periodicità delle indagini IEA varia da pro-getto a propro-getto. Tra la seconda indagine e la terza indagine sull’educazione civica e alla cit-tadinanza, ad esempio, c’è stato un intervallo di dieci anni, dal 1999 al 2009. Per PIRLS e TIMSS l’intervallo di tempo tra le ultime due rilevazioni delle rispettive indagini è diverso, rispettivamente cinque e quattro anni. Questa diversità è giustificata — per l’ultima rilevazio-ne attualmente in corso — dalla scelta di rea-lizzare le due indagini nello stesso anno e sugli stessi campioni di studenti, almeno per quanto riguarda il quarto anno di scolarizzazione.
Credo che la ripetizione delle rilevazioni a di-stanza di soli tre anni, come nel caso di PISA, ponga più di un problema. Se è vero che questo consente di produrre indicatori aggiornati con una sufficiente frequenza, è altrettanto vero che le dimensioni ormai raggiunte dall’indagine ini-ziano a entrare in contraddizione con intervalli di tempo così ristretti. Di fatto, ogni rilevazione comincia a essere preparata quando ancora non sono stati presentati i risultati della preceden-te. Se questo può essere in parte, ma soltanto in parte, comprensibile dal punto di vista della necessità di avere un flusso di dati costanti per
gli indicatori, non sembra compatibile con l’in-tento dichiarato di offrire ai Paesi partecipanti gli elementi di informazione utili a intervenire politicamente per migliorare i propri sistemi di istruzione. Il continuo aggiungersi di aree di indagine (per il 2012 la financial literacy) e di opzioni differenziate per la somministrazione delle prove complica ulteriormente il quadro.
Credo sia lecito cominciare a chiedersi se que-sta periodicità risponda a effettive esigenze di politica scolastica e educativa dei Paesi o se segua, piuttosto, una logica tutta interna all’in-dagine, che rischia però di confliggere con i tempi di analisi e di elaborazione di scelte di intervento da parte dei singoli paesi.
Il rischio reale è che non ci sia nemmeno il tempo (non voglio dire l’intenzione) di riflettere non soltanto sui risultati delle rilevazioni, ma anche su alcuni aspetti procedurali, su alcune scelte metodologiche e sulla qualità degli stru-menti di rilevazione utilizzati. Mi riferisco, ad esempio, alla scelta operata in PISA 2006 di introdurre i cosiddetti embedded item per la rilevazione degli atteggiamenti o alla qualità dei questionari di contesto utilizzati in PISA 2009. Se è vero che a livello OCSE, tra una rilevazione e l’altra, vengono sviluppati studi di approfondimento tematico e metodologico, è discutibile che i singoli Paesi abbiano effet-tivamente le risorse (scientifiche prima ancora che finanziarie) per sviluppare in tempi ristretti analisi in profondità necessarie, a volta indi-spensabili, a livello nazionale.
A questo si aggiunga il fatto che le risorse che ciascun Paese è chiamato a investire in PISA sono notevoli e crescenti. La periodicità trien-nale tende a far diventare i costi di partecipa-zione una sorta di «spesa fissa» da inserire in bilancio. C’è legittimamente da chiedersi quali siano i livelli di compatibilità con la partecipa-zione ad altre indagini internazionali e con lo sviluppo di sistemi nazionali di rilevazione e valutazione.
D: Le indagini comparative mettono a dispo-sizione una notevole quantità di dati. Può chia-rire l’uso che sarebbe opportuno farne? Come i dati e le spiegazioni offerte dagli organismi
promotori possono favorire cambiamenti rile-vanti dei sistemi formativi? In Italia le evidenze accumulate fino adesso sono state trasformate in decisioni di sistema?
R: Le indagini comparative internazionali han-no come obiettivo dichiarato quello di offrire ai decisori politici le «evidenze» sulle quali fon-dare le proprie scelte, a partire da un confronto con quanto avviene negli altri Paesi partecipanti.
In molti Paesi i risultati delle indagini compa-rative sono effettivamente utilizzati per inter-venti che puntano a migliorare gli aspetti dei sistemi di istruzione che si sono dimostrati più deboli alla luce degli esiti delle rilevazioni. Allo stesso tempo, i risultati e i dati sono utilizzati dalla comunità scientifica per analisi in profon-dità e di secondo livello. La pluralità di indagini
— e delle metodologie adottate — ha costituito uno stimolo in questa direzione, tanto più che le indagini dell’IEA e dell’OCSE sono rivolte a popolazioni diverse e interessano diversi seg-menti dei sistemi di istruzione.
Nel nostro Paese assistiamo a qualcosa di abbastanza differente. Da un lato, i decisori politici interpretano i risultati delle indagini in funzione delle proprie posizioni, spesso ideolo-giche prima ancora che politiche. Si pensi, ad esempio, alle dichiarazioni dei responsabili del-le nostre policy secondo del-le quali PISA avrebbe dimostrato una migliore qualità degli insegnan-ti del Nord rispetto a quelli del Sud. Individuare quali siano i dati PISA che suffragano tale va-lutazione è operazione non facile da compiere.
Altre volte si è dichiarato di voler utilizzare i risultati delle indagini internazionali per scopi che le stesse indagini esplicitamente indicano come non praticabili, ad esempio la valutazione delle singole scuole. In entrambi i casi si tratta di un uso improprio.
Più in generale, quello che colpisce, nel no-stro Paese, è la sistematica non considerazione degli esiti delle indagini nel momento in cui si tratta di intervenire sul sistema scolastico. Mi spiego. Dalle indagini comparative, alle quali il nostro Paese partecipa fin dagli inizi degli anni Settanta del secolo scorso, emergono alcuni ele-menti ricorrenti: le differenze tra diverse aree geografiche del paese; le differenze tra diversi
indirizzi della scuola secondaria di secondo grado; la forte incidenza delle differenze tra scuole, piuttosto che delle differenze all’interno delle scuole; il rapporto tra queste differenze e gli indici socio-economico-culturali (più ancora che degli studenti). Insomma, tutti elementi che concorrono a delineare le caratteristiche di un sistema di istruzione caratterizzato da forti ele-menti di non equità, che canalizza gli studenti in funzione delle loro origini socio-culturali, che non riesce a compensare le differenze in ingresso degli studenti e che anzi le amplifica.
A questo si aggiunga che in tutte le indagini in-ternazionali emerge con nettezza l’associazione tra livelli di prestazione degli studenti e svi-luppo dell’educazione prescolare e dimensioni comprensive dei sistemi di istruzione.
Basterebbe considerare questi aspetti per com-prendere come le nostre politiche scolastiche si muovano e si siano mosse in direzioni tutt’altro che coerenti con il complesso di dati offerto dalle indagini. In modo particolare negli ultimi anni, ma non solo.
La mia impressione è che il vero problema non sia tanto la mancanza di dati valutativi quanto piuttosto il prevalere di impostazioni politico-ideologiche che si muovono in una logica op-posta a quanto la ricerca valutativa suggerisce.
D: Cosa un insegnante può aspettarsi dai dati TIMSS? Potrebbe migliorare la programmazio-ne dei contenuti curricolari? La progettazioprogrammazio-ne e l’intervento didattico? Ad esempio, si potreb-bero cogliere degli spunti per la didattica e la valutazione?
R: Nonostante l’obiettivo dichiarato di contri-buire alla comparazione tra paesi, le indagini internazionali sono comunque ricche di spunti da cui può prendere le mosse la riflessione delle scuole e degli insegnanti per migliorare le prati-che didattiprati-che. Tanto più in considerazione del fatto che l’INVALSI (almeno per quanto riguar-da PISA) restituisce agli istituti partecipanti i propri risultati.
Questo può consentire alle scuole di riflettere sui risultati raggiunti dai propri studenti, di ana-lizzare in quali aree di contenuto o in quali abi-lità si manifestino i punti di maggiore forza o di
maggiore debolezza. In altri termini, i risultati delle indagini internazionali possono essere uno strumento utile per i processi di autovalutazione delle scuole. Il confronto con i risultati delle ri-levazioni nazionali può ulteriormente arricchire questa riflessione.
Inoltre, le indagini internazionali mettono a disposizione delle scuole i quadri concettuali di riferimento e parte degli strumenti utilizzati nelle rilevazioni, tutti i questionari e le prove cosiddette «rilasciate». Una riflessione collet-tiva su questi quadri, sulla loro maggiore o minore congruenza con i curricoli reali effetti-vamente sviluppati dagli insegnanti, unitamen-te a un’analisi degli strumenti di rilevazione, possono costituire un momento di crescita del-la competenza valutativa dei docenti. Pur neldel-la consapevolezza della necessità di ricorrere a prove differenziate in relazione agli obiettivi, alle funzioni e agli «oggetti» della valutazio-ne, l’analisi sulle prove utilizzate nelle indagini internazionali può costituire un momento im-portante di riflessione sulle pratiche valutative adottate nelle classi e nelle scuole e contribuire, in questo modo, a un miglioramento progressi-vo dei metodi di valutazione.
In questo lavoro di analisi e di riflessione da parte delle scuole, è comunque importante te-nere presente la diversità di impostazione tra PISA e le indagini IEA.
In queste ultime, le rilevazioni partono dall’analisi dei curricoli esistenti nei Paesi partecipanti, dal confronto tra i curricoli di-chiarati e quelli reali, dall’individuazione delle effettive opportunità di apprendimento offerte agli studenti.
In PISA il punto di partenza è di carattere
«prescrittivo», si riferisce cioè alle competenze (le literacy) necessarie agli studenti per prose-guire nei loro studi o per affacciarsi sul mondo del lavoro, in una prospettiva comunque di ap-prendimento per tutta la vita. Questa distinzione va tenuta presente nell’analisi sia dei risultati, sia dei quadri concettuali, sia degli strumenti di rilevazione.
Per quanto riguarda TIMSS in particolare, le indicazioni per la didattica e la valutazione nel campo dell’insegnamento delle scienze e della
matematica sono molteplici, da vari punti di vista: procedure didattiche, preparazione de-gli insegnanti, variabili di contesto scuola. Il fatto che nelle indagini IEA — quindi anche in TIMSS — sia somministrato anche un que-stionario insegnanti rappresenta un’ulteriore ricchezza in termini di dati che esso mette a disposizione delle scuole.
D: Infine, quali differenze o analogie sostanziali coglie tra le prove IEA-TIMSS e PIRLS e le prove INVALSI proposte nell’am-bito del Sistema Nazionale di Valutazione?
È difficile fare un confronto tra le prove TIMSS e PIRLS e le prove INVALSI senza premettere che dietro le prove IEA ci sono anni di lavoro e di esperienza, il contributo di alcuni dei migliori esperti internazionali, risorse me-todologiche e finanziarie neanche lontanamente comparabili a quanto l’INVALSI può mettere in campo. Oltre che difficile, non sarebbe neanche corretto. Detto questo, possono essere identi-ficati alcuni elementi di somiglianza e alcune profonde differenze.
Risulta abbastanza evidente come l’INVALSI, ad esempio, abbia cercato almeno negli ultimi anni di ricalcare in qualche misura le modalità di lavoro seguite a livello internazionale: pro-duzione di quadri concettuali di riferimento, costruzione su questa base delle prove, mappa-tura delle singole domande a partire dai quadri concettuali. Questo modo di procedere, sicura-mente utile in una fase iniziale di impostazione delle rilevazioni nazionali, potrebbe rivelarsi in prospettiva poco produttivo in termini di elaborazione di nuove idee e di nuovi model-li valutativi. Riprodurre modelmodel-li consomodel-lidati, per quanto utile, potrebbe in prospettiva non rivelarsi una scelta necessariamente vincente.
Comunque, allo stato attuale, questa modalità di lavoro contribuisce se non altro alla traspa-renza delle procedure adottate e consente di analizzare i risultati conseguiti nelle rileva-zioni in rapporto agli apparati metodologici e strumentali utilizzati.
Altrettanto evidente è una certa ambiguità entro cui si collocano le prove INVALSI, de-terminata dalla non chiarezza sul «che cosa»
queste prove debbano rilevare e misurare: solo conoscenze e abilità o anche competenze? Le direttive ministeriali e i vari documenti prodotti in questi anni non hanno contribuito a fare chia-rezza su questo aspetto e ciò costituisce, a mio parere, un problema per lo stesso INVALSI che a tali direttive e documenti è vincolato.
Detto questo, la principale differenza riscon-trabile tra le prove IEA e quelle INVALSI è individuabile a mio parere, prima ancora che nella qualità delle prove stesse, nel fatto che nelle indagini IEA — si pensi a PIRLS — vie-ne somministrato agli studenti un numero ab-bastanza elevato di domande che vertono tutte sulle stesse abilità o su abilità specifiche ricon-ducibili ad ambiti generali comuni. Nelle prove INVALSI — soprattutto in quelle di italiano
— un minor numero di domande si disperde su diversi contenuti e abilità (dalla compren-sione della lettura alla grammatica, per fare un esempio). Con tutto quello che ne consegue in termini di possibili analisi dei risultati. Credo che questo aspetto spieghi perché, nella presen-tazione dei risultati delle rilevazioni INVALSI, si faccia ricorso alle percentuali di risposta cor-rette piuttosto che alla individuazione di livelli di prestazione. La lettura dei rapporti tecnici elaborati dall’INVALSI sembra giustificare questa interpretazione. Così come sembra in-dicare alcuni elementi di debolezza delle prove stesse. Su questo ultimo aspetto andrebbe aper-ta una discussione approfondiaper-ta sui processi di item development utilizzati dall’INVALSI per la costruzione delle prove, rispetto ai quali le informazioni disponibili sono abbastanza li-mitate.
Un’altra differenza abbastanza evidente è quella relativa all’incidenza delle domande a risposta aperta, fino allo scorso anno pratica-mente nulla nelle prove INVALSI. È una dif-ferenza probabilmente legata — ancora una volta — alle risorse di cui l’INVALSI può effettivamente disporre. Credo, però, che sia legittimo cominciare a chiedersi perché si con-tinui a insistere con rilevazioni fatte sull’intera popolazione piuttosto che procedere con rileva-zioni campionarie, viste le limitate disponibilità finanziarie. Questa domanda riguarda ancora
una volta le direttive e le politiche ministeriali più che l’INVALSI, ma certo non è possibile non chiedersi quale sia il senso di rilevazioni su scala così larga se non è possibile elaborare e utilizzare strumenti di rilevazione adeguati.
Fino a quando dei risultati delle rilevazioni nazionali verrà fatto l’uso attuale, la consapevo-lezza di questi limiti non può che costituire un punto di partenza per superarli e per costruire in prospettiva prove sempre migliori. Se si de-cidesse di utilizzare i risultati delle prove per valutare i docenti e le scuole o per misurare il
«valore aggiunto» la qualità e la validità degli strumenti non potrebbero non essere poste in primo piano.