Progetto Nazionale Qualità e Merito – PQM-
Rapporto finale della prima fase di progetto
Sommario
Presentazione... 4
Parte prima ... 6
Le linee teorico-metodologiche ... 6
Introduzione ... 6
Le caratteristiche generali del Progetto Qualità e Merito ... 7
Finalità, obiettivi del progetto e struttura ... 8
L’implementazione del programma... 11
I materiali di supporto per la stesura dei piani di miglioramento ... 12
I piani di miglioramento ... 14
Il metodo d’indagine ... 15
I compiti dell’INVALSI nel progetto ... 16
Le fasi del progetto nell’a.s. 2009 - 2010 ... 17
Parte seconda. L'analisi dei dati. ... 20
Premessa ... 20
Caratteristiche delle scuole e delle classi PQM ... 20
Caratteristiche degli studenti PQM ... 21
3
Quadro teorico di riferimento ... 29
Le analisi preliminari: attendibilità, unidimensionalità delle misure e correlazioni con gli apprendimenti ... 31
Conclusioni ... 39
Appendici ... 40
Appendice A - Esempi di “Buona pratica di piano di miglioramento”... 41
Allegati ... 61
Allegato 1 ... 61
RELAZIONE TECNICA RELATIVA ALLA CONVENZIONE PROT. INVALSI 0009346 DEL 27.10.2010 ... 61
Allegato 2 - Pre-test PQM di matematica a.s. 2009-2010... 87
Presentazione
Il progetto Qualità e Merito (PQM-PON si colloca all’interno del piano pluriennale di interventi per il potenziamento degli apprendimenti di base previsto per il triennio 2009/2012. Tale piano è finanziato dal Fondo Sociale Europeo Programma Operativo Nazionale (PON-FSE) “Competenze per lo Sviluppo” nell’ambito dell’obiettivo/azione A.2 “Definizione di strumenti e metodologie per l’autovalutazione/valutazione del servizio scolastico inclusa l’azione diagnostica”.
Il piano si configura come un quadro di interventi integrati, che non riguardano esclusivamente la formazione, rivolti ai docenti delle scuole secondarie di primo grado. Lo scopo principale che guida il progetto e ne sottende la filosofia di intervento è la creazione nella scuola italiana di un meccanismo di circolarità, virtuosa che riesca a operativizzare un’istanza fortemente sentita, ovvero la necessità di formare una rete di scuole che sia autonoma produttrice di materiali didattici e riesca a utilizzare i test INVALSI come uno strumento di diagnosi e di progettazione didattica.
In linea con tale istanza il Piano si è posto un duplice obiettivo, ovvero: dare un contributo alla costruzione di un sistema di misurazione e valutazione teso al miglioramento del sistema educativo; innescare processi virtuosi di miglioramento nella scuola coniugando il lavoro in gruppo, la formazione degli insegnanti e la valutazione degli studenti. PQM è stato quindi progettato per migliorare la qualità dell’insegnamento e dell’apprendimento. Tale miglioramento è perseguito incentivando la responsabilizzazione delle scuole attraverso lo sviluppo e la diffusione di un sistema di coaching innovativo per migliorare la didattica e promuovere l’utilizzo dei dati prodotti dall’INVALSI come strumenti utili nella pratica didattica dell’insegnante. Allo stesso tempo il progetto PQM rappresenta per il decisore politico uno strumento su cui basare scelte future all’interno di un’area di studio oggi molto vivace, in risposta alla necessità di migliorare il sistema scolastico italiano. L’efficacia di una politica, infatti, è il risultato di un processo che si avvia con il disegno del programma e si sviluppa attraverso la fasi di implementazione e partecipazione degli utilizzatori, nonchè mediante il coordinamento dei differenti attori.
Il Piano non propone, quindi, una formazione professionalet radizionale, esclusivamente content focused, ma una formazione polivalente che mira, al contempo, sia a fornire ai docenti strumenti di diagnosi ed elementi di progettazione didattica e metodi didattici innovativi sia a valorizzare la dimensione collegiale della crescita professionale dei docenti partecipanti per le scuole ammesse a questa esperienza.
L’attuazione dell’intero progetto ha occupato un triennio, dall’a.s. 2009 2010 all’a.s. 2011-2012, e si è sviluppata secondo una sequenza di tre fasi di lavoro. La prima fase ha investito docenti dell’ambito matematica, le successive hanno interessato anche l’ambito italiano.
ha riguardato il solo ambito disciplinare matematica1. Oltre a presentare il quadro concettuale e metodologico sotteso all’intero progetto, il documento descrive lo svolgimento di questa prima fase di lavoro e i risultati delle elaborazioni.
1
Parte prima
Le linee teorico-metodologiche
Introduzione
Il progetto PQM, Piano Nazionale Qualità e Merito, risponde alla necessità fortemente condivisa in questo momento storico-sociale di migliorare il sistema scolastico italiano. Nella società odierna misurare e investire sul capitale umano diviene, infatti, un obiettivo primario per lo sviluppo di un paese. Il possesso di una migliore dotazione di capitale umano è oggi ancora più importante di quando non fosse nel passato, sia per le singole persone sia per la collettività2. Al capitale umano, infatti, si associano sia capacità realizzative per una migliore produzione beni e servizi sia la capacità di produrre innovazione3
La misurazione del capitale umano e lo studio sulle modalità di incremento del suo sviluppo sono oggetto di un dibattito molto acceso. A livello internazionale si pongono questo obiettivo tre importanti indagini, attraverso i cui risultati è possibile operare un confronto tra sistemi scolastici di diversi paesi:
.
• TIMSS (Trend in International Mathematics And Science Study), che rileva le conoscenze in matematica e scienze;
• PIRLS (Progress in International Reading Literacy Study), che approfondisce le competenze in lettura;
• PISA (Programme for International Student Assessment), che ha come obiettivo principale la verifica di competenze e abilità, compresa quella alfabetica, degli studenti quindicenni4
Le prime due indagini sono condotte da IEA (International association for the Evaluation of Educational Achievement) sugli studenti che frequentano la quarta e l’ottava classe (corrispondenti in Itali alla classe quarta della scuola primaria e alla classe terza della scuola secondaria di primo grado); la terza indagine, invece, è condotta dall’OCSE (Organizzazione per la Cooperazione e lo Sviluppo Economico) sugli studenti quindicenni dei paesi aderenti (è l’età che si avvicina in tutti i paesi alla fine dell’obbligo scolastico).
.
2
Per capitale umano si intende l’insieme di conoscenze e competenze degli individui, il bagaglio del sapere e del saper fare da questi posseduto; tale bagaglio include sempre di più anche la capacità del saper innovare. Questo capitale deriva dal concorso di più fattori, quali il patrimonio di ciascuna persona in termini di capacità e attitudini innate, l’ambiente familiare e sociale in cui la persona cresce (valori appresi, stili di attaccamento, fattori di rischio e protezione) e dalle scelte fatte che l’individuo ha fatto nel corso del tempo per incrementare il proprio capitale umano (l’istruzione, le attività svolte nel tempo libero ecc.). In tal senso, specie negli ultimi decenni, il sistema scolastico è diventato un nodo centrale per lo sviluppo del capitale umano di un paese.
3
Cfr. Cipollone, P., & Sestito, P. (2010). Il capitale umano. Bologna: Il Mulino.
4
Queste ricerche misurano le competenze degli studenti nel modo più obiettivo possibile; i risultati sono perciò comparabili come un output del sistema scolastico e dunque possono essere assunti come una prova della sua efficacia. La comparabilità tra i partecipanti è resa possibile da un processo articolato, che permette di avere il medesimo set complessivo di quesiti in tutti i paesi; sulla base di questo le prove vengono formate e somministrate a campioni di studenti.
Benché l’Italia sia riuscita negli ultimi anni a compiere notevoli passi avanti per quel che riguarda il livello di istruzione della popolazione in termini di “quantità”, cioè di numerosità degli studenti che arrivano a partecipare alla scuola secondaria superiore, rimane ancora aperta la questione sulla qualità del sistema scolastico e sul ritardo nell’acquisizione delle competenze - in termini di capacità di utilizzare le conoscenze e le abilità in contesti che riguardano la vita quotidiana - da parte degli studenti italiani stessi5. I risultati che emergono da queste ricerche per l’Italia non sono molto confortanti; evidenziano, infatti, un certo ritardo del nostro Paese (soprattutto in alcune aree maggiormente depresse) nel raggiungimento degli obiettivi indicati in sede europea (ET2020) come prioritari per i sistemi di istruzione e formazione6
• l’estensione massima della scolarità;
, ovvero: • la riduzione dei tassi di dispersione e di abbandono;
• un miglioramento dei livelli di conoscenze e competenze.
Le caratteristiche generali del Progetto Qualità e Merito
Il Progetto Qualità e Merito (PQM) ha coinvolto quattro regioni dell’Obiettivo Convergenza, cioè Calabria, Campania, Puglia e Sicilia, ed è particolarmente rilevante in quanto ha sviluppato una forte sinergia a livello sistemico tra i maggiori attori a livello nazionale: MIUR, INDIRE, INVALSI.
Il progetto PQM-PON ha mirato al potenziamento degli apprendimenti nell’area logico-matematica e/o in italiano nelle scuole secondarie di primo grado e si è proposto il conseguimento dei seguenti obiettivi generali:
• sviluppare e diffondere nelle scuole un sistema di valutazione mirato al miglioramento del sistema educativo;
• sviluppare e diffondere un sistema di coaching innovativo per ptenziare la didattica, valorizzando il modello di rete sia in senso verticale che in senso orizzontale;
• ptenziare la qualità dell’insegnamento e dell’apprendimento, per diffondere competenze professionali e best practices;
• aumentare la responsabilizzazione delle scuole sull’apprendimento.
5
Cfr. Il Quaderno Bianco sulla Scuola, 2007, Gruppo interministeriale del Ministero dell’Economia delle Finanze, Ministero della pubblica istruzione e Ministero dello sviluppo economico.
6
Education & Training 2020 è la nuova strategia di cooperazione europea che fissa il programma di lavoro degli Stati membri per il decennio 2011-2020.
PQM si è proposto come un piano di formazione pluriennale: le scuole che vi hanno partecipato, selezionate secondo una graduatoria7, hanno individuato due docenti (chiamati “tutor di istituto”) le cui classi prime sono entrate a far parte del progetto fino al completamento del ciclo. La struttura della formazione è stata di tipo blended, in quanto ha previsto una parte di formazione in presenza e una parte on-line. Il monte-ore dedicato alla formazione è stato di sessanta ore circa, trenta delle quali da svolgere in presenza. All’inizio del progetto, le scuole partecipanti sono state raggruppate in una rete di cinque istituti, così da formare un gruppo di dieci docenti a cui erogare la formazione in presenza. Ogni rete è stata seguita da un tutor “di progetto”, docente esperto nelle varie fasi di PQM (letture delle prove INVALSI, utilizzo dei materiali, utilizzo della piattaforma) precedentemente formato da INIDIRE, al quale è spettato il compito di progettare, erogare e gestire tutta l’attività di formazione destinata ai docenti.
Nel progetto PQM i test nazionali INVALSI (i cui compiti specifici nel progetto saranno presentati in un successivo paragrafo) sono diventati l’opportunità per guidare gli insegnanti a una riflessione dalla quale trarre informazioni sulla propria classe. Queste hanno costituito la base di sviluppo per la progettazione di azioni di miglioramento della didattica, da realizzare anche (e auspicabilmente) attraverso la creazione di situazioni di collaborazione tra insegnanti.
Finalità, obiettivi del progetto e struttura
Gli obietti operativi su cui si è imperniato il progetto PQM sono:
• migliorare la qualità dell’insegnamento diffondendo competenze professionali adeguate e buone pratiche;
• potenziare la qualità dell’apprendimento, utilizzando approcci metodologici innovativi;
• aumentare la responsabilizzazione delle scuole e dei genitori sui risultati dell’apprendimento;
• costruire una cultura di test nazionali standard in linea con le migliori pratiche internazionali;
• definire obiettivi di miglioramento delle scuole e avviare un processo di vera autonomia responsabile8.
7
La graduatoria è stata costruita utilizzando tre indicatori: numero di abbandoni, numero di ripetenti e numero di studenti bocciati nell’anno scolastico precedente. Il punteggio in graduatoria ha mirato a premiare gli istituti con un punteggio più alto (ossia quelle in stato di maggiore difficoltà) tra le scuole che hanno fatto domanda.
8
Le ricerche recenti sull’efficacia scolastica evidenziano un aspetto piuttosto importante, che non deve essere trascurato, ovvero che l’effetto della classe spiega il 40-50% del miglioramento
La struttura del progetto
Il progetto PQM è stata strutturato in modo da promuovere l’utilizzo di misurazioni standardizzate esterne degli apprendimenti degli studenti come strumento informativo per:
• la definizione di priorità di formazione per gli studenti;
• l’identificazione di strategie di recupero/potenziamento dell’aree indagate (per il primo anno solo per quella logico-matematica, mentre nelle successive annualità anche per l’italiano);
• l’individuazione della necessità di formazione tra pari per il miglioramento del processo di insegnamento e la diffusione di buone pratiche;
• la programmazione di acquisto materiali ritenuti utili o la produzione di materiale proprio.
A fine anno scolastico la misurazione standardizzata degli apprendimenti costituisce poi un momento di analisi del percorso svolto per:
• misurare il miglioramento dei risultati nel corso dell’anno; • informare il processo diagnostico per l’anno successivo.
Nella strategia delineata dal progetto, inoltre, la lettura dei risultati degli studenti ha lo scopo di attivare una serie di processi utili a favorire lo sviluppo e il miglioramento della cultura sulla valutazione e la didattica all’interno dell’istituto scolastico. In particolare questi processi sono:
• il potenziamento della didattica in matematica (attraverso i moduli previsti nel piani di miglioramento);
• la formazione degli insegnanti (effettuata tramite un sistema di coaching tra pari tra tutor di progetto e di istituto, o tra tutor di istituto e altri docenti della scuola, con la condivisione di strumenti, materiali, e buone pratiche);
• la produzione di materiale utile alla formazione degli studenti o al miglioramento della didattica, oltre quello fornito dagli esperti - da utilizzare sia in orari extracurricolare che curricolare - al fine di portare ulteriori elementi di innovazione. Di questi materiali si parlerà in un successivo paragrafo.
La struttura del progetto e gli elementi fondamentali lo caratterizzano sono presentati sinteticamente in Figura 1.
Figura 1. La struttura del progetto
Attori del progetto e sinergie
Un altro elemento che rende il Piano Qualità e Merito particolarmente rilevante a livello nazionale è dato dalla forte sinergia che ha sviluppato tra i maggiori attori istituzionali italiani in tema di valutazione e formazione nella scuola, ovvero:
• il Ministero dell’Istruzione, dell’Università e della Ricerca (l’Autorità di gestione del PON per le regioni obiettivo convergenza; la Direzione Generale per gli ordinamenti scolastici e per l’autonomia scolastica per le regioni centro nord e la Direzione del personale scolastico);
• INDIRE (Istituto Nazionale di Documentazione, Innovazione Ricerca Educativa), che ha curato la programmazione complessiva di PQM e la formazione dei tutor di progetto;
• INVALSI che ha predisposto le prove ed elaborato i risultati iniziali e finali.
La collaborazione sistemica di questi enti nelle diverse fasi del progetto ha implicato uno sforzo notevole di condivisione di linguaggi, obiettivi, tempi e modalità di lavoro. Nel progetto, infatti, sono stati coinvolti molti attori, quali:
• i tutor di istituto, cioè i docenti che effettuano gli interventi con gli studenti (gli attori principali del progetto);
• i tutor di progetto, ovvero gli insegnanti come i tutor di progetto, ma selezionati e formati da INDIRE per accompagnare i colleghi nella fase di autodiagnosi e miglioramento degli apprendimenti, in un processo appunto di tutoring tra pari; • gli esperti nazionali e internazionali che producono materiale didattico e
metodologico per accompagnare le varie fasi del progetto;
• il gruppo regionale di progetto che coordina le attività e promuove PQM a livello regionale.
PQM, dunque, ha avuto l’ambizione di coinvolgere diversi enti e differenti attori uniti nel comune obiettivo di migliorare gli apprendimenti degli studenti e dunque aumentare l’efficacia del sistema scolastico.
L’implementazione del programma
I destinatari del progetto e la selezione delle scuole
Come si è visto, PQM si inserisce nella cornice dei progetti finalizzati al potenziamento degli apprendimenti nella scuola dell’obbligo italiana, passo prioritario per la formazione del capitale umano di un paese9
Nel primo anno ha coinvolto 312 scuole delle regioni obiettivo Convergenza e 79 scuole dell’Italia Centro-Nord.
.
Il motivo della partecipazione di un numero così elevato delle scuole del Mezzogiorno rispetto al Nord Italia è legato al fatto che all’interno della programmazione nazionale per il settennato 2007- 2013, coerentemente con gli obiettivi definiti nel Quadro Strategico, si è deciso di investire parte dei fondi PON in istruzione. Sono state così sviluppate azioni di supporto alle scuole per la promozione di competenze ritenute fondamentali nello sviluppo del Paese in generale e del Mezzogiorno in particolare. Nelle regioni dell’Obiettivo Convergenza sono stati attivati interventi centralizzati, finalizzati a migliorare l’efficacia della programmazione curriculare e dei processi formativi, che hanno coinvolto diversi aspetti del servizio scolastico (apprendimento degli studenti, formazione dei docenti, ampliamento dell’offerta formativa).
L’adesione a PQM è avvenuta su base volontaria nel corso dell’estate del 2009. Tuttavia, non a tutte le scuole è stata data l’opportunità di partecipare, in quanto le risorse stanziate dal PON per l’avvio di PQM, nel 2009-2010 permettevano l’ingresso di circa 300 scuole. La Tabella 1 mostra la situazione, nelle regioni PON, del numero di scuole che han fatto richiesta e del numero di scuole accettate per l’avvio della sperimentazione.
Tabella 1 Numerosità domande presentate dalle scuole eleggibili e accettate Selezione delle scuole
per Regione
N. scuole eleggibili Domande PQM Domande accettate
Calabria 280 61 47
Campania 608 190 108
Puglia 378 126 79
Sicilia 575 126 78
Totale 1841 503 312
Come si può notare in Tabella 1, l’adesione delle scuole per poter fare parte della sperimentazione è stata massiccia, dato che un quarto circa del totale delle scuole pubbliche delle regioni PON ha fatto domanda di partecipazione. Queste scuole hanno comunicato anche le informazioni utili per stilare la graduatoria, ossia il numero di studenti ripetenti, bocciati nell’a.s. 2008-2009 e il numero di abbandoni precoci in rapporto al totale degli studenti della scuola. La graduatoria ha fatto in modo di favorire le scuole in situazione di maggiore difficoltà tra quelle che avevano presentato domanda.
Un secondo processo di selezione è avvenuto a livello dei docenti: la possibilità di partecipare, infatti, è stata accordata solo a due docenti per scuola10
• non essere già tutor di progetto PQM;
. Anche la selezione dei docenti è avvenuta sulla base di criteri stabiliti dal regolamento del progetto; i candidati eleggibili dovevano possedere le seguenti caratteristiche:
• insegnare in una classe prima ; • essere di ruolo.
I criteri di inclusione sono stati disegnati per fare in modo che un professore che iniziasse il corso con la sua classe prima avesse (in linea di principio) maggiore possibilità di proseguirlo fino al termine, accompagnando la classe per i tre anni successivi. Nel caso in cui più di due docenti avessero posseduto i pre-requisiti, la scelta del dirigente scolastico sarebbe ricaduta sui docenti che si erano resi disponibili.
I materiali di supporto per la stesura dei piani di miglioramento
Lo strumento attraverso cui le scuole coinvolte dovevano identificare le proprie aree di debolezza per definire gli strumenti di sostegno è stato il piano di miglioramento (PdM), un progetto che aveva come principale obiettivo quello di individuare e descrivere interventi di recupero e potenziamento degli apprendimenti in matematica (sia per studente normodotati sia specificatamente per glia allievi disabili), integrando la possibilità della formazione tra pari dei docenti e la produzione di materiali.
Oltre ai momenti di formazione in presenza, sulla piattaforma on-line messa a disposizione da INDIRE sono stati pubblicati materiali e tutorial, al fine di supportare i tutor di istituto nelle riflessioni da svolgere per progettare i PdM.
Lo spazio dedicato a “Materiali per il piano di miglioramento e documentazione” è stato suddiviso in sei sezioni:
a. Materiali per la documentazione, sezione dedicata alle procedure per la candidatura della documentazione e allo schema della maschera di inserimento con una guida completa per compierlo;
b. Dall’autovalutazione al piano di miglioramento. In questa sezione è stato caricato lo schema da seguire per la stesura di un PdM, che è stato così declinato:
• Premessa ( caratteristiche del contesto: esigenze, criticità, risorse, ecc.) • Finalità e obiettivi
• Individuazione nuclei tematici • Elenco interventi/moduli formativi • Indicazione delle attività
• Descrizione delle metodologie • Fasi e tempi di attuazione • Partecipanti
• Risultati attesi • Schema costi • Monitoraggio
c. Documenti per la strutturazione del piano di miglioramento, spazio che ha messo a disposizione una check-list con i contenuti della prova INVALSI di inizio anno e alcuni file sulle modalità e gli strumenti di auto-analisi e di diagnosi.
d. Strumenti e metodi, area in cui sono statati stati raggruppati documenti riguardanti l’analisi SWOT, il CAF (Common Assessment Framework), il Balanced Scored Card ed esempi di piani di miglioramento compilati seguendo lo schema sopra riportato.
e) Esperienze dal mondo. In questa sezione sono stati riportati documenti sulla valutazione del sistema scolastico in Gran Bretagna ed altri paesi europei.
f) Materiali di approfondimento, area nella quale sono state inserite le direttive ministeriali in materia di autovalutazione e la Guida pratica all’autovalutazione del Progetto pilota dell’Unione Europea (1997).
I documenti messi a disposizione affrontano senza dubbio temi interessanti per ciò che riguarda la cultura della valutazione nelle organizzazioni e nel sistema scolastico; potrebbero risultare, tuttavia, poco specifici e concreti per la stesura di piani di potenziamento delle competenze nell’area logico-matematica, obiettivo primario di questa parte della piattaforma. Inoltre fanno scarso riferimento a una progettazione guidata sia da
una specifica teoria dell’intelligenza numerica e dello sviluppo cognitivo, sia da strumenti utili per un’analisi di contesto maggiormente strutturata sulla base di indicatori specifici. Per questo sono state allestite altre due sezioni della piattaforma, complementari alla prima e dedicate ai Materiali formativi disciplinari e al Materiale formativo sul coaching.
Nella prima sezione, ovvero Materiali formativi disciplinari, sono stati riportati i documenti stilati dall’equipe universitaria, tra cui:
• la “Guida alla lettura dei risultati INVALSI”11
• un quadro generale di introduzione “Dalla valutazione all’intervento didattico e formativo”
; 12
• alcuni suggerimenti didattici, strutturati con una metodologia laboratoriale a partire dall’analisi della valutazioni delle prove nazionali ed internazionali, e le varie proposte didattiche riguardanti i nuclei tematici da potenziare
;
13
Nella seconda sezione, denominata Materiale formativo sul coaching, è stata proposta una panoramica sui modelli di coach a livello europeo; sono stati caricati, inoltre, gli strumenti utili al coach (agenda, patto formativo, scheda di analisi di contesto, griglia di osservazione) e anche molti materiali di approfondimento relativi alla differenza tra il ruolo di coach e quello di mentor.
.
I documenti di queste due sezioni sono stati senza dubbio ausili importanti sia nella formazione sia nella progettazione dei piani di miglioramento.
Oltre agli incontri svolti in presenza, hanno avuto una parte fondamentale nel favorire il dialogo e il confronto tra i partecipanti al progetto i forum on-line. Questi sono stati organizzati sia sulla base alla suddivisone geografica (per regione) sia per tematiche affrontate (forum disciplinari, sul coaching, sui piani di miglioramento, supporto al progetto) sia, infine, per ruoli ricoperti (es: dirigenti). La distribuzione eterogenea dei forum ha permesso un dibattito allargato, anche se in alcuni casi può aver comportato una certa dispersione delle discussioni. Il loro monitoraggio ha apportato ulteriori riflessioni sui processi messi in atto anche durante la fase di diagnosi e progettazione dei PdM.
I piani di miglioramento
Nel progetto PQM l’elaborazione del piano degli interventi assume un ruolo centrale nel processo di miglioramento.
In un unico progetto, presentato dalla scuola al MIUR nel mese di gennaio, dovevano essere progettate le azioni che sarebbero state svolte nei mesi successivi, da febbraio a maggio, sulla base dei punti di forza e di debolezza emersi dall’analisi dei risultati alle prove INVALSI.
Questa riflessione viene svolta ogni anno dai tutor di istituto insieme ai tutor di progetto. I piani di miglioramento del progetto PQM, per quel che riguarda le regioni PON, hanno previsto tre aree differenti di intervento (Programma Operativo Nazionale FSE – 2007-IT 05 1 PO 007 “Competenze per lo Sviluppo” 2007-2013 - Obiettivo Convergenza):
I) Area formativa per gli studenti. Per ciascun piano di miglioramento potevano essere progettati un numero di moduli variabile da tre a sette, per un minimo di 15 ore e 8 studenti ciascuno.
II) Area organizzativa- gestionale. Gli aspetti organizzativi hanno riguardato la direzione e il coordinamento, il gruppo di progetto PQM (il dirigente scolastico e i due tutor di istituto), il DSGA, il facilitatore e/o la figura strumentale per la progettazione, il referente di valutazione, il personale per l’organizzazione (ATA, l’assistente di laboratorio, l’ organizzazione logistica, ecc.), nonché il materiale didattico e di consumo necessario per la preparazione delle attività. III) Area di accompagnamento opzionale. In quest’area sono ricadute le scelte
relative al supporto e la formazione tra pari, la produzione di materiale innovativo da utilizzare per la didattica dei moduli ed il supporto ai diversamente abili, che hanno avuto carattere facoltativo.
Agli insegnanti è stato fornito un indice per la compilazione dei piani di miglioramento (da “Piattaforma di formazione on-line ANSAS - Sezione dall’autovalutazione ai piani di miglioramento, anche sopra riportato”), strutturato secondo le seguenti voci:
1) Premessa
2) Finalità/Obiettivi
3) Individuazione degli interventi 4) Descrizione di attività e metodologie
5) Motivazione della richiesta di attività strumentali di accompagnamento (formazione fra pari e produzione di materiali)
6) Risultati attesi
Per ogni modulo era necessario specificare:
• il nucleo identificato, tra i quattro previsti dal quadro di riferimento in matematica e indagati dalle prove INVALSI di ottobre, su cui svolgere l’intervento;
• il titolo dell’intervento, coerentemente con il nucleo scelto.
Tabella 2. Interventi richiesti nelle regioni PON
Ambiti Numero di richieste di intervento Ore di didattica programmate
Misure, dati e previsioni 519 7.755
Numeri 769 11.498
Spazio e figure 186 2.753
Relazioni e funzioni 398 5.958
Il metodo d’indagine
Considerando la natura sia quantitativa sia qualitativa dei dati a disposizione per lo studio, sono stati adottati una pluralità di metodi, attraverso i quali è stato possibile affiancare tecniche qualitative e quantitative per rispondere alle esigenze conoscitive dei ricercatori. I piani di miglioramento sono stati analizzati attraverso griglie di lettura, create avendo come punto di riferimento la struttura indicata agli insegnanti per la compilazione dei piani stessi in ciascuna annualità. I criteri di valutazione hanno riguardato sia il grado di
coerenza del piano di miglioramento (dall’analisi dei risultati, all’individuazione degli obiettivi, alla scelta delle azioni progettate), sia il grado di completezza delle informazioni per ciascuna area del piano.
Nel primo anno di attività del triennio considerato dal progetto l’analisi dei piani di miglioramento è stata svolta quando questi erano già stati approvati e ha avuto un duplice scopo:
• evidenziare i processi attivati dalle scuole al momento dell’elaborazione e della progettazione degli interventi;
• rintracciare buone pratiche e punti di debolezza al fine di riprogettare e migliorare la struttura dei piani di miglioramento nell’anno successivo.
I compiti dell’INVALSI nel progetto
Nello sviluppo del progetto che, come si è detto nel par. precedente, ha visto la partecipazione di istituzioni diverse (MIUR, INDIRE, INVALSI, istituzioni scolastiche) i compiti specifici dell’INVALSI sono stati:
• la predisposizione e la validazione dei test di matematica per le due fasi di rilevazione previste a inizio e fine anno scolastico;
• l’elaborazione e l’analisi dei risultati delle prove somministrate;
• la restituzione dettagliata alle scuole dei risultati delle prove per la costruzione dei Piani di Miglioramento;
• la produzione delle linee guida da fornire alle scuole per l’interpretazione e l’utilizzo dei dati ai fini della predisposizione dei progetti di miglioramento interno.
Tali compiti hanno richieste l’espletamento delle seguenti azioni: • l’elaborazione test iniziale;
• l’invio test iniziale per via telematica alle istituzioni scolastiche partecipanti al progetto;
• la somministrazione del test da parte delle istituzioni scolastiche; • la restituzione dei dati all’INVALSI per via telematica;
• l’elaborazione test finale;
• la predisposizione delle linee-guida da fornire alle scuole per l’interpretazione e l’utilizzo dei dati relativi ai test iniziale e finale;
• la realizzazione del seminario di formazione per i 64 tutor senior per l’illustrazione delle linee guida per l’interpretazione e l’utilizzo dei dati relativi al test iniziale;
• l’elaborazione e analisi dei risultati del test iniziale;
• la restituzione alle istituzioni scolastiche dei risultati del test iniziale; • l’invio del test finale alle istituzioni scolastiche partecipanti;
Le fasi del progetto nell’a.s. 2009 - 2010
Nel primo anno di sperimentazione di PQM erano state individuate quattro fasi di lavoro. Prima fase
La prima fase si è svolta a ottobre 2009 e ha previsto la misurazione delle competenze degli studenti delle classi coinvolte nell’area disciplinare logico-matematica. Per tale misurazione è stata somministrata una prova standardizzata costruita dall’INVALSI, che ha ricevuto i risultati, li ha elaborati e li ha restituiti alle scuole attraverso un serie di schede dettagliate, in cui vengono evidenziati attraverso grafici e tabelle i risultati delle singole classi.
Le prove erano formate da un totale di 26 item, suddivisi per ambiti. La Tabella 3 riporta gli ambiti considerati e il numero di item per ogni ambito
Tabella 3 Numero di item per ambito
Ambito Numero quesiti
Misura, dati e previsioni 8
Numeri 7
Spazio e figure 4 Relazioni e finzioni 7
Seconda fase
Nella seconda fase, attuata nei mesi di gennaio - febbraio 2010, sono stati restituiti i risultati, sulla base dei quali è stato chiesto ai tutor di istituto, ovvero ai docenti partecipanti al progetto per la propria scuola, di attivare un processo di diagnosi. Nello specifico le attività sono state le seguenti:
• lettura dei dati;
• interpretazione dei risultati;
• valutazione degli stessi all’interno del contesto e dell’ambiente scolastico in cui le classi sono inserite;
• individuazione dei nuclei tematici su cui svolgere il potenziamento;
• progettazione dei moduli per raggiungere gli obiettivi previsti (inclusi quelli di formazione tra pari e la produzione di materiale).
La fase che si analizza in questo lavoro è la seconda, caratterizzata dalla lettura dei risultati delle prove restituiti alle scuole dall’INVALSI. Questa fase, di tipo diagnostico, era mirata all’individuazione dei bisogni formativi degli studenti e alla definizione dei possibili obiettivi di miglioramento nell’azione didattica degli insegnanti.
Dalla lettura dei piani di miglioramento, infatti, è emerso in taluni casi il problema dello scarso radicamento dei piani di miglioramento nell’analisi dei dati, che porta a interrogarsi su quali siano stati gli effettivi i processi messi in atto in questa fase.
La scarsa coerenza tra risultati e progettazione può essere sinteticamente ricondotta a due fattori principali:
• l’integrazione consapevole, da parte dei tutor di istituto, della valutazione esterna con quella interna e con i bisogni della classe. Tale aspetto, benché possa risultare come positivo, è comunque poco esplicitato e motivato nei piani di miglioramento;
• una diagnosi in cui le prove esterne hanno avuto un ruolo poco determinante nel processo di scelta e di progettazione, fattore che invece riduce l’efficacia di PQM e lo sradica dal suo obiettivo precipuo14.
Terza fase
La lettura attenta dei risultati degli studenti avrebbe dovuto attivare, nella terza fase prevista dal progetto (Febbraio-Giugno), l’attuazione dei piani di miglioramento, ovvero l’implementazione delle attività di miglioramento riguardo alla valutazione e alla didattica. Nelle regioni PON le attività di miglioramento programmate hanno riguardato prevalentemente gli ambiti “Numeri” e “Misura, dati e previsioni”, come indicato nella tabella successiva (Tabella 4).
Tabella 4 Interventi richiesti nelle regioni PON
Ambiti Numero di richieste di intervento Ore di didattica programmate
Misure, dati e previsioni 519 7.755
Numeri 769 11.498
Spazio e figure 186 2.753
Relazioni e funzioni 398 5.958
Quarta fase
La quarta fase (Maggio – Giugno) è consistita nella somministrazione di una seconda prova standardizzata predisposta dall’INVALSI (non specifica del progetto PQM, ma estesa a tutte le classi prime delle scuole secondarie di primo grado) e nella progettazione del nuovo PdM per l’anno seguente a seguito della lettura dei risultati. Questa seconda prova è servita, quindi, sia per monitorare l’andamento della classe sia come base da cui partire l’anno successivo con nuove azioni di miglioramento.
Parte seconda. L'analisi dei dati. Premessa
In questo sezione del rapporto sono illustrati sinteticamente i risultati di alcune analisi preliminari condotte sulle misure di apprendimento in uscita degli studenti partecipanti al progetto (post-test del mese di Maggio 2010).
In particolare, verranno fornite delle statistiche descrittive rispetto ad alcune caratteristiche del campione PON PQM, a livello scuola, classe e studente, e della loro distribuzione tra le differenti regioni. Verrà, inoltre, effettuato un confronto sugli apprendimenti e su alcune misure di atteggiamento tra studenti delle classi PQM e studenti di classi non PQM presenti negli stessi istituti, utilizzando le anagrafiche fornite dal Servizio Nazionale di Valutazione15. Tale confronto, di natura esclusivamente esplorativa, intende rilevare alcune dimensioni che potrebbero caratterizzare l’utilità del progetto a partire da una logica di tipo pre-sperimentale. Ulteriori analisi di approfondimento per sottogruppi di studenti in funzione del sesso, della regolarità degli studi e della cittadinanza, permetteranno di individuare alcuni interessanti elementi di riflessione per i futuri sviluppi delle analisi.
Caratteristiche delle scuole e delle classi PQM
Come illustrato nelle Tabelle seguenti, mediamente ogni scuola presenta due classi prime partecipanti al progetto per un totale di 306 scuole e 637 classi.
La quota maggiore di scuole e classi presenti proviene dalla Puglia, mentre la Calabria contribuisce in misura inferiore al campione. Anche la numerosità di studenti per classe risulta più alta in Puglia, poiché in Calabria le classi in media sono meno numerose.
Tabella 5. Distribuzione delle scuole e delle classi PQM per regione
Regione Scuole PQM Percentuale Classi PQM Percentuale
Calabria 47 15,36 92 14,44 Campania 104 33,99 217 34,07 Puglia 79 25,82 172 27 Sicilia 76 24,84 156 24,49 Totale 306 100 637 100 15
Tabella 6. Numerosità media delle classi PQM per regione Media Dev. St. Calabria 18,36 5,45 Campania 21,10 4,09 Puglia 22,13 4,21 Sicilia 21,53 4,44
Caratteristiche degli studenti PQM
Come riportato in Figura 3, la numerosità di studenti maschi risulta generalmente più elevata in tutte le regioni, in particolare in Sicilia (64,8% sul totale); fa eccezione la Campania, dove la percentuale delle femmine risulta leggermente più alta.
Figura 3. Sesso degli studenti e distribuzione per regione
0% 10% 20% 30% 40% 50% 60% 70%
Calabria Campania Puglia Sicilia
Maschio Femmina
Tabella 7. Caratteristiche degli studenti PQM: Sesso e distribuzione per regione e sul totale
Regione Maschio Femmina Totale
Calabria Frequenza 640 574 1214 % per regione 52,7% 47,3% 100% % per sesso 10,3% 10,3% 10,3% % sul Totale 5,4% 4,9% 10,3% Campania Frequenza 2797 2832 5629 % per regione 49,7% 50,3% 100% % per sesso 45,2% 50,9% 47,9% % sul Totale 23,8% 24,1% 47,9% Puglia Frequenza 2292 1908 4200 % per regione 54,6% 45,4% 100% % per sesso 37,0% 34,3% 35,7% % sul Totale 19,5% 16,2% 35,7% Sicilia Frequenza 461 250 711 % per regione 64,8% 35,2% 100% % per sesso 7,4% 4,5% 6,0% % sul Totale 3,9% 2,1% 6,0% Totale Frequenza 6190 5564 11754 % 52,7% 47,3% 100%
Note: La tabella non include i casi per cui il sesso risulta come dato mancante.
Rispetto alla regolarità negli studi, in media il 91,5% degli studenti partecipanti al PQM è regolare rispetto al percorso di studi, il 2,5% è anticipatario e il 5,9% posticipatario. In Calabria e in Puglia si registra una quota più elevata di studenti regolari rispetto alle altre regioni. Gli studenti anticipatari di almeno un anno rispetto al percorso di studi sono invece per lo più presenti in Campania e, a seguire, in Calabria e Puglia. Viceversa, la quota di studenti posticipatari di almeno un anno rispetto al percorso di studi sul totale della regione
Figura 4. Regolarità negli studi degli studenti e distribuzione per regione
Tabella 8 - Caratteristiche degli studenti PQM: Regolarità negli studi e distribuzione per regione e sul totale
Regione Regolare Anticipatario Posticipatario Totale
Calabria Frequenza 1329 33 62 1424 % per regione 93,3% 2,3% 4,4% 100% % per regolarità 12,1% 10,7% 8,8% 11,9% % sul Totale 11,1% ,3% ,5% 11,9% Campania Frequenza 5094 217 318 5629 % per regione 90,5% 3,9% 5,6% 100% % per regolarità 46,5% 70,2% 45,4% 47,0% % sul Totale 42,6% 1,8% 2,7% 47,0% Puglia Frequenza 3896 59 245 4200 % per regione 92,8% 1,4% 5,8% 100% % per regolarità 35,6% 19,1% 35,0% 35,1% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Calabria Campania Puglia Sicilia
Regolare Anticipatario Posticipatario
% sul Totale 32,6% ,5% 2,0% 35,1% Sicilia Frequenza 635 0 76 711 % per regione 89,3% ,0% 10,7% 100% % per regolarità 5,8% ,0% 10,8% 5,9% % sul Totale 5,3% ,0% ,6% 5,9% Totale Frequenza 10954 309 701 11964 % 91,5% 2,6% 5,9% 100%
Note: La tabella non include i casi per cui la regolarità negli studi risulta come dato mancante.
Infine, riguardo all’indicatore di cittadinanza16
16
In base ai criteri di classificazione internazionali (si veda, ad esempio, Pisa Technical Report,
degli studenti, il 95,4% degli studenti PQM è di origine italiana, l’1,9% è costituito da studenti stranieri di prima generazione e il 2,7% da studenti stranieri di seconda generazione. La percentuale di studenti stranieri di seconda generazione risulta nel complesso più elevata rispetto alla media dell’1,5% registrata nelle regioni del Sud nelle rilevazioni del SNV condotte nelle classi prime della scuola secondaria di primo grado (cfr. http://www.INVALSI.it/download/rapporti/snv2010 /Rapporto_SNV_09_10.pdf). Tale presenza è maggiore in Sicilia, mentre in Calabria e in Campania risulta più elevata la percentuale di studenti stranieri di prima generazione.
Figura 5. Indicatore di cittadinanza degli studenti e distribuzione per regione
Tabella 9. Caratteristiche degli studenti PQM: Cittadinanza e distribuzione per regione e sul totale
Regione Italiano Straniero di I generazione Straniero di II generazione Totale Calabria Frequenza 1450 52 11 1513 % per regione 95,8% 3,4% ,7% 100% % per cittadinanza 11,9% 20,9% 3,2% 11,8% % sul Totale 11,3% ,4% ,1% 11,8% Campania Frequenza 6009 155 215 6379 % per regione 94,2% 2,4% 3,4% 100% % per cittadinanza 49,2% 62,2% 62,1% 49,8% % sul Totale 46,9% 1,2% 1,7% 49,8% Puglia Frequenza 4108 42 50 4200 % per regione 97,8% 1,0% 1,2% 100% % per cittadinanza 33,6% 16,9% 14,5% 32,8% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Calabria Campania Puglia Sicilia
Italiano
Straniero di I generazione Straniero di II generazione
% sul Totale 32,1% ,3% ,4% 32,8% Sicilia Frequenza 642 0 70 712 % per regione 90,2% ,0% 9,8% 100% % per cittadinanza 5,3% ,0% 20,2% 5,6% % sul Totale 5,0% ,0% ,5% 5,6% Totale Frequenza 12209 249 346 12804 % 95,4% 1,9% 2,7% 100%
Note: La tabella non include i casi per cui la cittadinanza risulta come dato mancante.
Confronto tra classi PQM e classi non PQM delle medesime scuole
Come già anticipato, il mandato affidato all’INVALSI nella prima annualità del progetto concerne la predisposizione di strumenti diagnostici standardizzati e affidabili in merito alla rilevazione degli apprendimenti (in entrata e in uscita) degli studenti, per permettere alle scuole di progettare piani di miglioramento sulla base di alcune evidenze relative ai bisogni educativi dei propri studenti. Per quanto concerne la fase di lavoro oggetto di questo Rapporto non è quindi compito dell’INVALSI effettuare una valutazione degli eventuali effetti delle attività di miglioramento predisposte e implementate dalle diverse scuole.
Tuttavia, pur in assenza di uno specifico disegno di valutazione predisposto ex-ante, in questo Rapporto si vuole dare conto di alcuni elementi che potrebbero caratterizzare l’utilità del progetto a partire da una logica pre-sperimentale. L’obiettivo generale è esplorare la presenza di eventuali differenze negli apprendimenti medi in matematica rilevati al termine delle attività progettuali tra le classi prime partecipanti al PQM e le classi prime delle medesime scuole non partecipanti al progetto (classi coinvolte nelle rilevazioni del SNV). Come già accennato, la logica che motiva la domanda di ricerca è meramente esplorativa e pre-sperimentale; in tal senso è volta a costruire alcune ipotesi, piuttosto che testarle, all’interno di un paradigma indiziario.
La presenza di numerosi caveat, tra cui l’assenza di un gruppo di controllo equivalente (bias di autoselezione del campione a livello scuola e a livello classe in assenza di una randomizzazione dei soggetti) e l’assenza di un pretest per le classi non PQM, non permette, quindi, di esprimere alcun giudizio in merito agli effetti del progetto a causa delle numerose minacce alla validità interna (autoselezione, effetto di maturazione dei soggetti, ecc.) che potrebbero essere controllate solo adottando un disegno di tipo sperimentale17.
Il disegno di ricerca adottato prevede il confronto tra due gruppi distinti di soggetti: un gruppo sperimentale (studenti delle classi coinvolte nel progetto PQM) e un gruppo di controllo non equivalente che non riceve il trattamento (studenti delle classi prime dei medesimi istituti non partecipanti al PQM) sulla base del solo post-test (rilevazione SNV degli apprendimenti di Maggio 2010).
Al fine di stimare le eventuali differenze tra i due gruppi è stata condotta un’analisi della varianza univariata (ANOVA) adottando un Modello Lineare Generalizzato (disegno di ricerca tra soggetti), in cui si è assunto il punteggio normalizzato degli apprendimenti in matematica quale variabile dipendente, l’appartenenza a una classe PQM o non PQM quale variabile indipendente (fattore fisso), e l’ESCS18
Nella Tabella seguente si riporta la distribuzione delle classi prime PQM e delle classi prime non PQM delle medesime scuole.
a livello studente quale possibile covariata. L’ipotesi è verificare una possibile differenza nei punteggi medi negli apprendimenti in matematica degli studenti in funzione del loro essere inseriti in una classe partecipante al progetto, controllando la possibile influenza imputabile all’ESCS, il quale risulta in genere fortemente correlato agli apprendimenti.
Tabella 10. Distribuzione delle classi PQM e non PQM per regione
Regione Classi PQM Classi non PQM Totale classi
Calabria 92 83 175 % 52,57 47,43 Campania 217 349 566 % 38,34 61,66 Puglia 172 230 402 % 42,79 57,21 Sicilia 156 232 388 % 40,21 59,79 Totale 637 894 1531 % 41,61 58,39
Si è inoltre calcolato l’ESCS medio sia a livello studente che a livello classe in funzione delle diverse regioni, sia per le classi PQM che non PQM come di seguito riportato.
di ricerca pre-sperimentali non permettono di verificare con precisione l’esistenza di una relazione causale fra le variabili in esame. Per ulteriori approfondimenti consultare: Vigano, R. (2002). Pedagogia e sperimentazione. Metodi e strumenti per la ricerca educativa. Milano: Vita e pensiero.
18
L’indice ESCS (Economic, Social and Cultural Status) definisce sinteticamente lo status socio-economico e culturale delle famiglie degli studenti. E’ elaborato sulla base delle informazioni ricavate dal Questionario compilato dagli studenti stessi, come la condizione professionale dei genitori, il loro livello di istruzione, le dotazioni e gli strumenti culturali in possesso della famiglia (ad es. il numero di libri a disposizione in casa, la possibilità di avere un luogo tranquillo in cui studiare, un computer da utilizzare per lo studio).
Tabella 11. ESCS degli studenti PQM e non PQM per regione Regione Media studenti PQM Dev. St. studenti PQM Media studenti non PQM Dev. St. studenti non PQM Calabria -0,01 0,91 -0,14 0,95 Campania -0,71 1,00 -0,69 1,00 Puglia -0,25 1,02 -0,54 0,94 Sicilia -0,37 1,02 -0,64 1,03 Totale -0,46 1,03 -0,60 1,00
Tabella 12. ESCS delle classi PQM e non PQM per regione
Regione Media classi PQM
Dev. St. classi PQM Media classi non PQM Dev. St. classi non PQM Calabria -0,05 0,51 -0,01 0,50 Campania -0,47 0,70 -0,45 0,67 Puglia -0,21 0,51 -0,23 0,55 Sicilia -0,19 0,48 -0,28 0,50 Totale -0,27 0,59 -0,31 0,60
Complessivamente non si rileva una differenza nell’ESCS medio di classe tra le classi PQM (M=-0,27; DS=0,59) e non PQM (M=-0,31; DS=0,60); t(1529) = 1,23, p=.219, test a due code, d= 0,04.
Diversamente, si evidenzia una differenza statisticamente significativa tra l’ESCS degli studenti PQM (M=-0,46; DS=1,03) e non PQM (M=-0,60; DS=1). Nello specifico gli studenti PQM mostrano un ESCS mediamente più elevato degli studenti presenti nelle altre classi prime delle medesime scuole non partecipanti al progetto, t(27044,352) = 12,11, p=.000, test a due code, d= 0,14.
Nelle Tabelle seguenti, si illustrano i punteggi medi e le relative deviazioni standard nelle prove di apprendimento in Matematica in relazione alle diverse regioni. Come per l’ESCS gli apprendimenti sono stati calcolati sia come media a livello studente che a livello classe.
Tabella 13. Apprendimenti in Matematica degli studenti PQM e non PQM per regione
Regione Media studenti PQM Dev. St. studenti PQM Media studenti non PQM Dev. St. studenti non PQM Calabria 50,13 19,67 54,41 19,17 Campania 47,16 19,20 48,91 18,20 Puglia 49,20 16,82 46,05 16,13 Sicilia 55,35 26,15 44,06 18,82 Totale 48,64 19,08 47,19 18,12
Tabella 14. Apprendimenti in Matematica delle classi PQM e non PQM per regione
Regione Media classi PQM
Dev. St. classi PQM Media classi non PQM Dev. St. classi non PQM Calabria 51,37 12,50 48,83 11,38 Campania 50,72 11,72 48,01 11,15 Puglia 52,88 9,53 49,02 9,13 Sicilia 49,58 12,12 44,43 10,39 Totale 51,12 11,43 47,42 10,63
Complessivamente si rileva una differenza negli apprendimenti medi di classe tra le classi PQM (M=51,12; DS=11,43) e non PQM (M=47,42; DS=10,63); t(1307,392) = 6,43, p=.000, test a due code, d= 3,70.
Tale differenza rimane statisticamente significativa confrontando gli apprendimenti degli studenti PQM (M=48,64; DS=19,08) e non PQM (M=47,19; DS=18,12), sebbene risulti meno elevata, t(26685,564) = 6,74, p=.000, test a due code, d= 1,45.
Gli atteggiamenti e le dimensioni psicologiche degli studenti
Quadro teorico di riferimento
I costrutti sugli atteggiamenti e sui comportamenti autodichiarati dagli studenti sono tratti dal Questionario Studenti (http://www.INVALSI.it/snv0910/documenti/QdR_Questionari _09_10.pdf) predisposto da INVALSI per la scuola secondaria di primo grado. Di seguito vengono illustrate soltanto alcune delle dimensioni in esso presenti, utilizzate per le analisi condotte nel presente Rapporto.
Per concetto di sé si intende quello che organizza tutto ciò che noi crediamo di essere, cosa pensiamo di essere in grado di fare, e quanto bene pensiamo di saperlo fare. È la parte informativa della concezione di sé, ovvero quello che noi sappiamo o crediamo di noi stessi19. Nel Questionario Studente, il concetto di sé in ambito scolastico viene esplorato in rapporto sia alla Matematica che all’Italiano. Esso è costruito a partire da tre diversi aspetti: la performance (essere bravi), il processo di apprendimento (imparare facilmente), e il confronto con il gruppo di riferimento20.
L’interesse per lo studio
Questo costrutto è ricollegato alla motivazione intrinseca in termini di piacere e interesse nell’affrontare specifiche materie di studio. Nel Questionario Studente è indagato con particolare riferimento alla Matematica e l’Italiano e può essere definito come il desiderio di realizzare un comportamento per il piacere che tale realizzazione comporta. In tal senso, è legato all’interesse in quanto rappresenta un orientamento a lungo termine verso un’attività o un’area di conoscenza21
Va ricordato che solitamente vengono riscontrate differenze di genere nella motivazione .
22 , e che nella scuola primaria questa è elevata, mentre un calo avviene nel passaggio dalla scuola primaria alla scuola secondaria23
19
Schmeck, R. M. (ed.) (1988). Learning strategies and learning styles. New York-London: Plenum Press.
.
20
Secondo Marsh, Byrne e Shavelson gli studenti valutano la propria performance attraverso il confronto sociale, e la loro autovalutazione si basa sulla loro posizione rispetto ad altri studenti e ai loro successi nelle altre materie. Cfr. Marsh, H. W., Byrne, B. M., & Shavelson, R. J. (1988). A multifaceted academic self concept: Its hierarchical structure and its relation to academic achievement, Journal of Educational Psychology, n. 80, pp. 366-380.
21
Caponera E., Di Chiacchio C. (2008). Gli atteggiamenti verso le scienze e la loro relazione con le prove PISA 2006, in Rapporto nazionale Pisa 2006. Roma: Armando.
22
La minore tendenza delle ragazze a identificarsi nel dominio matematico potrebbe essere determinata dalla diffusione di alcuni stereotipi di genere secondo cui la Matematica sarebbe un ambito di applicazione più indicato per i ragazzi (National Science Foundation, 2003; Steele, 2003; Dweck, 2007; Eccles, 2007; Guiso et al., 2008). Di contro, i ragazzi sono più riluttanti a dedicarsi alla lettura al di fuori del consueto orario scolastico come evidenziato dai dati PIRLS, (Progress in International Reading Literacy Study; Twist et al., 2007); vedono la lettura come un’attività fondamentalmente noiosa (Nieuwenhuizen, 2001) e, a differenza delle femmine, vi attribuiscono minore importanza quale interesse personale che può essere condiviso con altri e può favorire la socializzazione con i pari (DCSF, 2007). Queste differenze di genere sembrano, quindi, risentire di un bias culturale che porta gli studenti a sviluppare un minore interesse per discipline di studio e future professioni nei domini che ritengono poco compatibili con il concetto di sé (Liben et al., 2001; Malcom et al., 2005; Frome et al., 2006; Killen et al., 2006; Denissen et al., 2007; Newcombe, 2007).
23
Nell’indagine TIMSS 2007 la percentuale degli studenti che esprimono un elevato interesse per la matematica passa dal 57% nella primaria al 43% nella secondaria di I grado. A livello
L’impegno nello studio
L’impegno nello studio è una componente fondamentale della motivazione intrinseca quale spinta all’autodeterminazione nel processo di apprendimento24. Nel Questionario Studente tale aspetto rimanda alla persistenza dello studente nel portare avanti le proprie attività di studio al fine di conseguire buoni risultati scolastici ed è indagato con tre specifici item25.
La motivazione estrinseca
Il concetto di motivazione estrinseca rimanda alla tendenza a regolare il proprio apprendimento in funzione di incentivi esterni, per lo più contingenti, finalizzata a ottenere approvazione e rinforzo da terzi. Mentre la motivazione estrinseca per gli studenti delle scuole del 2° ciclo concerne la possibilità di essere spinti a fare bene a scuola in vista di possibili traguardi lavorativi o per proseguire gli studi (motivazione estrinseca strumentale), per il 1° ciclo la motivazione estrinseca è valutata in rapporto all’idea di andare bene per far piacere agli altri (genitori, insegnanti).
L’ansia da test
L’ansia da test rimanda allo stato di tensione e preoccupazione temporanea che accompagna lo svolgimento di una prova. Occorre sottolineare che non è interesse dell’INVALSI fare diagnosi in merito a problemi individuali o disturbi soggettivi, ma delineare diversi comportamenti all’interno della popolazione studentesca. Indagare lo stato emotivo durante la prova permette quindi di comprendere se gli studenti si sentano a disagio o provino ansia di fronte alla somministrazione di prove standardizzate26 e se tale stato di tensione possa eventualmente comprometterne la performance.
Le analisi preliminari: attendibilità, unidimensionalità delle misure e correlazioni con gli apprendimenti
Al fine di rilevare eventuali differenze negli atteggiamenti e nelle dimensioni psicologiche degli studenti tra classi PQM e non PQM, in via preliminare sono state verificate alcune caratteristiche psicometriche delle scale del Questionario Studente utilizzate nel presente rapporto. In dettaglio, sono stati calcolati gli indici di affidabilità delle misure (Alpha di Cronbach) ed è stata indaga l’unidimensionalità dei costrutti in esame attraverso un’analisi fattoriale esplorativa (metodo delle Componenti Principali). L’analisi fattoriale non è stata
24
Cfr. Il documento Baumert J., et al. (2000). Self-Regulated Learning as a Cross-Curricular
Competence. OECD PISA Deutschland. Disponibile su <http://www.mpib-berlin.mpg.de/en/Pisa/>
25
Lo strumento di riferimento è stato il questionario utilizzato in Pisa 2000 per le competenze cross curriculari. Artelt, C., Baumert, J., Julius-McElvany, N., Peschar, J. (2003). Learners for life.
Student approaches to learning - Results from PISA 2000. Paris: OECD.
26
Per indagare questo aspetto è stata adattata la scala di test anxiety tratta dal questionario MSLQ (Motivational and Self-Regulated Learning Competece Questionnaire). Bibliografia di riferimento: Pintrich, P. R., De Groot, E. V. (1990). Motivational and self regulated Learning Components of Classroom Academic Performance, Journal of Educational Psychology, vol. 82 (n. 1), pp. 33-40; Law, Y., Chan, C. K. K., Sachs, J. (2008). Beliefs about learning, self-regulated strategies and text comprehension among Chinese children, British Journal of Educational Psychology, n. 78, pp. 51-73.
condotta per le scale relative al “interesse nello studio” costituite da soli due item e per le quali si è calcolata unicamente la correlazione tra gli item (r di Pearson).
Come riportato in Tabella 15 l’attendibilità delle misure in termini di consistenza interna appare adeguata, ad eccezione dell’indice relativo all’ “interesse nello studio” (α<.06)27
. Tutte le scale mostrano una struttura unidimensionale che spiega una quota accettabile della varianza totale di ogni misura (complessivamente tra il 52,20% e il 65,33%). Per le scale relative al “Interesse nello studio” la correlazione tra gli item appare piuttosto elevata (p<.001), segnalando una percentuale di variabilità comune ai due item prossima al 49%.
Tabella 15. Sintesi delle caratteristiche psicometriche delle scale del Questionario Studente
Scala del Questionario Studente Numero di item
Alpha di Cronbach
Unidimensionalità
Concetto di sé In Matematica 3 .72 64,69 (% varianza spiegata) Concetto di sé In Italiano 3 .72 65,33 (% varianza spiegata) Interesse per la Matematica 2 .82 0,696 (correlazione) Interesse per l’Italiano 2 .82 0,697 (correlazione) Impegno nello studio 3 .54 52,20 (% varianza spiegata) Motivazione estriseca 4 .74 56,38 (% varianza spiegata)
Ansia da test 4 .76 58 (% varianza spiegata)
Note: Per le scale dell’ interesse nello studio viene fornito unicamente l’indice di correlazione (r di Pearson)
in quanto costituite da soli due item. Le correlazioni risultano entrambe statisticamente significative per p<.001
Si è inoltre verificata la correlazione esistente tra la stima del punteggio fattoriale sulla prima componente estratta di ogni misura del Questionario Studente e il punteggio normalizzato ottenuto nelle prove di apprendimento in Matematica.
Come illustrato in Tabella 16, le correlazioni risultano tutte significative (p<.001) e coerenti con il quadro teorico di riferimento. Un migliore apprendimento in Matematica è associato a un più alto concetto di sé (in Matematica e Italiano), a un maggiore piacere e interesse per la Matematica e a un più elevato impegno nello studio più in generale; Inoltre, un migliore apprendimento in matematica risulta associato a una minore motivazione estrinseca, a una ridotta ansia da test e a un più basso interesse nello studio dell’Italiano. A tale riguardo, mentre il concetto di sé in Italiano e in Matematica risultano generalmente correlati positivamente in quanto relativi alla generale percezione che lo studente ha di sé in ambito scolastico, l’interesse e la motivazione intrinseca nello studio sembrano caratterizzare in modo specifico alcune discipline di studio. Gli studenti più interessati alla Matematica, pertanto, sembrano tendere ad avere migliori performance in tale materia di studio, diversamente da quanti risultano più motivati nell’apprendimento dell’Italiano.
Tabella 16. Correlazioni tra gli apprendimenti in matematica e le misure del Questionario Studente
Misura del Questionario Studente r Sig.
Concetto di sé In Matematica .414 .000
Concetto di sé In Italiano .114 .000
Interesse per la Matematica .251 .000
Interesse per la Italiano -.060 .000
Impegno nello studio .251 .000
Motivazione estrinseca -.183 .000
Ansia da test -.196 .000
Nelle Tabelle seguenti, sono riportate le medie con le relative deviazioni standard delle misure di apprendimento per gli studenti delle classi PQM e non PQM e i risultati dell’ANOVA univariata condotta con un Modello Lineare Generalizzato (GLM) per la stima delle differenze.
Tabella 17. Apprendimenti medi in matematica degli studenti PQM e non PQM
TRATTAMENTO_CLASSE Media Dev. St. N
Classi PQM 48,64 19,08 12838
Totale 47,78 18,53 31289
Tabella 18. Risultati dell'ANOVA univariata (GLM) sugli apprendimenti degli studenti delle classi PQM e non PQM
Differenza tra le medie PQM e non PQM Errore standard Sig. Effect size Apprendimenti in matematica 1,482 0,213 .000 .002 Apprendimenti in matematica (al netto dell'ESCS)
0,802 0,206 .000 .000
Si rileva una differenza statisticamente significativa negli apprendimenti in Matematica tra gli studenti delle classi PQM e non PQM, che permane anche al netto dell’ESCS.
Va comunque evidenziato che tale differenza, sebbene significativa, non è particolarmente elevata (spiegando una quota della variabilità dei punteggi prossima allo zero) e tende a ridursi considerando l’ESCS in quanto, come già illustrato, questo indicatore risulta in media complessivamente più alto per gli studenti delle classi PQM e quindi ne influenza positivamente gli apprendimenti.
Figura 7. Medie marginali stimate nel punteggio degli apprendimenti in matematica al netto dell'ESCS
Procediamo inoltre, in via del tutto esplorativa, a delle analisi per sottogruppi (Crf. Tabella 18) al fine di confrontare i punteggi medi nella prova di matematica tra studenti PQM e non PQM. Tali analisi sono condotte in funzione di specifiche variabili socio-demografiche degli studenti, in particolare il sesso, la regolarità negli studi e l’indicatore di cittadinanza.
Tabella 19. Statistiche descrittive degli apprendimenti degli studenti di classi PQM e classi non PQM in funzione del sesso, la regolarità negli studi e la cittadinanza
Media studenti PQM Dev. St. studenti PQM Media studenti non PQM Dev. St. studenti non PQM Sesso Maschi 48,90 18,49 48,94 18,62 Femmine 47,73 19,18 45,61 17,56
Regolarità negli studi
Regolari 49,41 18,70 47,61 17,78 Anticipatari 61,33 18,10 56,30 19,36 Posticipatari 33,69 15,48 38,05 18,24 Cittadinanza Italiani 49,29 18,80 47,42 18,02 Stranieri di I generazione 25,50 13,54 43,47 20,81 Stranieri di II generazione 42,37 21,68 37,64 18,42
Gli studenti di sesso femminile (Figura 8) presenti nelle classi partecipanti al progetto hanno in media punteggi superiori negli apprendimenti rispetto alle studentesse di classi non coinvolte in PQM, t(10924,743)= 6,726, p=.000; test a due code, d= 2,12.
Figura 8. Differenze di apprendimento tra studenti PQM e non PQM in funzione del sesso
Rispetto alla regolarità negli studi (Figura 9), si rilevano migliori apprendimenti negli studenti regolari, t(22771,033)= 7,887, p=.000; test a due code, d= 1,80, e in misura ancora maggiore negli studenti anticipatari, t(1050)= 3,913, p=.000; test a due code, d= 5,03. Al contrario, gli studenti posticipatari delle classi partecipanti a PQM presentano minori apprendimenti rispetto ai posticipatari di altre classi, t(1622,535)= -5,732, p=.000; test a due code, d= -4,37.
Figura 9. Differenze di apprendimento tra studenti PQM e non PQM in funzione della regolarità negli studi 43 44 45 46 47 48 49 50 Maschi Femmine Studenti PQM 0 10 20 30 40 50 60 70
Regolari Anticipatari Posticipatari Studenti PQM Studenti non PQM
Infine, considerando la cittadinanza (Figura 10), sia gli studenti italiani, t(25513,723)= 8,60, p=.000, test a due code, d= 1,87, che gli studenti stranieri di seconda generazione, t(652,313)= 6,02, p=.003, test a due code, d= 4,73, provenienti da classi partecipanti a PQM presentano punteggi più elevati della loro controparte, diversamente per quanto accade per gli studenti stranieri di prima generazione che presentano apprendimenti decisamente inferiori, t(568,891)= -12,58, p=.000, test a due code, d= -17,97.
Figura 10. Differenze di apprendimento tra studenti PQM e non PQM in funzione della cittadinanza
In Tabella 20 sono invece riportati i risultati dell’ANOVA univariata condotta con un Modello Lineare Generalizzato (GLM) per la stima delle differenze nelle misure tratte dal Questionario Studente.
Complessivamente, confrontando le misure del Questionario Studente relative agli studenti di classi PQM e non PQM, emergono alcune differenze statisticamente significative al netto delle differenze imputabili all’ESCS. Gli studenti delle classi PQM mostrano un più basso concetto di sé in Matematica e Italiano, un minore interesse nello studio in Matematica e Italiano, una minore motivazione estrinsecae una maggiore ansia da test.
0 10 20 30 40 50 60 Italiani Stranieri di I
generazione Stranieri di II generazione Studenti PQM Studenti non PQM
Tabella 20. Risultati dell'ANOVA univariata (GLM) sugli atteggimenti e le dimensioni psicologiche degli studenti delle classi PQM e non PQM
Misure del Questionario Studente Differenza tra le medie PQM e non PQM Errore standard Sig. Effect size Concetto di sé In Matematica -0,086 0,012 .000 .002 Concetto di sé In Matematica (al netto dell'ESCS)
-0,110 0,011 .000 .003
Concetto di sé In Italiano -0,017 0,012 .153 .000
Concetto di sé In Italiano (al netto dell'ESCS)
-0,040 0,012 .000 .000
Interesse per la Matematica 0,013 0,012 .253 .000
Interesse per la Matematica (al netto dell'ESCS)
0,004 0,012 .730 .000
Interesse per l’ Italiano -0,062 0,012 .000 .001
Interesse per l’Italiano (al netto dell'ESCS)
-0,063 0,012 .000 .001
Impegno nello studio 0,032 0,012 .006 .000
Impegno nello studio (al netto dell'ESCS)
0,003 0,011 .799 .000
Motivazione estrinseca -0,057 0,012 .000 .001
Motivazione esterna (al netto dell'ESCS)
-0,044 0,012 .000 .000
Ansia da test 0,023 0,012 .047 .000
