dell’autovalutazione
6. Il progetto sperimentale Vales: dati disponibil
6.3.5 Realizzazione: i valutatori esterni e le visite
Sono stati scelti due diversi profili professionali per condurre le visite e valutare la scuola dall’esterno: un esperto proveniente dal mondo della scuola (dirigente scolastico (A1) o docente (A2)) e un esperto di ricerca qualitativa (B1) o nell’ambito di gestione e funzionamento delle organizzazioni (B2). Era stato previsto che tutti gli esperti selezionati dovessero avere esperienze e conoscenze legate alla valutazione217. L’abbinamento dei
valutatori previsto dal protocollo doveva essere fatto nel seguente modo: un valutatore del profilo A1 doveva svolgere la sua attività con uno del profilo B1 (e viceversa), mentre un valutatore del profilo A2 la doveva svolgere con uno del profilo B2. La scelta è stata giustificata con l’intento di bilanciare le competenze di valutazione delle organizzazioni (prevalentemente possedute dai valutatori di profili A1 e B2) con le competenze più strettamente legate alla gestione di strumenti pedagogici e/o qualitativi (profili A2 e B1). Ai valutatori del profilo A è stato affidato il compito di coordinare il rapporto con la scuola, nonché di comunicazione con l’Invalsi circa i vari dettagli del lavoro dei team. I valutatori B, invece, sono stati incaricati della funzione della gestione degli strumenti e dunque della responsabilità della completezza dei dati raccolti. La formulazione del giudizio sulle varee aree doveva essere fatta di comune accordo dei valutatori di entrambi i profili.
217 Gli esperti del profilo A dovevano aver maturato esperienza nella valutazione esterna e autovalutazione della
scuola, mentre gli esperti del profilo B1 dovevano saper valutare progetti e interventi e gli esperti del profilo B2 dovevano essere in grado di analizzare e valutare organizzazioni (formative e non formative).
159
I valutatori del progetto Vales sono stati formati insieme a quelli del progetto VM. Il programma di formazione comprendeva sia incontri di presentazione di vari strumenti e protocolli dei progetti, sia i momenti di lavoro in gruppi in cui venivano simulate la lettura dei dati, la conduzione delle interviste e la compilazione delle griglie e delle rubriche di valutazione. Inoltre, è stato previsto uno spazio per il confronto e per un chiarimento finale. Alla fine del percorso formativo di quattro giorni è stato somministrato un test con il quale in seguito sono stati selezionati in totale 430 valutatori per entrambi i suddetti progetti.
L’Invalsi ha fornito ai valutatori esterni i seguenti strumenti:
le Linee guida del valutatore (dove è articolato il protocollo di visita e le procedure di valutazione),
la Griglia per la lettura dei dati di contesto e processo - prima della visita e la
Griglia per lettura dei risultati - prima della visita (come supporto a ciascun valutatore nella
lettura delle diverse fonti informative),
la Griglia per la conduzione della visita – processi (per aiutare il valutatore di registrare le informazioni emerse durante la visita, integrandole con quelle raccolte prima della visita sui processi, al fine di avere una vasta gamma di elementi da utilizzare per esprimere i giudizi valutativi a conclusione della visita),
le Rubriche di valutazione per l’espressione dei giudizi valutativi dopo la visita relativamente al contesto, processi e risultati (l’obiettivo delle rubriche di valutazione era quello di aiutare i Team a esprimere un parere orientato da indicazioni in grado di supportare empiricamente l’espressione del giudizio);
la Scheda per l’individuazione degli obiettivi di miglioramento in cui i team hanno indicato, negoziando con la scuola, gli obiettivi di miglioramento individuati sulla base della analisi degli elementi di criticità del servizio offerto;
il format di Rapporto di valutazione218, successivamente redatto dai team per ciascuna istituzione scolastica visitata.
I materiali che i valutatori dovevano consultare: il POF, il Programma Annuale e la relazione di accompagnamento, i Rapporti relativamente ai dati dai questionari Scuola, Studenti, Insegnanti e Genitori, il RA e altri eventuali documenti forniti dalla scuola. Inoltre, avevano accesso agli esiti delle prove Invalsi delle scuole assegnate.
160
Dunque, è stata prevista una regolamentazione abbastanza precisa delle visite, fornendo protocolli e strumenti dettagliati. Si nota poco margine di manovra lasciato in mano ai valutatori. Si può ipotizzare che questa scelta può essere stata fatta tenendo conto del carattere sperimentale del progetto e del tipo di formazione fornita ai valutatori (in termini sia del tempo, sia delle attività).
Per quanto riguarda i dati sul reale svolgimento delle visite, durante un NG realizzato dall’Invalsi, in cui è stato toccato anche il tema delle visite di valutazione esterna, è emerso un accordo unanime circa il clima positivo instauratosi tra i valutatori e la scuola. È stato riportato che “i valutatori vengono considerati generalmente competenti e ben assortiti”. È stata commentata in positivo anche la scelta di includere un valutatore esterno al mondo della scuola in quanto è risultato più ‘empatico’ e “aperto a conoscere e capire i meccanismi interni”.
D’altro canto, la durata della visita è stata valutata da tutti i partecipanti come troppo breve per approfondire quello che succede nella scuola. Inoltre, l’agenda della visita così intensa e precisamente strutturata “qualche volta strideva con i tempi e l’organizzazione scolastica”. Un altro punto problematico evidenziato era l’approccio del cercare conferme o ‘disconferme’ rispetto a quanto scritto nel RA o in altri documenti (ad esempio, il POF), piuttosto che cercare di capire la situazione. Anche nei focus group realizzati dalla ricercatrice è emersa la percezione di una mancanza di comprensione e chiusura da parte dei valutatori esterni rispetto ad alcuni aspetti specifici del lavoro della scuola. Alcuni partecipanti hanno avanzato l’ipotesi che questo poteva essere dovuto alla rigidità dei documenti che i valutatori avevano da compilare secondo il protocollo.
Un punto debole sottolineato sia in un FG condotto dall’Invalsi, sia in un FG realizzato da me, riguardante le interviste di valutazione esterna, è stato il fatto che era una persona della scuola (il DS o il coordinatore) a scegliere i soggetti (docenti e genitori) da intervistare poiché “è chiaro che si scelgono i migliori”. Questa tendenza, come sottolineato da alcuni, è in contrapposizione con la logica di miglioramento ed è stata spiegata con la mancanza di una cultura di valutazione.
Non si hanno informazioni sull’eventuale approfondimento effettuato circa l’adeguatezza degli strumenti forniti ai valutatori esterni e i protocolli che essi dovevano seguire. Non è stata ulteriormente indagata la loro effettiva capacità di svolgere le visite,
161
formulare i giudizi e restituire i risultati della valutazione, soprattutto dal punto di vista delle scuole stesse (i commenti raccolti sono piuttosto limitati). Infine, sarebbe da esaminare più a fondo l’appropriatezza della modalità di selezione delle figure dei valutatori (inclusa la valutazione dell’esperienza posseduta nell’ambito) e del loro percorso formativo.
6.3.6 Risultati
L’Invalsi ha verificato la corrispondenza dei giudizi espressi dei valutatori esterni con quelli che le scuole si erano assegnate. Nel 54% dei casi essi corrispondono, nel 27% dei casi i valutatori esterni hanno attribuito livelli superiori e nel 18% dei casi sono stati dati giudizi inferiori.
Nel FG B (condotto dall’Invalsi), è stato messo in rilievo il fatto che sono state proprio le interviste di valutazione esterna a suscitare l’interesse verso le attività valutative in atto nella scuola e a innescare un processo di autovalutazione e ‘autodisciplina’. In modo simile, il coordinatore dei processi valutativi nella scuola in cui ho organizzato il terzo focus group (FG 3) ha affermato che nella scuola si è notata una maggiore diffusione dell’idea e della cultura della valutazione scolastica, nonché della terminologia relativa. Tuttavia, le attività dei valutatori esterni non sono state accettate positivamente da tutti: è stata riportata un’assoluta chiusura e un rifiuto totale della valutazione esterna da parte di alcuni docenti della scuola.
Durante il NG focalizzato sul processo di autovalutazione e valutazione esterna è stata discussa l’eventuale novità della prospettiva offerta nel Rapporto di valutazione esterna in quanto questo era ritenuto un punto importante da parte dell’Istituto. Tutti i partecipanti erano d’accordo sul fatto che la valutazione esterna aveva offerto un punto di vista nuovo e utile alla scuola (“un confronto è sempre utile”). Anche in due FG da me condotti è emerso il giudizio sull’importanza per la scuola del confronto con il punto di vista esterno. Durante il FG 2, nonostante fosse criticato il fatto che nel Rapporto di valutazione i valutatori esterni hanno un po’ ‘mischiato’ le informazioni ricevute, i partecipanti hanno riportato che il Rapporto è servito “per dare un significato al lavoro un po’ di tutti” e per “rassicurare che stiamo andando sulla direzione giusta, stiamo lavorando bene”. Nel FG 3, invece, è stata espressa una
162
prospettiva leggermente differente, ma comunque relativa all’utilità del confronto: è stato affermato che il principale risultato positivo apportato dalla valutazione esterna era “la consapevolezza che c’è da fare qualcosa”.
Un interessante risultato riportato durante la discussione del suddetto NG riguardava la creazione di una coesione interna, “di un clima di comunicazione e collaborazione finalizzato alla preparazione per la visita esterna”. Questo rimanda a quanto descritto nel capitolo precedente sui riferimenti teorici: la valutazione esterna può avere un impatto sulla scuola ancora prima della visita valutativa. Tuttavia, perché si instauri veramente un meccanismo di setting expectations, le scuole dovrebbero avere presente gli standard di qualità su cui vengono valutate. Invece, nel primo FG da me realizzato (FG 1) i partecipanti hanno espresso la mancanza di chiarezza rispetto alle aspettative dei valutatori esterni, vale a dire non avevano chiaro qual è il modello della ‘scuola che funziona’ secondo il quale i valutatori misurano le scuole.
163