ISBN volume 978-88-6760-338-1
2015 © Pensa MultiMedia Editore s.r.l. 73100 Lecce • Via Arturo Maria Caprioli, 8 • Tel. 0832.230435
25038 Rovato (BS) • Via Cesare Cantù, 25 • Tel. 030.5310994 www.pensamultimedia.it • info@pensamultimedia.it
Il progetto EDUEVAL - Evaluation for the Professional Development of Adult
Education Staff (n. 538743-LLP-1-2013-1-IT-GRUNDTVIG-GMP) è finanziato
con il sostegno della Commissione europea. L’autore è il solo responsabile di questa pubblicazione e la Commissione declina ogni responsabilità sull’uso che potrà essere fatto delle informazioni in essa contenute.
This work is under a
“Attribution-NonCommercial-ShareAlike 4.0 International” License
More information:
Indice
Introduzione 5
Elisabetta Biffi (Università degli Studi di Milano-Bicocca, Italia)
1. Verso la definizione del profilo professionale del valutatore degli staff che operano nel campo
dell’educazione degli adulti 7
Loredana Perla, Viviana Vinci (Università Aldo Moro di Bari, Italia)
1.1 Una premessa: oltre la “funzione” valutativa,
verso un nuovo profilo professionale 7
1.1.1 Le molteplici competenze del valutatore: un’unica professione o un mix di
professionalità diverse? 9
2. Il modello triangolato di valutazione EDUEVAL 19 Viviana Vinci (Università Aldo Moro di Bari, Italia)
3. La valutazione degli staff in educazione degli adulti 23 3.1 Framework teorico: teorie e modelli di valutazione 24
Loredana Perla, Viviana Vinci (Università Aldo Moro di Bari, Italia)
3.1.1 L’approccio positivista-sperimentale 25 3.1.2 L’approccio pragmatista della qualità 26
3.1.3 L’approccio costruttivista 26
3.1.4 Certificazione e valutazione delle competenze nel campo dell’educazione degli adulti 27 3.2 Obiettivi della valutazione: perché valutare? 29
Kleio Koutra, George Kritsotakis, Lina Pelekidou, Nikoleta Ratsika
(Technological Educational Institute of Crete, Grecia)
3.3 Metodi di valutazione: come valutare? 33
Loredana Perla, Viviana Vinci (Università Aldo Moro di Bari, Italia)
3.3.1 Livelli 35
3.3.2 Strumenti 41
3.3.2.1 La rubrica valutativa 42
3.3.2.2 L’audit 43
3.3.2.3 Il portfolio 45
3.4 Indicatori nel processo valutativo 46
Pilar Escuder-Mollon, Roger Esteller-Curto (Universitat Jaume I, Spagna)
3.4.1 Indicatori per la valutazione
degli educatori degli adulti 48
Velta Lubkina, Gilberto Marzano, Tamara Pigozne, Svetlana Usca
(Rezekne Academy of Technologies, Lettonia)
3.4.1.1 Competenze nella valutazione
egli educatori degli adulti 50
3.4.1.2 Validpack 53
3.4.1.3 Un portfolio progettato per la valutazione degli staff in educazione degli adulti:
indicatori e criteri 56
3.4.1.3.1 Il portfolio digitale 57 3.4.1.4 Checklist di indicatori
per la valutazione degli staff
in educazione degli adulti 58
3.4.1.5 Conclusioni 60
4. L’impatto della valutazione in educazione degli adulti:
una prospettiva Europea 63
Miroslaw Grewinski, Joanna Lizut, Stefania Szczurkowska (WSP - Janusz Korczak Pedagogical University in Warsaw, Polonia)
Conclusioni 71
Cristina Palmieri (Università degli Studi di Milano-Bicocca, Italia)
3.1 Framework teorico: teorie e modelli di valutazione Loredana Perla e Viviana Vinci9
Università Aldo Moro di Bari, Italia
I significati e le funzioni dell’atto valutativo sono molteplici e oscillano fondamentalmente fra due poli, misurazione e va-lutazione, dai quali discendono differenti approcci che consi-derano la valutazione differentemente, come “misura”, “stima”, “apprezzamento”, “comprensione”, e che fanno ri-ferimento, con un diverso peso, a criteri quali la determina-zione dei risultati ottenuti, l’efficacia e l’efficienza, la performance dell’oggetto evaluando. Di seguito, si sintetiz-zano graficamente (in tabella e figura) i tre approcci principali della valutazione, incentrati differentemente su una o più di-mensioni fra quelle descritte.
Positivista-sperimentale Pragmatista-qualità Costruttivista Pietra di paragone Gli obiettivi Gli standards Ciò che gli stakeholders
definiscono "successo"
Autori Hyman, Suchman, Campbell, Rossi e Freeman, Chen
Scriven, Wholey, Donabedian, la tradizione del NPM (New Public Management)
Stake, Stufflebeam, Guba e Lincoln, Cronbach, Patton, Fetterman, Hirshman, Tendler
Domande I risultati corrispondono agli obiettivi?
I risultati corrispondono al criterio di qualità?
Cosa è accaduto? Quello che è accaduto è buono?
Direzione
dell'indagine Top down Top down Bottom up Atteggiamento
verso i valori
Relativismo: i valori sono quelli del programma
Il valutatore giudica rispetto ai valori (propri o del concetto esistente di qualità)
I valori sono quelli degli
stakeholders: a volte si
accordano, altre sono in conflitto
Teoria Con una buona programmazione si possono prevedere tutti gli effetti
In ogni situazione esiste un concetto di qualità cui aspirare
La realtà è più ricca di quello che si può prevedere; importanza degli effetti inattesi
Metodo principale di indagine
Esperimenti e quasi-esperimenti
La "logica del valutare" di Scriven; analisi multicriteri
Analisi comparativa; esplorazione; analisi partecipata
Tecniche Sondaggio Analisi di soddisfazione degli utenti; giudizi degli esperti
Studi di caso; interviste, focus group, osservazioni
Quando e dove si applica normalmente
Nei programmi; nei Fondi Strutturali Europei; ovunque ci siano obiettivi rispetto ai quali è possibile individuare mezzi e risultati (politiche sociali e del lavoro ecc.)
Negli enti di formazione e istruzione dedicati agli adulti; nei centri culturali e di alfabetizzazione; nei servizi (sanità, istruzione ecc.); nella valutazione dell'università; nelle carte dei servizi (standard di qualità); nei programmi di riforma del settore pubblico.
Nelle situazioni innovative; nei progetti pilota ecc.
– 24 –
9 Loredana Perla è autrice dei sotto-paragrafi 3.1 e 3.1.1; Viviana Vinci è autrice dei sotto-paragrafi 3.1.2., 3.1.3 e 3.1.4.
Tab. Gli approcci alla valutazione (Stame, 2001)
3.1.1 L’approccio positivista-sperimentale
Nell’approccio positivista-sperimentale la valutazione è intesa come analisi e verifica del raggiungimento di obiettivi che sono stabiliti a priori. Accanto al rigore metodologico e dun-que alla validità e all’affidabilità, nei modelli ascrivibili a dun- que-sto approccio sono importanti la coerenza, la pertinenza e la neutralità del valutatore. Particolare enfasi è rivolta alla misu-razione, alla dimensione quantitativa10. Le condizioni necessarie
per una valutazione intesa come “misurazione” sono una pro-grammazione molto accurata degli obiettivi – classificati anche tassonomicamente in termini di comportamenti osser-vabili – e una strumentazione affidabile per analizzare i risul-tati attesi. Il modello valurisul-tativo emergente è di tipo razionalista (Galliani, 2014, p. 28), in cui la valutazione è associata alla ca-pacità previsionale – stante una chiara programmazione degli obiettivi – non solo degli esiti del processo formativo ma anche dei possibili cambiamenti/miglioramenti. Tale
Ambito di utilizzazione Strumentale per la decisione politica
Strumentale per la gestione e il funzionamento dell'amministrazione
Conoscitiva; empowerment
Problemi teorici La scatola nera: perché dovrebbe esserci questo risultato?
Che cos'è la qualità? Come si formano i valori?
Da dove cominciare?
Problemi di ricerca empirica
Gli obiettivi non sono chiari: i dati non ci sono
Come si fissano gli standard di qualità?
Dove guardare?
Rimedi Analisi della valutabilità; valutazione tassonomica, mappe concettuali, valutazione basata sulla teoria: Weiss, Toulemonde
Se non ci sono standard di qualità usare quelli del confronto con altre realtà o col proprio passato. Coinvolgere gli utenti nella definizione della qualità
Da cosa nasce cosa; la pratica riflessiva del valutatore
Vantaggi Serve a programmare meglio
Serve al buon management C'è apprendimento per tutti gli
stakeholders
– 25 –
10 Nella pratica, questo approccio coincide con la logica degli esami e dei test.
cio risente di una certa rigidità metodologica e non sempre riesce a contemperare variabili di area grigia.
All’interno di tale approccio rientrano modelli di measu-rement e modelli goals-oriented, i quali sono stati applicati quasi prevalentemente in contesti scolastici. Alcune procedure e ta-luni strumenti (questionario) sono stati mutuati anche dal-l’approccio pragmatista-qualità e, dunque, applicati anche alla valutazione delle azioni educative.
3.1.2 L’approccio pragmatista della qualità
L’approccio pragmatista della qualità enfatizza invece la dimen-sione della comparazione e della definizione di standards e di criteri, concependo la valutazione educativa “come gestione delle procedure organizzative per garantire il raggiungimento degli standard formativi definiti all’interno o all’esterno del sistema” (Galliani, 2014, p. 31). Il modello valutativo sotteso è di tipo funzionalista, in cui la valutazione assume un ruolo di supporto per i decision makers e risponde a richieste esterne degli stakeholders.
Nei modelli ascrivibili a questo approccio particolare ri-levanza viene data al giudizio (e quindi alla “voce” dei diversi attori coinvolti nel processo valutativo). Il rischio di questi modelli è quello dell’autoreferenzialità e dell’ancoraggio a in-dicatori stabiliti solo all’interno del sistema, ove ha luogo la valutazione.
All’interno di tale approccio rientrano diversi modelli, quali il Company-Wide Quality Control, il Golf-free evaluation, il modello CAF, il modello Servqual.
3.1.3 L’approccio costruttivista
L’approccio costruttivista valorizza la soggettività degli attori coinvolti nel processo di valutazione e punta a interpretare e a
comprendere, nell’ottica della valutazione ermeneutica (Perla, 2004), più che a “misurare” i fenomeni e le azioni, rese oggetto di valutazione. Al centro dei modelli compresi entro questo approccio vi è l’attenzione alla dimensione qualitativa della va-lutazione, al pluralismo dei valori di cui sono portatori i diversi stakeholders, che obbliga ad un processo negoziale, di com-prensione fenomenologica dei significati, dei linguaggi e delle culture emergenti dalla comunità in cui si è inseriti (Galliani, 2014). Il modello di valutazione educativa sotteso all’approccio costruttivista è di tipo processuale. Esso vede la valutazione quasi come un atto di comunicazione, interpretabile e negozia-bile, caratterizzato da continuità, ricorsività, creatività, impre-vedibilità, progressività, collaboratività, regolazione cognitiva e metacognitiva della qualità degli apprendimenti individuali e dei sistemi organizzativi (ibidem, p. 35; Guba & Lincoln, 1987).
Si tratta di un approccio più vicino alla possibilità di cogliere gli impliciti di processi che non vengono colti dalle metodo-logie della valutazione tradizionale. Tuttavia, non sempre si rie-sce a garantire la generalizzazione e l’utilizzo delle conorie-scenze e dei risultati ottenuti. Anche in questo caso, molteplici sono i modelli: Modello CIPP (Strufflebeam, 1967, 1983, 2003); Mo-dello Responsive Evaluation (Stake, 1975, 1988); MoMo-dello multi metodo (Patton, 1990, 1997); Modello della riflessione nel corso dell’azione (Shön, 1983, 1987); Modello della valu-tazione formativa (Calonghi, 1992; Hadji, 1995).
3.1.4 Certificazione e valutazione delle competenze nel campo dell’educazione degli adulti
Dopo aver individuato i tre principali approcci di valutazione, è opportuno fare riferimento a quello che, pur non costi-tuendo un vero e proprio “modello” scientifico di valuta-zione, comprende un insieme di procedure - gran parte delle
quali in via di sperimentazione sul campo - che stanno veri-ficando la possibilità di validare e certificare le competenze informali e non-formali dei lavoratori europei nel campo del-l’educazione degli adulti. Come è noto, la strategia Europa 2020 si pone l’obiettivo di pervenire a una crescita intelli-gente, sostenibile e inclusiva. In questa direzione, va letta la Proposta di Raccomandazione del Consiglio Europeo sulla convalida dell’apprendimento non formale e informale (Bru-xelles 05.09.2012), che ha ribadito l’invito a tutti gli stati membri a dotarsi al più presto di un sistema omogeneo di certificazione e di valutazione delle competenze, per permet-tere il riconoscimento delle competenze maturate nel corso della vita professionale dai soggetti adulti. Già il Libro Bianco del Comitato Bauer indicava nel lontano 1997 il bisogno di stabilire un migliore sistema di riconoscimento e di defini-zione delle competenze non formali (cfr. glossario Cedefop). A livello europeo, il 20/12/2012 è stata pubblicata la Racco-mandazione del Consiglio dell’Unione Europea sulla valida-zione dell’apprendimento non formale e informale, con la quale gli Stati membri sono stati sollecitati ad istituire sistemi nazionali per la validazione dell’apprendimento non formale e informale entro il 2018. Contestualmente, si è avvertita l’ur-genza di promuovere lo sviluppo di metodologie per la valu-tazione delle competenze acquisite al di fuori dei contesti canonici dell’istruzione e della formazione, ovvero nei con-testi non formali ed informali dell’apprendimento. Il ricono-scimento di queste tipologie di competenze faciliterebbe la mobilità e la ricollocazione dei lavoratori entro il mercato occupazionale. Si tratta di un’azione necessaria anche in ra-gione del crescente fabbisogno di nuove professionalità in al-cuni settori quali, ad esempio, i servizi alla persona (i cosiddetti white jobs).
