Ridefinire il profilo professionale del valutatore
degli staff nell’educazione degli adulti
Redefining the Professional Profile
of the Adult Education Staff Evaluator
ABSTRACT
The evaluation of professionals involved in Adult Education (AE) staff has a crucial role in European policies. Furthermore, the syntagm educational work is difficult to define because it concerns a variegated target of users and an action which is played out in different contexts and for different pur-poses: the educational work is a complex “object to be evaluated” and the evaluation of the educational work requires different perspectives, meth-ods and practices. Thanks to EDUEVAL project (an EU project coordinated by University of Milano-Bicocca, Italy: http://www.edueval.eu/), the AE staff Evaluator have been defined as a professional figure with different compe-tences, having specific multi-functional characteristics to work in different contexts. In the study on the profile of the evaluator of AE staff and in de-signing the ensuing training model, consideration has been given, on the one hand, to the theoretical framework which considers the specific profes-sional skills and competences of the evaluator; on the other hand, work was performed by recognizing the transversal professional skills and compe-tences of the evaluator, through consulting and study of the ESCO portal. EDUEVAL results help to fuel debates in matters of the professionalization of evaluative practice.
La valutazione dei professionisti che operano nel campo dell’Educazione degli Adulti (EDA) riveste un ruolo cruciale nelle politiche europee. Tut-tavia, il sintagma agire educativo è di difficile perimetrazione, in quanto riguarda un target plurimo di fruitori, con azioni declinate in differenti con-testi e per differenti scopi: il lavoro educativo rappresenta un complesso “oggetto da valutare” e la valutazione del lavoro educativo richiede prospettive, metodi e pratiche plurime. Grazie al progetto europeo EDUE-VAL (coordinato dall’Università degli Studi di Milano-Bicocca, http://www.edueval.eu/), si è contribuito alla definizione del valutatore degli staff EDA come una figura professionale con spiccate caratteristiche di po-lifunzionalità in grado di operare in vari contesti. Nello studio del profilo del valutatore dell’AE staff, e nel disegno del modello di formazione che ne consegue, si è tenuto in considerazione, per un verso, il frame teorico che guarda alle competenze professionali specifiche del valutatore; per altro verso, è stato svolto un lavoro di ricognizione delle competenze profession-ali trasversprofession-ali del valutatore, attraverso una consultazione e immersione nel portale di orientamento professionale ESCO. Le risultanze del progetto EDUEVAL contribuiscono ad alimentare il dibattito in tema di professional-izzazione della pratica valutativa.
KEYWORDS
Evaluator, Professional Profile, Adult Education, Training, EDUEVAL. Valutatore, Profilo Professionale, Educazione degli Adulti, Formazione,
Viviana Vinci
Università degli Studi di Bari Aldo Moro viviana.vinci@uniba.it Fo rm a z io n e & I n se g n a m e n to X IV – 2 – 2 0 1 6 IS S N 1 9 7 3 -4 7 7 8 p ri n t – 2 2 7 9 -7 5 0 5 o n l in e S u p p le m e n to1. Il valutatore professionista dell’agire educativo: “vuoto teorico” e difficoltà di pe-rimetrazione
La definizione di un profilo professionale appare un’operazione assai comples-sa, in quanto comporta l’analisi e la “messa a fuoco” di numerosi elementi inter-connessi (Butera, 1999), quali il contesto di riferimento in cui la professione si svolge (contesti di lavoro, ambiti e settori di pertinenza, tipologia di utenza di ri-ferimento), l’analisi dell’area delle conoscenze, abilità e competenze necessarie per lo svolgimento della professione, l’identificazione del ruolo rivestito, delle principali azioni e funzioni agite, dei principi etici e deontologici ispiratori del-l’agire professionale. Tale complessità aumenta esponenzialmente nel momento in cui la definizione del profilo professionale riguarda ambiti di difficile defini-zione e perimetradefini-zione: è il caso del valutatore dell’agire educativo, il quale ope-ra con un target plurimo di fruitori, con azioni declinate in differenti contesti (co-munita, carceri, centri aggregativi, ospedali, centri terapeutici ecc.) e per diffe-renti scopi (accompagnamento, formazione, supervisione, ecc.), che vengono solitamente svolte da professionalità diverse, implicate in diversi servizi del lavo-ro educativo, di cui è difficile costruire una mappatura utile ad orientare la defi-nizione di un chiaro profilo professionale.
Anche a livello internazionale, si assiste ad un recente dibattito sui profili di competenze del lavoro educativo (Research voor Beleid, 2010, Carlsen & Irons, 2003; Jarvis, 2009), il quale ha messo in evidenza la difficoltà di pervenire ad una modellistica compiuta delle procedure e dei metodi della valutazione dell’agire educativo, in particolare nel campo dell’educazione degli adulti.
Il progetto europeo EDUEVAL (538743-LLP-1-2013-IT-GRUNDTVIG-GMP, avvia-to nel 2014 sotavvia-to il coordinamenavvia-to dell’Università di Milano-Bicocca, cfr. http://www.edueval.eu/), ha inteso contribuire alla riflessione, a livello europeo, sulla definizione del profilo professionale del valutatore degli staff nel campo dell’educazione degli adulti.
Le risultanze del progetto (Perla, Vinci 2015a, 2015b; EDUEVAL Consortium, 2015) hanno evidenziato, infatti, quanto la valutazione del lavoro educativo ven-ga svolta in Europa da figure professionali eterogenee, che è possibile aggreven-gare fondamentalmente in due macro-categorie: per mezzo dei “valutatori ufficial-mente riconosciuti”, costituiti dai cosiddetti valutatori/certificatori della qualità o personale afferente ad enti esterni all’organizzazione, che valutano la non con-formità a standard prefissati e che non è detto abbiano una profonda conoscen-za del contesto educativo e della complessità dei processi e delle dinamiche la-vorative degli staff che vi operano; o attraverso “valutatori non ufficialmente ri-conosciuti”, ossia professionisti provenienti da percorsi formativi e professiona-li differenti, con esperienze nel campo educativo e ruoprofessiona-li di coordinamento (for-matori, supervisori, consulenti, coordinatori, esperti) che, a differenza dei primi, hanno indubbiamente un’ampia conoscenza dei contesti di educazione degli adulti, ma non necessariamente provengono da percorsi formativi e professiona-lizzanti specifici sulla valutazione, per cui il loro operato si svolge spesso attra-verso strategie poco codificate o per nulla proceduralizzate e strumenti informa-li o costruiti all’interno dei gruppi di lavoro – ginforma-li staff – oggetto stesso della valu-tazione (EDUEVAL Consortium, 2015).
Le conseguenze di tale “vuoto” modellistico e teorico, derivanti dall’alternar-si di figure profesdall’alternar-sionali differenti e dalla compresenza di modelli e pratiche di valutazione oscillanti fra la certificazione esterna e pratiche valutative informali e poco riconosciute, non rendono solo assai complesso il tentativo di definire il profilo del “valutatore professionista” degli staff nell’educazione degli adulti, ma si ripercuotono più in generale sulla qualità dei processi lavorativi/organizzativi e il benessere degli operatori che operano all’interno delle organizzazioni.
V
iv
ia
n
a
V
in
c
i
2. “Tracce” professionalizzanti e competenze plurime
La letteratura internazionale incentrata sulla definizione e formazione del profi-lo del “valutatore professionista” mostra l’assenza di una univoca definizione delle competenze del valutatore e la conseguente complessità di pervenire ad una modellizzazione oggettivata della professione del valutatore (King, Stevahn 2015; Russ-Eft et al., 2008; Stevahn et al., 2005; Torres, Preskill, Piontek, 1996; Al-tschuld, Engle, 1994; Balotta, Righetti, Turbati, Caropreso, in Vergani 2013). Ca-stro, Fragapane e Mazzeo Rinaldi (2013) evidenziano come il dibattito scientifico si stia interrogando da oltre trent’anni sulla possibilità di considerare o meno la valutazione come una professione (Jacobs, Boisvert, 2010; Worthen, 1994; House, 1993), sulla base della notevole eterogeneità dei percorsi formativi da cui proven-gono i valutatori e dei contesti in cui la valutazione ha luogo: «attualmente, la questione più rilevante sulla professionalizzazione del valutatore riguarda la sua debole identità: differenti scuole fanno riferimento a diverse definizioni di valu-tazione, ciascuna delle quali ne evidenzia il “come”, piuttosto che il “perché” o il “cosa” (Picciotto, 2011). Nel dibattito internazionale più recente permangono giudizi contrastanti sull’opportunità di perseguire la strada della professionaliz-zazione della valutazione, e le questioni aperte sono riconducibili ai diversi temi connessi ai processi di istituzionalizzazione professionale: l’identificazione di una sfera di competenza esclusiva, la dimensione etica della pratica professiona-le, l’opportunità di consolidare un percorso formativo ad hoc per l’acquisizione delle conoscenze e delle competenze valutative, l’individuazione di credenziali per l’accesso all’esercizio professionale» (Castro, Fragapane, Mazzeo Rinaldi, 2013, p. 202).
Anche le Guidelines e gli Standards professionali per valutatori effettuati dalle più influenti società di valutazione europee e americane – quali, ad esempio, l’American Evaluation, l’Australasian Evaluation Society, l’UNEG United Nations
Evaluation Group, l’UNESCO e l’European Evaluation Society – forniscono un mix
di prescrizioni e suggerimenti per valutatori, focalizzandosi su principi deontolo-gici e di etica valutativa, fra cui regole di condotta e valori ispiratori dell’azione.
Le competenze professionali del valutatore dell’agire educativo sono declina-te, quindi, in maniera piuttosto generica. Purtuttavia, alcune competenze emer-gono trasversalmente e costituiscono indubbiamente delle “tracce” utili per orientare la definizione del profilo del valutatore professionista, di cui si è tenu-to contenu-to anche nella perimetrazione del profilo EDUEVAL, e cioè competenze:
– Tecniche e metodologiche della valutazione, relative all’utilizzo di metodi e
strumenti della ricerca valutativa (adattati via via a contesti differenti), al saper utilizzare tecniche di elaborazione ed interpretazione dei dati, al saper ana-lizzare e redigere documenti a supporto delle attività di valutazione;
– Organizzative e di coordinamento della valutazione, di gestione di risorse
economiche e umane al fine di ottimizzare le attività previste dal contratto/servizio, di gestione di politiche, programmi, progetti e azioni da valutare;
– Di settore, ossia relative allo specifico contesto in cui il valutatore è chiamato ad operare e a cui è opportuno adattare metodi e modelli valutativi;
– Relazionali, comunicative, culturali multi-disciplinari e trasversali (Rey, 2003),
relative alla gestione dei gruppi, alla risoluzione di problemi, alle strategie di coping di situazioni ansiogene, alla capacità di entrare in relazione con una postura di ascolto, attenta a mitigare soggettività e pregiudizi, nei confronti degli utenti della valutazione, dei committenti, degli stakeholders.
L’analisi della letteratura ci mostra, dunque, come diverse competenze
con-R
id
e
fi
n
ir
e
i
l
p
ro
fi
lo
p
ro
fe
ss
io
n
a
le
d
e
l
v
a
lu
ta
to
re
corrano alla definizione dell’expertise professionale del valutatore dell’agire educativo, fino al punto di accomunare tale profilo a quello di altri professioni-sti, come coloro che operano come consulenti di cura della persona, di counse-ling, formazione, supervisione o, ancora, come ricercatori: il valutatore, come ta-li altri professionisti citati, sviluppa competenze plurime e flessibita-li che com-prendono la capacità di scegliere, adattare, ideare e negoziare modelli e meto-dologie valutative sulla base del contesto, degli utenti, delle risorse disponibili, comprendendo e quasi “interpretando” i processi agiti all’interno dell’organizza-zione in cui opera come valutatore. Come tale, il valutatore assume un profilo definito in maniera non “granitica”, ma poliedrica, che coniuga una doppia com-petenza esperta, quella tecnico/valutativa con quella relativa alla specificità del contesto oggetto di valutazione.
Il lavoro di immersione e ricognizione dei lavori sul profilo del valutatore ha permesso di costruire un ricco quadro di partenza per mettere a fuoco l’identità complessa e le competenze eterogenee del valutatore dell’AE staff nel progetto EDUEVAL, confrontandosi anche con una cornice capace di far dialogare la boz-za embrionale del profilo professionale del valutatore degli AE staff con il mon-do del lavoro, in una dimensione europea: il modello ESCO (European
Skills/Competences, qualifications and Occupations), una tassonomia di
profes-sioni e competenze professionali – strutturato gerarchicamente – nato come strumento di consultazione utile per l’orientamento professionale e la ricerca di un’occupazione o di un’opportunità di apprendimento.
3. Il profilo EDUEVAL del valutatore degli staff nell’educazione degli adulti
Nello studio del profilo del valutatore dell’AE staff e nel disegno del modello di formazione che ne consegue (Perla, Vinci 2015a, 2015b; EDUEVAL Consortium, 2015), sono state individuate, per un verso, le competenze trasversali (comuni, ol-tre che al valutatore dell’AE staff, anche ad alol-tre figure professionali, come già detto) attraverso un’esplorazione del portale ESCO; per altro verso, le compe-tenze specifiche della professione valutativa, emergenti dalle risultanze del pro-getto EDUEVAL.
Il profilo in uscita emergente, e a cui si rivolge il Curricolo di formazione, mo-stra la complessità e la coesistenza di ambiti di competenza diversi, afferenti a di-scipline ed esperienze educative e, allo stesso tempo, a studi ed esperienze va-lutative specialistiche: il valutatore degli AE staff rappresenta un professionista di livello apicale che opera nel campo dell’educazione degli adulti, utilizzando me-todi e strumenti valutativi specifici volti al miglioramento del lavoro educativo degli staff. I suoi ruoli sono molteplici, e comprendono – oltre a quelli più speci-ficatamente valutativi – altri di management, formazione e coordinamento; allo stesso modo le sue attività sono assai differenziate, ad esempio comprendono la progettazione, l’attuazione e la gestione della valutazione delle azioni educative e formative degli staff; la costruzione di piani e strumenti di valutazione e auto-valutazione; la raccolta, analisi e interpretazione dei dati; la documentazione e comunicazione dei risultati della valutazione; l’accompagnamento e progettazio-ne di azioni di follow up e ri-progettazioprogettazio-ne del lavoro educativo degli staff AE; il sostegno alla collaborazione dello staff con il territorio e gli interlocutori/stake-holders a vario titolo coinvolti nei processi valutativi dei servizi. Utilizza metodi e strumenti qualitativi e quantitativi per lo svolgimento delle proprie attività, fra cui, in particolare, metodi e strumenti di osservazione, checklist e rubriche valu-tative; metodi e strumenti di rilevazione dei dati quantativi quali survey e que-stionari; metodi e strumenti di rilevazione dei dati qualitativi, utilizzati nelle atti-vità di valutazione e di autovalutazione, valorizzanti la dimensione del gruppo
V
iv
ia
n
a
V
in
c
i
(l’oggetto della valutazione è lo staff, non il singolo operatore) fra cui focus group, case studies, brainstorming, portfolio, audit, scritture professionali/docu-mentali dello staff.
Opera in diversi ambiti del sociale, che comprendono quello giudiziario, del-la salute mentale, familiare, sociale, culturale, deldel-la formazione professionale, dello sviluppo delle comunità, della prevenzione. L’agire professionale del valu-tatore è indubbiamente orientato da profondi principi etici e deontologici, in grado di garantire trasparenza, imparzialità e rigore dei processi valutativi. Oltre ad una formazione specifica, un requisito obbligatorio per l’esercizio della pro-fessione del valutatore è il possesso di una nutrita esperienza professionale nel campo dell’educazione degli adulti, sia nei ruoli di educatore/operatore, che nei ruoli di secondo livello, cioè di coordinamento degli staff.
La competenze trasversali selezionate dal portale ESCO afferiscono a cin-que ambiti ordinati gerarchicamente per livelli: l’applicazione delle
conoscen-ze; gli atteggiamenti e valori sul lavoro; le capacità e competenze sociali; le competenze e capacità di pensiero; la lingua e la comunicazione. Se ne citano
alcuni, a titolo esemplificativo, rimandando per approfondimento alla descri-zione dettagliata contenuta nell’Handbook che documenta le risultanze finali del progetto (EDUEVAL Consortium, 2015): prestare attenzione alla qualità, fare
i conti con l’incertezza, imparare dagli errori, gestire la frustrazione (fra gli
“At-teggiamenti”); incoraggiare il personale ed i colleghi, accompagnare, motivare,
decidere le priorità, facilitare i gruppi, supportare il cambiamento, discutere su casi, fare critiche costruttive, condividere le informazioni (fra le “Capacità e
competenze sociali”).
Fra le competenze professionali specifiche del “valutatore”, emergenti dalle risultanze del progetto EDUEVAL, emergono la capacità di padroneggiare alcuni strumenti metodologici tipici della ricerca valutativa, quali il saper costruire un
disegno di ricerca valutativa; il saper utilizzare gli strumenti di rilevazione dei da-ti; il saper utilizzare strumenti e metodi di analisi dei dada-ti; il saper redigere un re-port o documenti di sintesi descrittivi dei risultati ottenuti; il saper offrire la pro-pria consulenza e supporto agli utenti per introdurre piani di miglioramento e strumenti utili per la qualità dei processi di lavoro e il benessere degli operatori;
il saper analizzare e interpretare un contesto di riferimento facendo leva su com-petenze diagnostiche e interpretative.
In conclusione: la definizione del profilo del valutatore degli staff nell’educa-zione degli adulti è frutto di un lavoro collaborativo, svolto all’interno del proget-to EDUEVAL, in cui staff di esperti/ricercaproget-tori e pratici/operaproget-tori – che lavorano come valutatori degli staff nei contesti educativi per adulti – si sono confrontati, al fine di offrire una riflessione utile alla costruzione di strumenti concreti per lo sviluppo di un sistema e di una cultura valutativa del lavoro educativo in Europa.
Ovviamente si tratta di un percorso in fieri, che necessità di una implementa-zione concreta di questi strumenti nei contesti lavorativi reali e dell’impegno di pervenire, a lungo termine, ad un preciso riconoscimento normativo della pro-fessione del valutatore degli staff nell’educazione degli adulti, anche grazie alla creazione di un albo professionale.
EDUEVAL Project: 538743-LLP-1-2013-IT-GRUNDTVIG-GMP. With the support of LLP Programme Grundtvig Multilateral Project. This publication only reflects the views of the Authors, and the Commission cannot be held responsible for any use which may be made of the information contained therein.
R
id
e
fi
n
ir
e
i
l
p
ro
fi
lo
p
ro
fe
ss
io
n
a
le
d
e
l
v
a
lu
ta
to
re
Riferimenti bibliografici
Altschuld, J.W., Engle, M. (Eds.) (1994). The Preparation of professional evaluators: issues,
perspectives and Programs. New Directions in Program Evaluation. San Francisco:
Jos-sey-Bass.
Balotta, C., Righetti, E., Turbati, R., Caropreso, I. (2013). La professione di valutatore: ambiti
e competenze. In A. Vergani, Prove di valutazione. Libro bianco sulla valutazione in Ita-lia: Libro bianco sulla valutazione in Italia. Milano: FrancoAngeli.
Butera, F. (1999). Lavoratori della conoscenza: il lavoro, la formazione, la rappresentanza. In A. Ranieri (Ed.). Il sapere e il lavoro. Milano: FrancoAngeli.
Carlsen, A., & Irons, J. (eds.) (2003). Learning 4 Sharing: Manual for Adult Education Practi-tioners. Vilnius, 23-28.
Castro, M. P., Fragapane, S., Mazzeo Rinaldi, F. (2013). Professione Valutatore: uno sguardo al contesto europeo. Rassegna Italiana di Valutazione, 16(56/57), 198-227.
EDUEVAL Consortium (Ed.) (2015). The Evalutation of Adult Education Staff. EDUEVAL
Han-dbook. Vol. 3. Lecce: PensaMultimedia.
House, E.R. (1993). Professional Evaluation: Social Impact and Political Consequences. Newbury Park, CA: SAGE.
Jacob, S., Boisvert, Y. (2010). To Be or Not to Be a Profession: Pros, Cons and Challenges for Evaluation. Evaluation, 16(4) 349–369.
Jarvis, P. (Ed.) (2009). The Routledge International Handbook of Lifelong Learning. London: Routledge.
King, J.A., Stevahn, L. (2015). Competencies for program evaluators in light of adaptive ac-tion: What? So what? Now what? In J.W. Altschuld, M. Engle (Eds.). Accreditation,
certi-fication, and credentialing: Relevant concerns for U.S. evaluators. New Directions for Evaluation, 145, 21–37.
Perla, L., Vinci, V. (2015a). The Evalutation of Adult Education Staff. EDUEVAL Curriculum. Vol. 1. Lecce: Pensa Multimedia.
Perla, L., Vinci, V. (2015b). The Evalutation of Adult Education Staff. EDUEVAL How to do
Guide. Vol. 2. Lecce: Pensa Multimedia.
Picciotto, R. (2011). The logic of evaluation professionalism. Evaluation, 17(2), 165-180. Research voor Beleid (2010). Key competences for adult learning professionals.
Contribu-tion to the development of a reference framework of key competences for adult lear-ning professionals. Final report. Zoetermeer.
Rey, B. (2012). Ripensare le competenze trasversali (tr. it.). Milano: FrancoAngeli.
Russ-Eft, D.F., Bober, M.J., de la Teja, I., Foxon, M., Koszalka, T.A. (Eds.) (2008). Evaluator
com-petencies: Standards for the practice of evaluation in organizations. San Francisco:
Jos-sey-Bass.
Stevahn, L., King, J. A., Ghere, G., Minnema, J. (2005). Evaluator competencies in universi-ty-based evaluation training programs. Canadian Journal of Evaluation, 20(2), 101-123. Torres, R.T., Preskill, H.S., Piontek, M.E. (1996). Evaluation strategies for communicating and
reporting: Enhancing learning in organizations. Thousand Oaks, CA: Sage.
Worthen, B.R. (1994). Is evaluation a mature profession that warrants the preparation of evaluation professionals? New Directions for Evaluation. 62, 3-15.
