La predisposizione di una sistematica attività di valutazione degli interventi formativi può consentire l’estensione delle verifiche al di là del funzionamento del dispositivo formativo in sé, associando alla constatazione dell’esistenza, dell’intensità e della direzione degli scostamenti tra obiettivi e risultati dell’azione formativa al termine del periodo di riferimento, la ricognizione di ulteriori elementi significativi per la comprensione dell’impatto della formazione sugli individui e sull’organizzazione.
335
Per una diffusa trattazione sull’impatto della formazione, riferita a numerosi casi di studio, si rinvia a Gagliardi P. e Quaratino, L. (2000), L'impatto della formazione. Un approccio
etnografico, Milano: Guerini.
336
La possibile correlazione tra azione formativa e migliori risultati aziendali rappresenta un’assunzione plausibile sul piano logico ma difficile da corroborare con evidenze empiriche: a questo proposito, secondo un sondaggio effettuato in Francia nel 1986, riguardante un campione di aziende che effettuavano rilevanti investimenti in formazione, oltre il 50% dei soggetti intervistati (con percentuali superiori per gli individui che occupavano ruoli esecutivi) sosteneva di non avere occasione di applicare le competenze acquisite nello svolgimento delle proprie funzioni: cfr. Caspar C. e Meignant, A. (1988), "L’investissement formation : un mythe utile", Education
Permanente, 95 (3), citato in Bulgarelli A., Giovine, M. e Pennisi, G. (a cura di) (1990), Valutare l'investimento formazione, Milano: Franco Angeli. Sull’argomento si veda anche Hauser G.,
Maître, F., Masingue, B. e Vidal, F. (1985), L'investissement formation, Paris: Éditions d'Organisation.
168
Ampliare l’orizzonte d’analisi alla percezione degli utenti, sulla base di un “jugement basé sur des analyses rigoureusement fondées” (Thoenig, 2005)337, alla verifica dell’effettivo apprendimento dei contenuti, alla capacità di traslare le nozioni e l’expertise acquisite in modifiche del comportamento nello svolgimento delle mansioni lavorative ed ai conseguenti effetti sull’organizzazione, può significare un potenziale accrescimento del supporto informativo per coloro i quali sovrintendono alle fasi di ideazione, pianificazione e realizzazione della formazione. D’altro canto, in tale processo rientrano significativi gradi di aleatorietà derivanti da elementi di soggettività, da fattori esogeni e da circostanze differite nel tempo connaturati ai diversi livelli in cui è possibile strutturare la valutazione.
L’oggetto della valutazione, dunque, è in via diretta il dispositivo formativo, ma onde valutarne gli effetti occorre pervenire ad indicatori indiretti, basati su percezioni dei fruitori, sull’apprendimento e sulle modificazioni intercorse nelle competenze degli utenti, sul riscontro dell’incremento di performance (atteso ed effettivamente conseguito) delle organizzazioni di provenienza degli utenti che hanno fruito della formazione, ricorrendo a procedure diversificate a seconda delle finalità che il processo valutativo si pone.
Alcuni degli approcci classici inglobano nel tema della valutazione della formazione aspetti relativi al livello di efficienza nel conseguimento degli obiettivi formativi ed alla congruenza degli stessi rispetto alle esigenze dell’organizzazione. Rose (1968)338, infatti, predilige un approccio alla valutazione ampio, basato in primis sulla verifica dell’apprendimento339,
337
Thoenig (2005) precisa che il rigore analitico richiesto dalle procedure di valutazione non andrebbe confuso con la “science des résultat parfaits”, per gli spazi di aleatorietà che la valutazione della formazione implica. L’Autore sottolinea anche l’importanza che i valutatori percepiscano di non essere né proprietari né destinatari della valutazione stessa. Cfr. Thoenig J.C., (2005). 'L'èvaluation: un cycle de vie à la française'. In: Lacasse, F. e Verrier, P.E. (a cura di). 30
ans de réforme de l'État. Paris: Dunod
338
Cfr. Rose H.C. (1968), "A plan for training evaluation", Training and Development Journal, 22 (5), pp.38-51.
339
Bellamio (2002:11-12) sostiene che “un approccio alla valutazione basato sull’apprendimento si colloca all’interno della concezione pedagogica-andragogica secondo cui protagonista del processo formativo è il soggetto nella sua interezza e complessità; scopo ed esito insieme della formazione sono la crescita, lo sviluppo, il cambiamento del soggetto, che avvengono grazie all’interazione tra lavoro della mente, comportamento e contesto di vita e di lavoro”. Tale approccio può essere utilmente integrato, nella prospettiva dell’allargamento delle finalità del
169
attraverso una “misurazione ed un confronto in merito alla preparazione degli individui tra prima e dopo la loro partecipazione al corso”, ma che possa essere funzionale alla predisposizione di azioni correttive, nel definire gli interventi futuri, sulla base della coerenza tra missione istituzionale, obiettivi e modalità di conseguimento degli stessi. Kimber (1970) sottolinea l’importanza di esplicitare se gli obiettivi della formazione siano stati conseguiti in maniera efficiente e se questi abbiano risposto alle effettive esigenze dell’organizzazione, per rendere più chiari i risultati attesi per i periodi successivi. La ricerca di informazioni sugli effetti degli interventi formativi è la finalità prevalente della valutazione della formazione nel contributo di Hamblin (1974)340, mentre Blumenfeld ed Holland (1971) si spingono ad asserire che valutare la formazione significhi verificare la realizzazione dei cambiamenti di comportamento nei fruitori degli interventi. Ciò che appare evidente è la proiezione del processo di valutazione (e delle conseguenti criticità341) su differenti livelli: a seconda delle finalità perseguite, si potrà insistere maggiormente sulla percezione che hanno maturato gli individui su vari aspetti degli interventi formativi cui sono stati sottoposti; al livello di apprendimento delle tematiche trattate, all’ampliamento delle conoscenze ed abilità, alla modificazione dei comportamenti in conseguenza della fruizione della formazione; all’impatto sull’organizzazione, verificando se i fruitori degli interventi, modificando i propri comportamenti, contribuiscono a determinare miglioramenti nelle performance aziendali, in termini, ad esempio, di riduzione
processo di valutazione, alla commisurazione degli effetti dell’apprendimento, in termini di modifiche dei comportamenti individuali e dei conseguenti riflessi sulle prestazioni dei singoli e delle organizzazioni in cui essi operano. Cfr. Bellamio D. (2002), 'Presentazione', in: Bisio, C. (a cura di), Valutare in formazione. Azione, significati, valori, Milano: Franco Angeli.
340
Hamblin (1970) definisce la valutazione della formazione come "any attempt to obtain information (feedback) on the effects of a training program, and to assess the value of the training in the light of that information”. Riprendendo la “teoria della gerarchia” di Kirkpatrick (di cui si tratta più Avanti nel paragrafo), Hamblin pone in particolare evidenza il nesso causale tra i differenti livelli della valutazione: cfr. Hamblin A.C. (1974), The Evaluation
and Control of Training, London: McGraw-Hill.
341
Si sottolinea che le criticità connesse all’attività di valutazione della formazione possono scaturire tanto dalla strutturazione del processo quanto dall’utilizzo dei risultati delle rilevazioni: a questo proposito, Scriven (1981:1) distingue tra valutazione (intesa come processo di determinazione di una serie di attributi di un dato fenomeno) e valutazioni (i risultati di tale attività): “evaluation is the process of determining the merit, worth and value of things, and
evaluations are the products of that process. Cfr Scriven M. (1991), Evaluation Thesaurus,
170
dei tempi necessari per espletare le attività o di accrescimento della qualità dei servizi e della soddisfazione degli utenti.
Sussiste una correlazione forte tra i diversi ambiti di analisi, dal momento che si può supporre che il gradimento degli interventi formativi sia un presupposto per l’apprendimento, che a sua volta determina eventuali impatti sui contesti operativi (Lattanzio, 2004:159-160).
In relazione ai diversi livelli di analisi si determinano tempistiche e modalità di rilevazione assai differenziate. A margine degli interventi formativi, in genere, si sonda la percezione dei fruitori degli interventi formativi attraverso questionari “a caldo”, valutando l’apprendimento dei temi trattati mediante test, simulazioni di condizioni di lavoro ed altre tipologie di verifiche. Forme di valutazione differite nel tempo possono riguardare il dispositivo formativo alla prova degli effetti indotti sugli utenti e, conseguentemente, sulla performance delle organizzazioni, ammettendo un rilevante margine di errore dovuto a condizionamenti esterni che influenzano le prestazioni dei singoli ed i risultati aziendali.
La suddivisione del processo in differenti livelli di valutazione rappresenta l’elemento centrale del contributo di Kirkpatrick342, che distingue quattro diverse dimensioni di analisi interrelate, ciascuna delle quali apporta informazioni per la successiva. L’Autore distingue i livelli in: reaction, learning, behavior, results:
- alla base del processo si colloca il livello di valutazione sulla “reazione” dei partecipanti all’azione formativa, teso a raccogliere le impressioni generali sulla comprensione dei contenuti, sulla possibilità di utilizzarli per
342
Cfr. Kirkpatrick D.L. (1960), "How evaluate training programs: an abstract", Journal of
American Society of Training Directors, 6; Kirkpatrick D.L. (1976), 'Evaluation of training', in:
Craig, R.L. (a cura di), Training and development handbook: a guide to human resource
development, New York: McGraw-Hill. Il modello costituisce il riferimento di gran parte dei
contributi successivi sul tema, molti dei quali non presentano peraltro elementi di sostanziale originalità rispetto allo schema di Kirkpatrick: Foxon (1989), conducendo un’accurata review sui principali giornali americani, inglesi ed australiani tra il 1970 ed il 1986, evidenzia un particolare gap in merito alle finalità della valutazione. Cfr. Foxon M. (1989), "Evaluation of training and development programs: a review of the literature", Australian Journal of Educational Technology, 5 (2), pp.89-104. Elementi interessanti emergono, invece, dai contributi di Le Boterf (1999), che lega l’attività di valutazione al concetto di competenza, e di Phillips (1997), che tratta del ritorno dell’investimento in formazione. Si sottolinea altresì una linea di tendenza (Brinkerhoff, 1998) che considera “la formazione come una consulenza alla performance, e (…) la valutazione (…) come insieme di domande e decisioni a supporto di questo processo” (Bisio, 2002: 15). Cfr. Brinkerhoff R. (1998), 'Measurement phase: evaluating effectiveness of Performance Improvement Projects', in: Robinson, D.G. e Robinson, J.C. (a cura di), Moving from training to performance, San Francisco: Berrett-Koehler.
171
rimodulare il proprio comportamento sul luogo di lavoro e sui riflessi che potrebbero determinare nell’organizzazione di appartenenza: risulta palese, facendo riferimento alle percezioni degli individui, come la soggettività possa ingenerare, a fronte dello stesso intervento, reazioni assai differenziate. L’effetto atteso dalla somministrazione di questionari volti a raccogliere queste tipo di informazioni può essere ricondotto alla comprensione del clima generale in cui si sono svolti gli interventi, alla trasmissione del messaggio che il feedback dell’utente è ritenuto importante, ma non è da ritenersi segnaletico dell’efficacia della formazione, in relazione alla quale si ottiene qualche elemento al successivo livello, relativo all’apprendimento.
- Per valutare il grado di “apprendimento” occorre tenere conto del livello iniziale dei partecipanti e degli obiettivi formativi programmati. Il confronto tra la situazione pre e post formazione consente la determinazione dei progressi in termini di conoscenze, abilità, competenze: nella definizione delle condizioni di partenza dei partecipanti sono insiti margini di errore rilevanti, dovuti alla possibilità di sottostimare l’effetto di attitudini e propensioni personali che inficiano il processo di apprendimento, che non sempre è possibile desumere da pur scrupolose indagini dei profili curriculari né da accurati test pre-corso. La comparazione del livello di competenze precedente e successivo agli interventi, inoltre, dovrebbe essere tarata in relazione agli obiettivi specifici della formazione,che costituiscono i parametri di riferimento per definire le prove di verifica individuali, di gruppo o le simulazioni di condizioni di lavoro.
- In un momento successivo rispetto ai primi due livelli di valutazione, si può tentare di verificare se ed in che misura l’apprendimento dei partecipanti influenza la loro “prestazione”, ovvero come la formazione influisce sull’utilizzo delle competenze nelle mansioni lavorative, sulla capacità di attuare diverse procedure di lavoro e trasferirle ai collaboratori. Le maggiori difficoltà di questo livello di analisi sono da ricondurre alla impossibilità di prevedere quando questi effetti si manifesteranno, per cui
172
sarebbe opportuno ripetere le valutazioni nel tempo (coinvolgendo chi si è sottoposto alla formazione e le persone che vi operano a contatto) attraverso metodologie di follow-up.
- Un ulteriore elemento di valutazione potrebbe riguardare, infine, l’impatto organizzativo, ovvero la misurazione della variazione dei risultati aziendali conseguente agli effetti della formazione, cercando di determinare la misura economica del beneficio prodotto dal cambiamento registrato al livello precedente in relazione alla complessiva funzionalità dell’organizzazione in cui l’individuo “formato” opera. A questo scopo occorre elaborare indicatori relativi ad incrementi di produttività, diminuzioni di turn-over o incidenti, alla qualità dei prodotti, alla riduzione dei costi e dei tempi di produzione di beni e servizi, alla soddisfazione del cliente.
Ripercorrendo le criticità potenziali in relazione ai diversi livelli, si dovrà anzitutto fare attenzione a stabilire obiettivi misurabili, ad individuare e distinguere i destinatari dagli esecutori del processo di valutazione, che dovrà essere realizzato con metodologie pertinenti, in grado di mitigare l’influenza dei fattori esterni alla formazione, consentendo un appropriato trade-off tra analiticità e tempestività del processo. Alcuni dei fattori esogeni sono insiti già nei questionari che mirano a sondare la percezione dei fruitori: essi, infatti, possono essere influenzati dalla iniziale predisposizione positiva o negativa alla partecipazione, che può, ad esempio, spingerli a valutare negativamente un corso di formazione perché “indotti” alla partecipazione da una stringente direttiva aziendale. Altre condizioni, connesse al dispositivo formativo possono alterare la percezione della qualità della formazione, come l’atteggiamento dei formatori, l’ambiente in cui si svolge (che può creare distorsione sia nella realizzazione degli interventi che nella successiva valutazione), la pertinenza degli argomenti rispetto alle esigenze individuali (prima ancora che in relazione ai bisogni dell’organizzazione), l’adeguatezza dei contenuti alle conoscenze iniziali dei partecipanti. Riguardo alla valutazione dell’apprendimento, tra le condizioni di influenza esterne all’azione formativa in senso stretto, rientra la maggiore o minore attitudine a sottoporsi al giudizio di chi somministra le verifiche, da cui
173
può derivare uno stimolo od un ostacolo al processo di acquisizione dei contenuti. Dal momento che l’output dell’intervento formativo è co-prodotto dal fruitore, ogni iniziativa risulterà efficace nella misura in cui alla somministrazione faccia seguito il recepimento, l’elaborazione e l’utilizzo dei contenuti. La creazione di condizioni favorevoli per l’apprendimento, che spetta, prima ancora che al formatore, a chi pianifica l’azione formativa, dipende da fattori intrinseci agli individui, dalla qualità degli interventi, dalle condizioni di contesto in cui si svolgono. Il livello di apprendimento determina la modifica della trama delle competenze individuali: se questa risulterà accresciuta, si potrà ipotizzare un miglioramento dei comportamenti nell’espletamento delle mansioni lavorative, che pure sarebbe semplicistico misurare attraverso simulazioni delle condizioni di lavoro, che non chiariscono l’effettivo impatto che si produrrà nel contesto lavorativo abituale, poiché l’ambiente artefatto incide di per sé sull’atteggiamento delle persone.
Ulteriori elementi di incertezza si annidano sul livello della valutazione che pone in relazione la formazione con differenziali di performance dell’organizzazione: è impossibile isolare una serie di condizioni interni ed esterni alla struttura, che suggeriscono l’attribuzione di un valore a processi valutativi a questo livello di profondità solo in relazione a specifiche circostanze che è possibile correlare in maniera diretta all’azione formativa.
Esemplificando le asserzioni precedenti, si può immaginare il processo di valutazione a margine di un ipotetico corso rivolto agli impiegati del front-office di una amministrazione pubblica, volto ad affinare le tecniche di relazione e comunicazione con gli utenti. La “reazione” del fruitore dell’intervento formativo sarà condizionata fortemente dalla percezione della propria capacità pregressa di gestire le relazioni con la clientela: se il corso è ritenuto superfluo, una valutazione negativa nel questionario “a caldo” sarà solo parzialmente correlata alla qualità del dispositivo formativo, che invece rappresenterebbe il focus della valutazione iniziale. Analogamente, nell’affrontare un test di verifica, una simulazione delle condizioni di lavoro, vari elementi condizioneranno l’atteggiamento dei partecipanti (diversi livelli di motivazione, consapevolezza di essere sottoposti al giudizio) ed i relativi risultati: la valutazione
174
dell’apprendimento risulterà solo parzialmente attendibile, né sarebbe verosimile l’effettuazione di un riscontro in questo senso attraverso un’osservazione reiterata dei comportamenti sul luogo di lavoro dei partecipanti. Risulterebbe altresì semplicistico ricondurre direttamente agli effetti della formazione eventuali variazioni dei parametri di riferimento cui pure fanno gli obiettivi della formazione: la riduzione del numero dei reclami o dei tempi d’attesa allo sportello non potrebbero essere acriticamente indicati come segnali del successo dell’azione formativa.
Da queste considerazioni emergono diversi piani interagenti di influenza sul processo di valutazione, la cui intensità si accresce all’aumentare dell’interazione con altri individui e con l’organizzazione di appartenenza. Valutare la formazione implica la definizione puntuale dell’oggetto della valutazione (il dispositivo formativo in sé, gli effetti che questo produce sulle persone o sulle organizzazioni, la pertinenza rispetto ai bisogni formativi individuali e delle aziende di riferimento), dei soggetti da coinvolgere nelle diverse fasi, l’estensione temporale (dopo gli interventi o a distanza di tempo), soglie di accettabilità all’interno degli inevitabili spazi di soggettività (dovuti al riferimento a percezioni, reazioni, giudizi e alla parziale attendibilità dei test).
Una serie di ricerche hanno evidenziato che l’azione formativa è valutata soprattutto in relazione ai primi due livelli343: ciò può essere dovuto da un lato alla considerazione che è difficile pianificare la valutazione differita nel tempo, dall’altro perché si ritiene rilevante l’influenza dei fattori esogeni sottolineati in precedenza.
343
Nelle aziende statunitensi, secondo ricerche effettuate dalla American Society for Training & Development (ASTD), circa l’80% dei programmi formativi sono valutati in termini di gradimento dei partecipanti, poco più del 30% in ordine all’apprendimento, meno del 10% in relazione ai risultati individuali e soltanto nel 6% si misura l’impatto della formazione sulle performance delle organizzazioni. Uno studio sulla formazione professionale in Svizzera (Hanhart, Schulz, Perez, Diagne, 2005) ha evidenziato che, all’interno di un consistente campione di aziende pubbliche e private, circa il 70% delle aziende era dotato di un sistema di valutazione della formazione, che si concentrava principalmente sulla reazione dei partecipanti ed in misura minore sulla modifica dei comportamenti sul luogo si lavoro, ritenendo che la valutazione dell’apprendimento fosse implicita nella fase di verifica dell’applicazione delle nuove competenze. L’impatto sul rendimento dell’azienda, invece, non veniva di fatto considerato. Cfr. Hanhart S., Schulz, H., Perez, S. e Diagne, D. (2005), La formation professionnelle continue dans les entreprises publiques et privées
175
Limitare la valutazione al mero gradimento dei partecipanti, al più verificandone l’apprendimento in relazione ai contenuti, non è coerente con una concezione della formazione come investimento immateriale in competenze.
Investimento in formazione Stock di conoscenze professionali; technicalities Comunicazione Informazione clima Coordinamento organizzazione Cultura Flessibilità Capitale intellettuale performance
Figura 4.2.1: Formazione come investimento immateriale in
competenze: adattamento da B. Martory (2009).
Come espresso nella figura precedente, investire in formazione significa istituire un percorso duraturo di accrescimento del livello di competenze diffuso nell’organizzazione, che si concretizza in miglioramenti del clima, della capacità di comunicazione, della facilità di coordinare ed organizzare: la diffusione di cultura ed elementi di flessibilità rispetto ad esigenze mutevoli, determina la capacità di conseguire performance superiori. La somministrazione di corsi di formazione volti all’accumulazione di conoscenze professionali o technicalities che influenzano positivamente il rendimento di un individuo non può esaurire i propri effetti in relazione alla padronanza nell’utilizzo di strumenti e logiche innovative: occorre che, in un clima organizzativo proattivo, si attivino meccanismi di coordinamento che consentano la trasmissione dei saperi. Rinnovando e potenziando la cultura aziendale, introducendo nuovi elementi di flessibilità che derivano dall’accresciuta conoscenza, si può realizzare la proiezione dell’azione formativa ben oltre gli effetti momentanei indotti dal
176
singolo intervento formativo, interpretando la formazione come un fattore decisivo nel percorso progressivo di costruzione di un capitale intellettuale344 che si evolve e si rinnova nel tempo.
Il riferimento ai benefici dell’azione formativa dovrebbe essere inteso non limitatamente all’efficacia pedagogica, bensì in relazione all’evoluzione dei comportamenti di chi si sottopone alla formazione ed ai riflessi sui risultati aziendali, che risultano peraltro, gli ambiti più difficili da indagare per le ragioni sin qui esposte.
Figura 4.2.2: l’approccio alla formazione per competenze,
adattamento da Bellenger e Dennery (2000)
Le maggiori criticità nella valutazione del ritorno degli investimenti in formazione risiedono nell’isolamento dei fattori esterni alla formazione e nella difficoltà di
344
Marasca (2009: 201) evidenzia come “molti dei componenti del capitale intellettuale non hanno valore in sé ma solo se posti in relazione con altre risorse”: sulle criticità connesse alla “corretta rappresentazione del valore delle risorse immateriali” si rinvia a Marasca S. e Giuliani, M. (2009), 'Il processo di valutazione degli intangibles: riflessioni critiche su un caso aziendale', in: Comuzzi, E., Marasca, S. e Olivotto, L. (a cura di), Intangibles. Profili di gestione e di misurazione, Milano: Franco Angeli; si vedano, inoltre, le considerazioni sugli “approcci alla problematica valutativa” riferite ai “modelli teorici di stima del capitale umano” contenute in Poddighe, F. e Madonna, S.