Parte seconda: la valutazione
LA VALUTAZIONE DI POLITICHE APPROCCI, METODI E SCELTE
La valutazione: origine e definizione
La valutazione prese avvio come pratica professionale dopo la seconda guerra mondiale nel Nord America, per cercare di dare giudizi ed indicazioni sui progetti legati all’istruzione, sui piani di allocazione delle risorse pubbliche, sui programmi contro la povertà. A partire dagli anni Settanta del XX secolo, la valutazione iniziò a trovare diffusione anche nei Paesi europei, specialmente in quelli del Nord, con dinamiche e tradizioni differenti in considerazione delle particolari esigenze di ogni Paese57. In seguito alla spinta fornita dai Fondi Strutturali Europei la valutazione si è estesa a tutto il territorio europeo, in special modo nei paesi dell’Europa Meridionale.
Da diversi anni la valutazione ha trovato ampio spazio in letteratura ed è stata oggetto di prescrizioni normative che ne hanno richiesto esplicitamente l’applicazione in molti settori. In particolare si è molto diffusa sul terreno dell’efficacia delle politiche pubbliche, dove il peso assunto all’interno delle società dalle attività pubbliche di produzione di beni e servizi ha spostato l’attenzione dei cittadini dal campo della legittimità delle scelte operate a quello della loro bontà ed efficienza per poter esprimere un giudizio di merito.
Questa è una delle ragioni che, negli anni 1960, hanno portato alla nascita della valutazione di efficacia delle politiche pubbliche negli Stati Uniti. Valutazione che, invece, si è andata affermando in maniera lenta in Italia, dove è stata oggetto di crescente attenzione solo negli ultimi 20 anni58.
Oltre all’interesse per l’efficacia delle politiche pubbliche, un secondo motivo che ha favorito lo sviluppo della valutazione in Italia è stata la difficoltà, dovuta alla crescente complessità sociale, che coloro che sono chiamati a prendere le ‘decisioni’ hanno incontrato, e incontrano ancora, nella definizione e implementazione delle policies. In effetti, l’aumento delle variabili e degli attori in gioco e della velocità con cui si determinano i cambiamenti ha reso difficile, in passato come oggi, l’attività di pianificazione. In questo contesto, in cui si riduce il tasso di prevedibilità della realtà sociale, la valutazione assume un ruolo decisivo sia per governare il processo che porta all’ottenimento di quelli che sono i risultati attesi, sia per apprendere dall’esperienza e recuperare in questo modo il controllo che inizialmente si pensava di poter ottenere attraverso una buona programmazione59.
A questo punto facciamo un passo avanti (o indietro, dipende dall’angolo di visuale), andiamo oltre le cause che hanno portato allo sviluppo della valutazione e cerchiamo di capire di cosa si sta parlando; in sintesi, cos’è la valutazione?
Sostanzialmente la valutazione è considerata un’attività di ricerca, vincolata a determinate procedure, che ha la finalità di esprimere un giudizio, o di attivare delle conoscenze o delle riflessioni, su un progetto, un processo, una politica (in generale un evaluando) per produrre un miglioramento. In quest’accezione la valutazione non rimanda esclusivamente ad una funzione di accountability, ossia di rendicontazione, controllo e verifica, ma anche ad una funzione di apprendimento (learning), che permette, dopo aver raccolto ed interpretato criticamente le
57 Tavistock Institute, La guida Evalsed: la valutazione dello sviluppo socio-economico, traduzione italiana a cura della Rete dei Nuclei di valutazione e verifica degli investimenti pubblici, 2003.
58 Stame, N., L’esperienza della valutazione, SEAM, Roma, 1998. 59
66
informazioni, di attivare processi di conoscenza in tutti gli attori coinvolti nel progetto e di perfezionare il funzionamento delle politiche per renderle più efficaci ed efficienti.
Per approfondire il concetto di valutazione appena espresso ritengo interessante presentare delle definizioni elaborate da alcuni esperti valutatori. La scelta degli studiosi a cui fare riferimento non segue un principio di importanza o di merito, ma è avvenuta esclusivamente in funzione della capacità di ognuno di apportare elementi di originalità e complessità alla costruzione di un quadro definitorio soddisfacente.
Secondo la Davidson60 la valutazione ha avuto un ruolo decisivo per l’evoluzione della razza umana; è stata l’attività che ha permesso all’umanità di evolversi, di svilupparsi, di migliorare e di sopravvivere in un ambiente in continuo cambiamento. «Ogni giorno…», sottolinea, «ci si scontra con qualcosa di nuovo (un metodo, un processo, un programma, una politica, …) ed è fondamentale considerare il suo valore e chiedersi se questo qualcosa di nuovo è preferibile a ciò che c’era prima, se è migliore delle altre opzioni che non si sono scelte, come può essere perfezionato, cosa si è imparato».
Secondo Patton61 la valutazione è «la raccolta sistematica di informazioni sull’insieme di attività, caratteristiche e risultati di determinati programmi ad uso di particolari pubblici, finalizzata alla riduzione del tasso d’incertezza, al miglioramento dell’efficacia e all’assunzione di decisioni su quello che i programmi stanno facendo e ottenendo».
Per Palumbo62 la valutazione è «un complesso di attività coordinate, di carattere comparativo, basate su metodi e tecniche delle scienze umane, e realizzata mediante procedure rigorose e codificabili» col fine di esprimere un giudizio sull’evaluando. Su queste basi la valutazione è considerata come un’attività di ricerca che ha bisogno di rendere evidente il punto di vista del valutatore e le premesse teoriche di riferimento, di garantire il controllo e la riproducibilità delle procedure utilizzate, di evidenziare le modalità di produzione di generalizzazioni.
Sven Grabe63 vede la valutazione come un’attività critica, ma il cui fine non è quello di criticare. Per lui, valutare un programma o un progetto di sviluppo vuol dire determinare cosa vale e quantificare il suo valore come contributo al progresso sociale. La pietra di paragone per determinare questo valore è data dalle politiche generali di sviluppo elaborate e dagli obiettivi (sia di sviluppo che immediati) che il programma avrebbe dovuto realizzare con la sua attuazione. Tanto più vicini a questi obiettivi, scopi e mete sono i risultati, tanto più alto è il ‘valore’ del progetto.
Per Piera Magnatti64 la valutazione può essere considerata come uno strumento in grado di produrre informazioni «sulle dinamiche delle azioni e sugli attori che partecipano alle stesse, sui loro interessi, obiettivi e modalità d’interazione». L’informazione, in un contesto come quello attuale in continua trasformazione e caratterizzato da incertezza, può rappresentare una risorsa fondamentale nella predisposizione e attuazione di un intervento, e può contribuire ad aumentare la trasparenza delle azioni dei soggetti pubblici.
Bezzi65 intende la valutazione come «l’analisi delle conseguenze, previste e non previste, desiderabili e non desiderabili, di programmi di attività predisposti per ottenere un cambiamento programmato». Ne deriva, in particolare, che, per Bezzi, la valutazione non è un atto amministrativo, ma è uno studio con il quale si cerca di comprendere, e che deve essere
60 Davidson, J.E., Evaluation Methodology Basics, Sage, 2005.
61 Patton, M. Q., Utilization focused evaluation, Sage, Newbury Park, CA, 1986. 62
Palumbo, M., Il processo di valutazione. Decidere, programmare, valutare, Franco Angeli, Milano, 2001. 63 Grabe, S., Manuale di valutazione, ASAL, Roma, 1986.
64 Magnatti, P., ‘Esperienze di politica industriale a livello locale. Quali esigenze di valutazione’, in Bezzi, C., Scettri, M. (a cura di), La valutazione come ricerca e come intervento, Irres, Perugia, 1994.
65 Bezzi, C., Bovina, L., Jannotti, E., Scettri, M., La valutazione della comunicazione pubblica, Irres - Regione dell’Umbria, Perugia, 1995.
67
realizzato con rigore scientifico, ma anche con apertura e flessibilità nei confronti di ciò che si osserva. Alla base di questo studio non ci possono essere azioni casuali o non intenzionali, ma un programma di attività (predisposto per ottenere un cambiamento), di cui bisogna rilevare soprattutto le conseguenze non previste e indesiderabili.
Tognon66 vede la valutazione come un processo dinamico, come uno strumento scientifico in continua evoluzione, costretto a misurarsi con problemi nuovi e ambiti sempre diversi, e pertanto investito da compiti e aspettative sempre crescenti.
Secondo Scriven67 la valutazione può essere definita come una ricerca sistematica sul merito intrinseco (merit), sul merito estrinseco (worth) e sull’importanza di un determinato oggetto (significance).
Cronbach68 attribuisce alla valutazione la missione molto importante di facilitare il processo democratico e pluralistico, contribuendo alla presa di coscienza di tutti i partecipanti.
Quindi, secondo gli autori citati, la valutazione ha assunto e assume un ruolo importante sia come strumento scientifico e studio finalizzato alla comprensione dell’oggetto dell’analisi ed alla riduzione dell’incertezza, sia come attività in grado di produrre conoscenza, comprendere e metabolizzare i cambiamenti, favorire il processo decisionale e quello evolutivo in un’ottica migliorativa.
L’oggetto e le tipologie di valutazione
Approfondendo la genesi della valutazione ed i diversi concetti sulla sua essenza e sul tipo di attività che la caratterizzano, abbiamo introdotto il concetto di evaluando, ossia di oggetto della valutazione. L’oggetto della valutazione può essere il più diverso possibile (una politica, un’azione, un prodotto, una qualsiasi attività umana). Nell’analisi che si sta conducendo si delimiterà il campo di osservazione e si porrà attenzione ad un qualsiasi aspetto o momento di un progetto o di una politica.
È possibile fare una differenziazione tra tipologie di valutazione a seconda se si fa riferimento all’oggetto della valutazione od al momento in cui questa viene condotta.
Se ci si riferisce agli aspetti dell’oggetto della valutazione è possibile distinguere tra valutazione dell’efficacia e valutazione dell’efficienza.
La valutazione dell’efficacia mira a stabilire in che parte gli obiettivi stabiliti, o i bisogni da soddisfare, siano stati conseguiti grazie all’intervento. Due sono le tipologie di efficacia prese in considerazione: l’efficacia esterna (o sociale) che guarda la capacità di soddisfare i bisogni dei beneficiari o degli utenti di un intervento; l’efficacia interna (o gestionale) che tralascia i bisogni dei beneficiari per misurare la capacità di raggiungere gli obiettivi fissati dall’organizzazione. La valutazione dell’efficienza confronta i mezzi e le risorse impiegate con i risultati raggiunti, esprimendo un giudizio sulla capacità di utilizzo e trasformazione delle risorse per il conseguimento degli obiettivi prefissati69.
Se, invece, ci si riferisce al momento in cui viene fatta la valutazione è possibile distinguere tra valutazione ex ante, valutazione in itinere e valutazione ex post.
66 Tognon, G., La valutazione, strumento decisivo delle politiche della ricerca, UR - Università Ricerca, n. 3, 1998. 67 Scriven, M., ‘Logica della valutazione e pratica della valutazione’, in Stame, N. (a cura di), Classici della valutazione, Franco Angeli, Milano, 2007.
68 Cronbach, L. J., ‘Le nostre novantacinque tesi’, in Stame, N. (a cura di), Classici della valutazione, Franco Angeli, Milano, 2007.
69
68
La valutazione ex ante è svolta prima dell’avvio del progetto ed ha il fine di rilevare se questo è stato formulato in maniera adeguata, con riferimento ai suoi punti di forza e debolezza, ed ai fattori che possono incidere sulla realizzazione.
La valutazione in itinere è svolta durante la realizzazione dell’intervento per verificarne l’andamento e le possibili variazioni rispetto al piano di lavoro, focalizzandosi sullo stato di avanzamento in merito al grado di conseguimento dei risultati attesi, al raggiungimento del target, all’uso delle risorse.
La valutazione ex post è svolta quando il progetto è concluso ed ha lo scopo di valutare gli effetti che questo ha determinato, e la possibilità di riprodurlo in altri contesti. A seconda del tipo di effetti presi in considerazione si distingue tra:
- valutazione dell’esito (o output o realizzazione), attraverso la quale si verificano i risultati ottenuti direttamente dall’intervento in funzione degli obiettivi prefissati;
- valutazione del risultato (o outcome), che riguarda i vantaggi immediati conseguiti dai destinatari dell’intervento, ossia gli effetti diretti di cui hanno beneficiato gli interessati dal programma;
- valutazione di impatto (o outreach) che riguarda gli effetti più a lungo termine che il progetto ha indotto nelle persone e nelle organizzazioni coinvolte. In particolare si parla di impatti specifici quando si pone l’attenzione sugli effetti a breve medio termine sui soggetti destinatari diretti della politica; si parla di impatti globali quando si considerano le conseguenze (incluse anche quelle inattese e non previste) su tutti i soggetti, anche quelli non interessati dal programma.
Nonostante queste differenziazioni introducano all’interno dell’attività valutativa un forte elemento di obiettività e realismo, oltre che di formalità, nessuna valutazione, tuttavia, è libera da giudizi di tipo soggettivo. L’oggettività è legata alle priorità individuate dal valutatore e alla percezione che questo può avere dell’oggettività. Ma le decisioni riguardanti il modello teorico di riferimento, il tipo di informazione che deve essere raccolta, la scelta dei campioni, i criteri di selezione, il peso relativo da dare a ciascuna voce e i metodi di trattamento statistico e di presentazione dei risultati, sono tutti elementi che coinvolgono dei giudizi di valore. Quindi, affinché la valutazione abbia successo, tutti questi giudizi, con una forte componente soggettiva, devono essere espressi in maniera esplicita. La selezione dei criteri deve essere il più possibile effettuata su base razionale e i dati devono essere raccolti dalle fonti disponibili più appropriate.
Proprio la presenza di questo tipo di soggettività ha permesso lo sviluppo di quadri teorici differenti, in cui l’attività di valutazione segue schemi eterogenei. Tutto ciò in considerazione, appunto, di idee e modelli concettuali personali e del diverso peso che ogni valutatore dà ai diversi aspetti e alle varie modalità operative attraverso le quali poter arrivare alla formazione di un giudizio sull’oggetto della valutazione.
I diversi approcci alla valutazione
Negli ultimi anni l’evoluzione della teoria e della pratica valutativa ha moltiplicato gli approcci utilizzabili nella valutazione.
Una prima grande distinzione è quella proposta da Ernest House70 (1976), che, ispirandosi al concetto di giustizia delle valutazioni, distingue tra valutazioni basate su un principio ‘etico utilitarista’, in cui è l’interesse particolare (personale o di una collettività) a guidare la
70 House, E., ‘Justice in Evaluation’, in Glass, G. (a cura di), Evaluation Studies Review Annual, vol. 1, Sage, Beverly Hills, CA, 1976.
69
valutazione, valutazioni basate su un principio ‘pluralista-intuizionista’, in cui la giustizia è intesa come equità, e le valutazioni ‘goal-free’ di Scriven, in cui ci si concentra sui bisogni per provare a includere nelle valutazioni tutti gli effetti, attesi e non attesi, del programma.
Guba (1987), guardando all’evoluzione temporale, individua quattro generazioni della valutazione71. La prima generazione, che si inizia ad affermare attorno al 1950, è definita tecnica perché il compito del valutatore è solo quello di misurare, ossia di dare le dimensioni dell’oggetto della valutazione. La seconda generazione aggiunge alla misurazione la descrizione dei punti di forza e di debolezza dell’evaluando in funzione di obiettivi prestabiliti. Nella terza generazione la caratteristica è lo sforzo di esprimere giudizi sull’oggetto della valutazione. La quarta generazione si basa sulla convinzione del pluralismo dei valori e sulla necessità di dover negoziare tra le esigenze e le convinzioni dei diversi attori coinvolti nel processo.
Scriven72 (1993), invece, considerando selettivo l’atteggiamento verso i valori, individua tre approcci: quello relativista secondo cui i valori da prendere in considerazione nelle valutazioni sono quelli del cliente; quello costruttivista secondo cui i valori da tenere in conto sono quelli degli attori; quello transdisciplinare (oggettivista) che consente di individuare il merito e il vero valore dei programmi.
Il dibattito più recente vede contrapposti due approcci, quello positivista e quello costruttivista, indicati in modo diverso dai vari autori; van der Knapp (1995) li chiama approcci ‘razional- oggettivisti’ e approcci ‘argomentativi-soggettivisti’; Sanderson (2000) li chiama approcci ‘razional-oggettivisti’ e ‘interpretativisti’; Patton (1997) li chiama ‘paradigma quantitativo- sperimentale’ e ‘paradigma qualitativo-naturalistico’73. Le modalità di inquadramento e classificazione degli approcci sono diverse, ma alla fine le categorie individuate sono simili. Palumbo74 (2001), partendo dalle funzioni della valutazione, individua due approcci. Il primo pone l’attenzione sulla funzione di accountability, ossia del dovere di un soggetto responsabile di una politica o di un progetto di ‘rendere conto’ delle scelte fatte e dei risultati conseguiti. Alla base c’è un legame che lega i soggetti coinvolti (amministrazioni pubbliche e cittadini, gestori di un servizio e utenti, …) ed il rapporto di accountability può essere considerato come la contropartita di una delega di responsabilità. In questo caso, essendo importante l’analisi del grado di conseguimento degli obiettivi, le attività di misurazione (per capire gli scostamenti da quanto si era previsto) e di comunicazione dei risultati diventano centrali, e di conseguenza, anche l’uso di metodi quantitativi con cui realizzare campioni rappresentativi (specialmente nell’ambito della valutazione ex post) per poter stimare (con l’induzione statistica) gli effetti o gli impatti dell’azione sul contesto di partenza. Il secondo approccio si fonda sulla funzione di learning, in cui la raccolta ed analisi delle informazioni non avviene per attribuire le responsabilità, ma per trovare una soluzione migliore al problema affrontato e generare apprendimento. In questo caso, essendo l’obiettivo della valutazione quello di scoprire i meccanismi causali che operano all’interno delle policies, prevale l’uso di metodi qualitativi. Un’altra distinzione è quella proposta da Pasquinelli75 (2003) che, in funzione della metodologia seguita, individua due diversi approcci valutativi: quello hard e quello soft. Il primo usa metodi
71 Guba, E.G., Lincoln, Y.S., ‘La valutazione di quarta generazione’, in Stame, N. (a cura di), Classici della valutazione, Franco Angeli, Milano, 2007.
72 Scriven, M., Hard Won Lessons in Program Evaluation, in New Directions in Program Evaluation, n. 58, Jossey Bass, San Francisco, 1993.
73 Patton, M.Q., ‘Il dibattito sui paradigmi: una sintesi utilitarista’, in Stame, N. (a cura di), Classici della valutazione, Franco Angeli, Milano, 2007.
74 Palumbo, M., Il processo di valutazione. Decidere, programmare, valutare, Franco Angeli, Milano, 2001.
75 Pasquinelli, S., ‘La valutazione di impatto nell’ambito delle politiche sociali: esperienze sul campo, linee di sviluppo’, in De Ambrogio, U., Valutare gli interventi e le politiche sociali, Carrocci, Roma, 2003.
70
quantitativi (di tipo sperimentale o quasi-sperimentale) basati sulla logica controfattuale per misurare gli effetti netti di un intervento; è adatto a valutazioni dell’impatto di un progetto che agisce su larga scala e su cui ci sono numerose unità di osservazione, in modo da ridurre l’influenza del contesto. Ha il vantaggio di offrire misure certe e comparabili, ma è esigente dal punto di vista dei tempi e dei costi ed inoltre non spiega pienamente le differenze di impatto tra gruppo esposto e gruppo di controllo. Il secondo approccio (soft) si basa su metodi di tipo più qualitativo e su percorsi partecipativi e trova una migliore applicazione quando si è interessati ai processi più che agli impatti di un programma, quando il contesto influisce in maniera significativa e l’intervento è multidimensionale.
In questo dibattito che richiama il dualismo tra positivismo e costruttivismo si inserisce la classificazione proposta nella ‘Guida Evalsed’ (2003) (manuale valutativo dello sviluppo socio economico, in particolare dei Fondi Strutturali Europei, elaborato dal Tavistock Institute per la Commissione Europea), secondo cui è possibile individuare tre approcci filosofici: quello positivista, quello costruttivista e quello realista. Il primo si basa sulla convinzione che attraverso l’osservazione (fatta con metodo e che deve essere replicabile) sia possibile ottenere una conoscenza oggettiva in grado di svelare regolarità e leggi. Il secondo nega la possibilità di una conoscenza oggettiva, perché anche se le ‘costruzioni’ esistono non sempre possono essere misurate e quindi il valutatore con le proprie teorie76 assume un ruolo centrale nell’interpretazione della realtà. Il terzo si concentra sui contesti e cerca di scoprire, attraverso l’indagine sociale, i meccanismi causali delle politiche e dei programmi che spiegano il cambiamento ed il perché dei funzionamenti77.
Marchesi, Tagle e Befani78 (2011) individuano 4 approcci alla valutazione: l’approccio controfattuale, che si concentra sulle differenze nei risultati tra la situazione con e senza l’intervento; l’approccio goal-free, che si basa sui bisogni delle persone oggetto dell’intervento e su criteri di qualità, piuttosto che sugli obiettivi ufficiali; l’approccio basato sulla teoria, che cerca di analizzare i vari meccanismi operanti in un contesto per spiegare gli esiti di un intervento; l’approccio costruttivista, che indaga il processo sociale e i vari conflitti tra i gruppi di partecipanti per ottenere una conoscenza più approfondita e condivisa dell’intervento. Un’ulteriore classificazione, su cui ritengo necessario soffermarmi per i caratteri di completezza e chiarezza che la contraddistinguono, è quella proposta da Stame79 (2001), secondo cui una possibile differenziazione tra approcci valutativi deve tenere conto dell’elemento che funge da pietra di paragone per esprimere un giudizio di valore sull’oggetto della valutazione. Seguendo questa linea di pensiero gli approcci principali individuati sono tre:
- quello ‘positivista - sperimentale’, in cui al centro del processo valutativo sono posti gli obiettivi del programma, e la valutazione consiste nel vedere se il programma ha permesso il raggiungimento di questi obiettivi e in che modo;
76 Nella Guida Evalsed sono individuate 4 tipologie di teoria: la teoria del programma, l’insieme dei modelli logici contenuti nei programmi focalizzata su risorse, realizzazioni, risultati e impatti; la teoria sulla pratica della valutazione, formatasi attraverso le valutazioni del passato; la teoria dell’attuazione e del cambiamento,