2.1 Premessa
Il valutare14 è diventata un’azione che è entrata a far parte del vivere quotidiano. Si valuta per capire quali comportamenti adottare rispetto ad una o più questioni, intervenendo attivamente e, qualora vi sia interesse a farlo, modificando o rimodulando le scelte iniziali. Questa prassi caratterizza anche le istituzioni pubbliche che si trovano, sempre più frequentemente, a dover prendere decisioni in seno alle diverse politiche di intervento non più in modo spontaneo ed occasionale, ma con modalità ben strutturate ed elaborate che diano conto dell’utilità dei risultati emersi.
Il secondo capitolo introduce al tema della pratica valutativa, con particolare attenzione al settore delle politiche sociali, in cui la valutazione diventa ancora più complessa e difficile per l’emergere di nuovi problemi legati, da un lato all’eterogeneità dei soggetti coinvolti, dall’altro alla multiproblematicità dei bisogni territoriali.
La valutazione è un’azione che accompagna l’intero processo di costruzione e implementazione di una politica sociale e che permette di costruire un giudizio sulla buona riuscita degli interventi territoriali. Partendo dal presupposto che non esiste una valutazione più corretta rispetto ad un’altra, nel secondo capitolo si sottolinea la necessità di costruire un buon disegno valutativo a partire da alcuni interrogativi fondamentali. Chi valuta dovrà chiedersi innanzitutto perchè ha deciso di operare una valutazione e individuare l’oggetto della sua analisi. L’esperto di valutazione dovrà avere consapevolezza che il giudizio va
14
Il valutare (in latino valuto dal verbo valere “dare valore”), che non ha nulla a che fare con la verifica e il controllo (dal latino verificare “far vero”), diventa un atto di costruzione di significato piuttosto che il semplice accertarsi del raggiungimento di un particolare risultato. Assume un ruolo fondamentale nella costruzione di tale significato la figura del valutatore che, al fine di condurre una proficua valutazione deve acquisire una serie di competenze che gli permettano di utilizzare una giusta metodologia valutativa, di facilitare i processi comunicativi tra attori coinvolti in un intervento e mobilitare ed integrare risorse utili a dare risposte valutative.
34
costruito sugli interventi durante tutta la loro durata, sia in fase di programmazione (ex ante), durante la messa in opera (in itinere) o al termine (ex post) di una politica sociale.
A partire da tale suddivisione, il capitolo presenta brevemente i principali metodi utilizzati in valutazione (Martini, Sisti, 2009), sottolineandone i punti di forza e i punti di debolezza, e propone l’utilizzo di un nuovo approccio che pone l’attenzione sull’aspetto relazionale nella programmazione e nell’implementazione delle politiche sociali. La prospettiva metodologica dell’ARS (di seguito analisi delle reti sociali) (Scott, 2002) aiuta ad arricchire l’informazione che è possibile ottenere mediante l’utilizzo dei metodi di valutazione maggiormente utilizzati, attraverso la descrizione delle relazioni tra gli attori coinvolti in una politica sociale, partendo dall’idea che il funzionamento di tali reti può influire sul buon esito degli interventi.
2.2 I diversi approcci alla valutazione
La definizione proposta da De Ambrogio (2011, p. 26) sintetizza le principali indicazioni dei maggiori autori italiani che si interessano al tema della valutazione:
“La valutazione è un espressione di giudizio rispetto ad azioni di interesse collettivo (Stame,
1998); ha l’intento di migliorare gli interventi e le politiche pubbliche (Martini, 2006); è svolta
attraverso attività di ricerca realizzate con metodi rigorosi e codificabili (Palumbo, 2001); valorizza gli aspetti inattesi e contraddittori (Setti Bassanini, 1991); deve essere comunicata a terzi in modo esplicito e trasparente (Bertin, Porchia, 2000); avviene all’interno di un processo nel quale valutazione e progettazione sono percorsi integrati (Bezzi, 2001)”.
Quello che accomuna le diverse definizioni è la funzione che la valutazione assume (in particolar modo per quanto riguarda gli interventi di tipo sociale): una funzione di apprendimento (learning) piuttosto che di rendicontazione (accountability15). E’ solo attraverso questo tipo di funzione che la valutazione può aiutare i decisori ad elaborare e rielaborare giudizi, a modificare le proprie azioni e a ripensare alle modalità di intervento.
La funzione di learning della valutazione viene spesso confusa con altri termini quali verifica e controllo, nonostante la promozione di una cultura della pratica valutativa, che
15
Il termine accountability compare per la prima volta nel 1984, in un dizionario giuridico bilingue (De Franchis, 1984). Oggi ha assunto il vasto significato di «potere e dovere rendere puntuale conto del bilancio e, in generale, della correttezza ed efficacia degli atti» (De Mauro, 2006).
35 sottolinea l’importanza di utilizzarla non solo in fase di restituzione dei risultati, ma anche in fase di programmazione degli interventi. La valutazione è spesso percepita come un’azione ispettiva (dar conto delle modalità di utilizzo dei finanziamenti ricevuti), piuttosto che un esercizio di riflessione per apprendere come meglio realizzare le politiche di intervento ex ante, come rimodularle e migliorarle in itinere e come costruire un giudizio sul loro funzionamento ex post (Torrigiani, 2010). La verifica e il controllo non vanno, pertanto, considerati come alternative alla valutazione, ma come possibili processi intermedi nell’intero percorso valutativo che possono aiutare, ad esempio, ad individuare quei meccanismi inattesi che intervengono nell’attuazione di un intervento.
Gli studiosi sono concordi sull’individuazione di tre approcci alla valutazione delle politiche sociali, che corrispondono a tre differenti periodi storici in cui si è assistito al modificarsi della struttura del welfare state (Stame, 1998):
il primo approccio, dalla metà degli anni sessanta alla metà degli anni settanta, è legato ad una visione ottimistica del welfare, come strumento capace di far fronte ai bisogni sociali dei singoli individui. L’approccio positivista-sperimentale valuta il programma rispetto agli obiettivi. Si tratta di un modello dell’azione razionale (obiettivi, mezzi, fini) in cui la valutazione è utilizzata per capire se e in che modo gli obiettivi siano stati raggiunti grazie al programma;
il secondo approccio, dalla metà degli anni settanta alla metà degli anni ottanta, è caratterizzato dalla messa in discussione del welfare state e da una attenzione maggiore al processo di implementazione e al contesto di attuazione del programma. In tale approccio, definito costruttivista-del processo sociale, che si basa su una visione di cambiamento del programma a seconda del contesto in cui si inserisce, sono gli stessi stakeholder a definire il successo del programma durante il suo svolgimento e non a priori;
il terzo approccio, dalla metà degli anni ottanta in poi, è definito pragmatista-della qualità e vede il passaggio dal concetto di welfare a quello di workfare16. La valutazione in tale approccio non riguarda un singolo programma, ma si fonda su una comparazione tra diversi programmi in base a standard di qualità comuni. Si tratta di un
16
Il termine workfare si riferisce ad una nuova modalità di affrontare la lotta alle diseguaglianze: una lotta che punta all’istruzione e al reinserimento, non all'assistenza. Si passa dall'idea dello Stato che lenisce le ineguaglianze ridistribuendo il reddito al progetto di uno Stato che cerca di ripristinare un minimo di parità nelle condizioni di partenza e nelle opportunità che ciascuno può giocarsi sul mercato del lavoro.
36
approccio utilizzato soprattutto per valutare i servizi regolarmente offerti per soddisfare bisogni ricorrenti.
Stame (2001)17 descrive le caratteristiche distintive dei diversi approcci alla valutazione a partire dai principali esponenti, dalle domande a cui la valutazione tenta di rispondere, dalle teorie, dai metodi e dalle tecniche maggiormente utilizzate, dall’ambito di riferimento (vedi tabella 2.1 in Palumbo, 2001, p.34). Il primo approccio è legato all’intento di studiare l’azione politica attraverso il metodo scientifico. La politica, quindi, è trattata in modo analogo alla medicina: se ne individuano le patologie, se ne analizzano le cause e si prescrivono le terapie (Lippi, 2007). Il valutatore appare come un semplice tecnico che opera in maniera distaccata e oggettiva.
Il secondo approccio si pone in antitesi con il primo, criticando l’utilizzo del metodo sperimentale in contesti complessi come quelli sociali ed enfatizzando l’importanza degli effetti inattesi del programma e del processo, o meglio, dei processi che li hanno generati. Non interessa tanto quali sono i risultati, ma il perché di quei risultati e il come si sono prodotti effetti attesi e inattesi, positivi e negativi.
Nel terzo e ultimo approccio, la valutazione appare come un servizio offerto dal valutatore al committente a cui spetta di decidere i criteri di giudizio. Nella visione pragmatista il giudizio è formulato tenendo conto dei criteri, intrinseci ed estrinseci, che guidano la valutazione. Scriven (1991), uno degli esponenti di tale approccio, individua due parametri che possono guidare la costruzione di un giudizio sulla politica d’intervento: il merit, ossia il valore in sé di una politica (parametri oggettivi, istituzionali, legislativi, gestionali) e il worth (adeguatezza), definito come la capacità della politica di soddisfare i bisogni dei destinatari oggetto dell’intervento. Il campo principale in cui si applica questo tipo di approccio è quello delle imprese, dove la prassi è quella della ricerca della best practice. Partendo da obiettivi comuni, il fine del benchmarking è proprio quello di favorire l’apprendimento (delle migliori pratiche) attraverso la condivisione e il confronto tra imprese sparse sul territorio.
Come afferma Stame nella premessa del testo di Palumbo (2001)“[...] l’aver operato delle distinzioni tra periodi diversi (nella cronologia) e tra approcci diversi (nella tipologia) ci consente di stabilire la coerenza intrinseca ad ogni approccio, ma ciò non vincola all’uso da farne”. Non esiste un approccio giusto rispetto ad un altro e neanche un approccio adeguato ad una data situazione o ad un dato programma. Se si valuta un intervento in un particolare territorio, il ricercatore è libero di decidere gli approcci, gli strumenti e le tecniche più
17
37 appropriate a quella situazione, che potranno differire da quelle utilizzate per la valutazione dello stesso intervento in un contesto diverso. Le variabili da considerare nell’implementazione e nell’attuazione di un insieme di interventi nel sociale sono svariate e dipendono, non solo dal contesto ambientale ed economico, ma anche dai bisogni di un dato territorio e soprattutto dalla domanda valutativa che può risultare diversa per lo stesso tipo di intervento. Inoltre, la valutazione di uno stesso programma con approcci diversi può condurre a risultati a volte addirittura contrastanti.
Tali approcci rappresentano delle linee guida che il valutatore può utilizzare, modificandone e combinandone i vari aspetti, in base all’oggetto e agli obiettivi della valutazione. Si assiste a quella che Stame chiama “contaminazione degli approcci”.
Il pluralismo nell’utilizzo dei metodi di valutazione provenienti dai diversi approcci porta allo strutturarsi di nuovi orientamenti alla pratica valutativa. Ne sono un esempio la valutazione basata sulla teoria (Weiss, 2007; Rogers, 2008), la valutazione partecipata (Foresti, 2003; Tomei, 2004) e la valutazione realista (Pawson, Tilley, 1997; Vedung, 1997; Leone, 2008).
38
APPROCCI ALLA VALUTAZIONE Positivista-sperimentale Costruttivista-processo sociale Pragmatista-qualità Pietra di paragone nella valutazione
Obiettivi Successo definito dagli
stakeholders Standard Principali esponenti Hyman, Suchman, Campbell, Rossi e Freeman, Chen
Stake, Cuba e Lincoln, Cronbach, Patton, Fetterman, Hirschman, Tendler
Scriven, Wholey, Donabedian