2. VALUTAZIONE E PARTECIPAZIONE: LA CORNICE DI ANALISI
2.3 Le sfide della complessità
Dalla fine degli anni '90 alcuni fenomeni influenzano lo sviluppo di nuovi approcci alla valutazione: le esigenze di razionalizzazione delle pubbliche amministrazioni, che portano ad un maggiore controllo dei costi e a porre maggiore attenzione all'efficacia dei programmi; la crisi di legittimazione degli apparati amministrativi, che si dimostrano non essere adeguati a rispondere ai bisogni dei cittadini, opponendo alla logica dei bisogni la correttezza procedurale interna della programmazione; la crescente spinta alla partecipazione e la crescita del ruolo del cittadino-utente, che diventa interlocutore nei processi di legittimazione istituzionale, e produce lo spostamento conseguente dell'”arena della policy”, aumentando la complessità dei processi decisionali.
Parallelamente, come si modifica il campo della programmazione, così la valutazione è chiamata a interrogarsi sul proprio mandato e sugli assiomi soggiacenti all'azione valutativa. La critica alla razionalità degli approcci positivisti mette in evidenza il ruolo cruciale degli attori nell'interazione con il contesto nell'attuazione delle politiche sociali; mette in luce, contrapponendolo al sistema chiuso dei programmi immaginato dalle correnti positiviste, l'apertura dei sistemi sociali e la determinante influenza delle visioni, dei comportamenti, delle interazioni tra gli attori. Un secondo aspetto fondante i nuovi approcci è l'attenzione al processo riflessivo come elemento determinante l'azione stessa, il
“monitoraggio riflessivo dell'azione” giddeniano che permette di costruire quadri concettuali all'interno dei quali muoversi più semplicemente nella complessità.
Per comprendere la portata del salto interpretativo di cui si fanno portatori gli approcci elaborati nell'ultimo ventennio occorre soffermarsi sul cambio di paradigma di analisi avvenuto in quegli anni rispetto all'analisi della realtà sociale. Se fino agli anni '60-70 era prevalsa l'idea positivista di una società strutturata come un sistema54 semplice e chiuso, in cui ad uno stimolo corrisponde una risposta univoca, data come prodotto di due soli fattori in un sistema pressoché sperimentale cioè controllato, dagli anni successivi si comincia ad interrogarsi non soltanto sulle modalità di indagine ma sul funzionamento della società stessa. Il tema della complessità dei sistemi sociali si impone intorno alla fine degli anni '90, dando vita ad un dibattito internazionale (che interessa marginalmente il contesto italiano fino agli anni 2000) che fa emergere alcune teorie prevalenti e conseguentemente alcune piste di indagine della realtà che tengono conto della complessità dei sistemi contemporanei.
Il legame tra politiche sociali e ricerca valutativa è biunivoco, da un lato infatti la ricerca valutativa trae la sua spinta dalle esigenze dell'amministrazione delle politiche pubbliche, dall'altro le stesse ricerche valutative mettono in moto un processo riflessivo che pone l'amministrazione nella condizione di doversi interrogare su obiettivi e metodi per il raggiungimento degli stessi, introducendo con sempre maggiore forza l'urgenza di .valutare, e più ancora di valutarsi, cioè dare un valore al proprio operato al fine di migliorarlo.
Sono in altre parole, proprio le istanze riformatrici della pubblica amministrazione, spinta dal mercato globale, che sostengono la domanda valutativa, che la trasformano proprio alla ricerca di soluzioni efficaci,
54 Si intende “Sistema un insieme di elementi interdipendenti e in rapporto con l’ambiente esterno, che
creano relazioni funzionali e strutturali fino a costituire un tutt’uno integrato, utilizzato per raggiungere un certo scopo in un determinato contesto. In valutazione, l’insieme di organizzazioni, regole, procedure e risorse che, nel contesto di riferimento, organizzano la funzione della valutazione.”Dal Glossario del gruppo tematico “Metodi e tecniche” dell’AIV Versione 25 Febbraio 2012, Perugia 2012 www.valutazioneitaliana.it
interrogandola rispetto al miglioramento delle politiche e al rafforzamento del consenso allo stesso tempo.
La ricerca valutativa dunque prima di tutto cerca di analizzare gli elementi che caratterizzano le società complesse, si distacca dal concetto di “complessità come difficoltà crescente”, effettuando un salto logico e strategico che porta a definire la complessità come un sistema di meccanismi, interazioni e processi che sono contraddistinti da logiche proprie e particolari. Questo cambiamento di paradigma nell'analisi delle società contemporanee mette in luce l'inadeguatezza dell'analisi positivista e basata sulla razionalità del sistema e spinge il dibattito verso nuovi assunti.
Il dibattito che si sviluppa mette al centro alcuni nodi della complessità dell'agire sociale: in primo luogo si mette in luce il carattere limitato della razionalità strategica delle politiche pubbliche, ovvero il carattere di dipendenza strutturale delle decisioni umane (e quindi degli esiti dei programmi sociali) dai contesti strutturali e relazionali in cui si sviluppano; la non prevedibilità deterministica delle risposte sociali agli stimoli delle politiche, le quali sono trasformate nell'interazione con l'ambiente e dall'azione dei soggetti coinvolti, creando effetti inattesi; infine si riconosce la necessarietà della riflessività, in altre parole la complessità delle decisioni pubbliche dipende anche da come i loro attori chiave si pensano e intendono le loro azioni, è perciò necessario sostenere la programmazione attraverso un'azione riflessiva che sia in grado di codificare le intenzioni e la progettualità che spinge gli attori nell'attuazione e di costruire quindi quadri concettuali adeguati a rispondere alle necessità delle strutture sociali complesse.
La ricerca ha cercato quindi, davanti alla complessità e all'impossibilità di adattare le griglie di analisi precedenti, di individuare gli elementi costitutivi dei sistemi complessi, per poterli scomporre e analizzare, individuarne le sequenze di catene logiche, per poter fornire supporto riflessivo alle azioni di politica pubblica.
Patton individua sei dimensioni caratteristiche dei sistemi complessi: non linearità, emergenza, adattabilità, incertezza, dinamicità, co-evoluzione.
Sostanzialmente l'analisi di Patton rileva il carattere essenziale dei sistemi complessi nell'imprevedibilità delle reazioni del sistema, che si muove in maniera non lineare ma discontinua, reagendo e generando reazioni nell'interazione con i singoli comportamenti strategici; mentre per co-evoluzione si rimanda allo stretto legame che esiste tra il tutto e le sue parti, per cui l'analisi dei cambiamenti nel sistema è strettamente legata ai cambiamenti generati in ogni singola parte che lo compone.55
Tra i modelli causali di analisi, per l'analisi dei sistemi complessi si fa strada il modello di causalità generativa, che, per dirla con Tomei, tende a orientare la ricerca verso “la ricomposizione dei nessi causali complessi e delle ragioni in base alle quali gli interventi producono i cambiamenti, attivando negli attori sociali dei meccanismi individuali ed organizzativi di reazione/adattamento agli stimoli che il programma introduce nel contesto in cui si realizza”56. Per analizzare i nessi complessi non sono dunque più utili i modelli statistici, che analizzano la realtà attraverso la relazione tra input e output, adesso alla ricerca valutativa si chiede di esercitare la funzione di accompagnamento riflessivo nella realizzazione delle politiche, le si chiede di spiegare “perché”, “a quali condizioni”, “secondo quali meccanismi”. La comprensione di tali meccanismi porta ad adottare metodi diversi di ricerca, che restituiscano una rappresentazione del sistema complesso come l'insieme prodotto dalle spinte soggettive, oggettive, ambientali e strutturali generate dall'intervento sociale nel contesto.
In questo quadro teorico, il modello di analisi della Teoria del Cambiamento (ToC) prende origine dall'idea che per valutare il cambiamento prodotto da programmi complessi occorre innanzitutto definire il percorso verso il cambiamento e la ratio sottostante al programma, anche laddove non è chiara o emersa in superficie. Il termine ToC prende forma compiuta negli anni ’90 grazie al lavoro di Carol Weiss, che evidenziò la necessità di articolare chiaramente le ipotesi alla base di un programma e di definire il processo di cambiamento step-
55 Tomei G.,Valutare gli outcome dei programmi complessi. Approcci, metodologie, tecniche, Milano,
Franco Angeli, 2016
by-step per permettere al valutatore di misurare l’impatto generato. Il ToC è una modalità per descrivere l’insieme delle ipotesi che motivano i mini-cambiamenti che devono verificarsi grazie all’iniziativa, le connessioni tra attività e outcome ad ogni livello del processo, e la definizione di un framework di misurazione per verificare l’effettivo conseguimento degli outcome prefissati.
“(La ToC è) Strumento utile a descrivere le modalità con cui il cambiamento prende forma nella realtà (tipicamente attraverso un processo complesso e circolare, piuttosto che come semplice consequenzialità lineare in cui A porta a B) e a potenziare le fasi di monitoraggio, di valutazione e - a livello strategico - di apprendimento continuo dell’organizzazione attraverso i suoi successi e fallimenti (learning organization). La definizione della ToC consiste nel mappare tutte le condizioni necessarie e sufficienti per produrre l’obiettivo d’impatto, muovendo a ritroso dai risultati a lungo termine (outcome finali) a quelli intermedi e di breve, andando così a definire il cosiddetto “pathway to change” che rappresenta il percorso per il cambiamento in base al quale gli elementi progettuali prenderanno forma”.57
La ToC va a delineare e valutare la struttura del progetto/programma attraverso l'individuazione degli obiettivi, il percorso di cambiamento, le condizioni del contesto, gli interventi da realizzare, individuare gli indicatori adatti a misurare i cambiamenti, individuare la logica sottesa all'intervento. Per gli obiettivi che si prefigge il ToC è un modello partecipativo, che coinvolge gli attori in una riflessione comune sostenuta dalla volontà di cambiamento reale.
Il modello della Teoria del Cambiamento ha influenzato lo sviluppo del dibattito valutativo contemporaneo rispetto alla sua mission e alle forme efficaci di sostegno alla realizzazione delle politiche pubbliche, da cui derivano gli approcci contemporanei alla ricerca valutativa.
In questo quadro si sviluppano gli approcci basati sulla teoria, si tratta di una tradizione di studi che affonda le proprie radici nella valutazione guidata dalla teoria di Chen e Rossi (1983; 1987), e che vede tra i principali protagonisti la
57 Manuale operativo per la Theory of Change , Philanthropy Insights n.5/2017 Centro Studi Lang –
valutazione basata sulla teoria (Theory Based Evaluation, TBE) dell’americana Carol H. Weiss (1998) e la valutazione realistica degli inglesi Ray Pawson e Nick Tilley (1997).
Gli approcci orientati alla teoria sono molteplici, ma tutti hanno in comune la capacità di innescare una riflessione circa il perché di alcune catene causali che permettono ai beneficiari di un programma o una politica di trasformare le risorse in vista della produzione di un cambiamento (Weiss 1997). In sostanza, essi si sviluppano in reazione alle carenze che i precedenti approcci hanno evidenziato nell'analisi dei fenomeni di cambiamento sociale innescati dai programmi sociali, mirano ad “aprire la scatola nera” dei meccanismi di cambiamento sociale, a spiegare il perché avvengono alcuni cambiamenti e non altri in dati contesti, con dati attori che attuano il cambiamento. Hanno in comune una concezione delle politiche e dei programmi come complesse articolazioni di opportunità, vincoli, risorse, in cui gli attori hanno un peso determinante nel modificare processi e risultati del programma, molto lontana dalla schematizzazione classica sottesa all’approccio contro-fattuale del tipo “obiettivi-risultati”: “i programmi non possono essere considerati come una sorta di soluzione esterna e in sé stessa efficace alla quale i soggetti trattati reagiscono. Piuttosto essi funzionano se gli attori scelgono di farli funzionare e si trovano nelle condizioni appropriate per riuscire a realizzare questo obiettivo”58. Compito della valutazione diventa allora quello di esplicitare la complessiva teoria del cambiamento sottesa all’evaluando, che spieghi come e perché l’intervento in esame possa produrre un cambiamento nella condizione o nel comportamento dei beneficiari. L'approccio basato sulla teoria del cambiamento in sostanza problematizza l’oggetto di valutazione per comprendere il modo in cui i programmi o le politiche possono agire per la produzione di un cambiamento, e alla luce di fattori individuali e di contesto, sia interni che esterni al programma stesso.59
58 Pawson R., Tilley N., Realistic Evaluation, Sage, London 1997, p.52
59 Lumino R., La valutazione delle politiche pubbliche: il contributo informativo degli approcci orientati
4) LA VALUTAZIONE BASATA SULLA TEORIA (theory-based evaluation, Carol Weiss, 1997)
Weiss punta l'attenzione sui legami tra input e risultato/effetto/impatto, ancorando l'idea di causalità del legame ai fattori che lo influenzano: il contesto e le reazioni degli attori coinvolti. Questa ipotesi causale permette di “sganciarsi” dalle assunzioni del programma, basate sulle teorie prevalenti e ufficiali, per agire in profondità e metterle in discussione alla ricerca degli elementi sottesi alla teoria praticata dagli attori. In pratica Weiss propone di portare in superficie le assunzioni sottostanti sul perché un programma dovrebbe funzionare e intervenire per modificare i programmi nel corso dell’azione, esplicitando i diversi modi in cui una causa potrebbe essere collegata a un effetto: se ne potrebbero trarre conseguenze “politiche” e “lavorare sui meccanismi che possono essere presenti in vari programmi” vagliandone le teorie sottostanti. La valutazione dunque va ad indagare i processi intermedi, i fattori psicologici, i fattori organizzativi ed i meccanismi che intervengono tra le attività previste dal programma e il verificarsi di risultati di interesse, individuando svariate catene logiche alternative di passaggio da input a outcome.
5) LA VALUTAZIONE REALISTICA (Realistic Evaluation, Pawson e Tilley, 1997)
La corrente cosiddetta della “valutazione realistica” prende le mosse dalla critica alla causalità sequenziale dell’approccio positivista e vuole indagare i meccanismi, intesi come processi tramite cui i soggetti interpretano l’intervento e interagiscono con questo. Essa cioè adotta una prospettiva realista: la realtà esiste al di fuori e indipendentemente dalla nostra interpretazione, per questo alla domanda “cosa funziona meglio” dobbiamo indagare anche il dove, per chi, in quali circostanze, perché; poiché le interpretazioni cambiano ogni volta il giudizio valutativo non potrà essere generalizzabile, ma utilizzabile da quello stesso programma e quegli attori che vi partecipano.
Patton definisce la valutazione come la raccolta sistematica di informazioni sull'insieme di attività, caratteristiche e risultati di determinati programmi ad uso di particolari pubblici, finalizzata alla riduzione del tasso d'incertezza, al miglioramento dell'efficacia e all'assunzione di decisioni su quello che i programmi stanno facendo e ottenendo60.
Tomei la definisce un supporto riflessivo allo sviluppo di innovazioni funzionali al cambiamento strategico dei contesti complessi. Il valore cardine di questo tipo di valutazione è la sua utilizzabilità: essa parte dal principio che una valutazione debba essere giudicata rispetto all’utilità che ha per gli utilizzatori che sono previsti.
La Developmental evaluation elaborata da Micheal Patton presuppone un concetto di valutazione come processo di accompagnamento formativo agli attori di progetto o di programma, in una cornice in cui non è generalizzabile la conoscenza della realtà, poiché generata continuamente da azioni, attori e contesto. Tomei definisce la DE “come una forma di pensiero sistemico a sostegno della capacità riflessiva dei contesti organizzativi”61, essa sostiene cioè gli attori del cambiamento nell'osservazione e nella valutazione degli elementi che possono garantire o ostacolare il cambiamento desiderato, rendendoli capaci di governarlo senza “subirlo”, restituendo ai partner “una teoria del cambiamento in grado di dare senso, allineare e rendere sinergici gli sforzi di innovazione attivati a livello individuale, sei sistemi organizzativi e dei valori comuni”62.
La Developement Evaluation sviluppa il suo mandato nella dimensione preminentemente riflessiva e auto-formativa: sviluppa la sua potenzialità nelle dimensioni dell’apprendimento, del cambiamento, mira alla costruzione di capacità valutative da parte dei soggetti coinvolti, alla collaborazione, all’attenzione ai diversi portatori di interesse, ai fattori di contesto quali l’importanza delle pressioni politiche e delle questioni etiche. Questa impostazione privilegia i bisogni degli attori piuttosto che gli obiettivi di programma, ne raccoglie le aspettative, si
60 Patton M.Q., Utilization-Focused Evaluation, 3 ed., Sage, Beverly Hills, 1998
61 Tomei G.,Valutare gli outcome dei programmi complessi. Approcci, metodologie, tecniche, Milano,
Franco Angeli, 2016, pag.37
focalizza sui cambiamenti attivati e ne studia le relazioni logiche con le visioni e i processi innescati dagli attori.63
In questa cornice il valutatore diventa un facilitatore, immerso nel processo sociale, alla pari degli attori e stakeholders, indaga su ciò che costituisce sviluppo e si impegna in un dialogo con gli innovatori ponendo domande specifiche su processi di sviluppo per aiutare chi è impegnato nell’innovazione a esaminare gli effetti delle proprie azioni.64
Il valutatore coglie le spinte di innovazione laddove si realizzano, nelle dinamiche botton up e top-down tra i diversi attori, e agisce secondo una prospettiva maieutica: non rendiconta, ma pone le domande generative agli attori, per spingerli verso una riflessione sul senso che vogliono essi stessi imprimere al cambiamento.
La DE prevede un disegno di ricerca che si prospetta più come una “pratica riflessiva”, composto da quattro macro fasi65 :
◦ la messa a fuoco dell'oggetto di indagine, da parte dei partners coinvolti: questa fase tende a far emergere la teoria sottesa all'intervento e la interpretazione dei partners, il “senso” del programma.
◦ La costruzione di un repertorio condiviso di narrazioni di conoscenze derivanti dall'esperienza dei partecipanti rispetto al primo punto
◦ interpretazioni delle narrazioni per individuare modelli di comportamento e reazioni ricorrenti, categorizzandoli in temi a seconda del rilievo e dell'intensità. ◦ interpretazioni dei modelli e dei temi e trasformazione in saperi e risposte utili alla produzione del cambiamento
In questo processo possono essere utilizzati tutti i metodi e le tecniche messe a disposizione dalla ricerca sociale, compresi i disegni di ricerca sperimentali, particolarmente importanti sono però gli strumenti qualitativi che consentono di valorizzare la specificità dei punti di vista, la partecipazione, l’apprendimento. La Developmental evaluation, per la sua ispirazione pragmatica e l'adattabilità allo 63 https://www.valut-azione.net/saperi/valutazione/accompagnamento-valutativo/
64 Stame N.,Valutazione pluralista, Franco Angeli, Milano 2016
65 Tomei G.,Valutare gli outcome dei programmi complessi. Approcci, metodologie, tecniche, Milano,
studio dei sistemi complessi è di riferimento per molti approcci e studi che si rivolgono all'analisi dell'impatto, e nelle sue dimensioni essenziali essa ha ispirato anche il mio lavoro.
Un tema che resta aperto è la questione dell'engagement degli attori nel processo valutativo. Tutti i modelli di analisi che prevedono l'indagine del senso che gli attori attribuiscono al progetto, al cambiamento e al proprio ruolo nel sostenere tale cambiamento, hanno necessità strutturale di coinvolgere gli attori nelle fasi di valutazione. Ma cosa succede quando gli attori vengono coinvolti solo in una parte del processo, dove la valutazione sta in un ciclo di progettazione-riflessione- implementazione-valutazione-riprogettazione? Saranno disponibili gli attori a essere coinvolti soltanto nella fase di valutazione? Sarà un contributo incentrato all'obiettivo o risentirà dell'esclusione dall'interezza del processo decisionale? E dunque gli apprendimenti saranno utilizzabili per tutti? E infine, escludendo alcuni attori dal processo decisionale, gli apprendimenti così ottenuti saranno utilizzati dai decisori, o essi stessi si faranno guidare da altre logiche? Questi interrogativi ci rimandano alla riflessione da un angolazione diversa, quella che mette a fuoco la valutazione partecipata in relazione alla co-progettazione sociale.