La valutazione ex post: analizzare gli effetti dopo l’attuazione

La valutazione ex post permette di trarre delle conclusioni al termine dell’attuazione di una politica o di un programma, analizzando di quanto il risultato realizzato si discosta da quello atteso. Una volta quantificati gli effetti della politica (un processo che spesso può avvenire a distanza di tempo rispetto alla conclusione del programma), la valutazione ex post interviene confermando o smentendo quanto ci si era prefissati, nell’ottica di una rimodulazione della politica o di una sua ridefinizione. Questo tipo di valutazione diventa, quindi, complementare a quella ex ante poiché aiuta a migliorare e a definire in modo più rigoroso gli obiettivi nella costruzione e progettazione delle politiche di intervento.

Le domande a cui la valutazione ex post tenta di fornire una risposta sono fondamentalmente tre: cosa funziona, per chi funziona e come funziona l’intervento? Mentre le prime due domande considerano la sola validità interna, poiché guardano agli effetti che mediamente un intervento ha prodotto sulle persone per le quali è stato realizzato e quanto gli effetti ottenuti siano vicini agli obiettivi prefissati, la terza domanda attiene alla validità esterna. Essa rappresenta il grado di generalizzabilità dei risultati raggiunti in un’analisi ed aiuta a definire quanto lo stessa analisi possa applicarsi ad altre persone in condizioni diverse da quelle considerate nella ricerca.

Nel valutare gli effetti di una politica, il valutatore può essere interessato all’impatto che essa ha in termini di capacità di modificare le situazioni iniziali o può essere interessato a conoscere quali sono quei meccanismi che hanno generato gli effetti osservati. A partire dall’interesse iniziale e dagli obiettivi da raggiungere, il valutatore decide quale sia il migliore metodo di analisi da utilizzare. Il più utilizzato nella valutazione degli effetti di una politica è rappresentato dall’approccio controfattuale; mentre l’approccio basato sulla teoria, l’approccio realista e l’approccio partecipativo risultano più appropriati quando l’interesse è rivolto alle modalità di funzionamento degli interventi e al coinvolgimento degli attori di una politica. Questi ultimi tre approcci sono particolarmente adatti per ottenere informazioni utili nelle diverse fasi della programmazione ed attuazione di una politica. Inoltre, essi condividono l’importanza che ha, per la giusta applicazione del metodo, la ricognizione di una serie di informazioni relative alla formulazione delle teorie che si vogliono verificare e alla selezione degli attori coinvolti sui quali approfondire e studiare i meccanismi attivati.

56

2.7.1 Approccio controfattuale

L’approccio controfattuale nella valutazione degli effetti di un intervento pubblico o sociale risponde alla domanda: “In che misura l’intervento ha modificato la situazione iniziale ed ha permesso di raggiungere – al netto di altre variabili o altri fattori – un certo risultato?

Nell’approccio controfattuale l’effetto, inteso come capacità di una politica di produrre dei cambiamenti sulla popolazione di destinatari, è definito come la differenza tra ciò che è accaduto e quello che sarebbe accaduto sugli stessi soggetti e nelle stesse condizioni se la politica non fosse stata realizzata. Ottenere una stima degli effetti come differenza tra i trattati (coloro che hanno usufruito del trattamento) e gli stessi soggetti non trattati (coloro che non sono stati sottoposti al trattamento) è resa impossibile dal fatto che gli individui non possono essere allo stesso tempo trattati e non trattati. Il secondo termine risulta non osservabile per definizione. Un significato assume la misurabilità ed osservabilità delle dimensioni del problema su cui la politica focalizza la sua attenzione e un altro significato assume la misurabilità dell’effetto.

La non osservabilità del controfattuale è definita da Holland (1986) come “the fundamental problem of causal inference”. Il problema dell’approccio controfattuale è cercare di trovare una causalità tra l’intervento e il prodotto dell’intervento sui destinatari, conoscere se i cambiamenti che si osservano sui destinatari dell’intervento sono il solo prodotto della politica di intervento, al netto di tutte le altre variabili che intervengono sulle azioni e comportamenti degli attori in gioco.

L’approccio controfattuale, utilizza metodi che appartengono a due categorie principali: i disegni sperimentali e i disegni quasi-sperimentali o non-sperimentali.

La diversa applicabilità dei due disegni produce una propensione, da parte dei valutatori, ad utilizzare il disegno non sperimentale rispetto a quello sperimentale. “I sostenitori dell’approccio controfattuale - inteso in questo caso come metodo non-sperimentale - ambirebbero, invece che al titolo di “regina della valutazione” - titolo spesso assegnato, in modo errato, all’approccio sperimentale26 - a qualcosa di molto più modesto […] Non il solo approccio possibile, ma uno che andrebbe preso seriamente in considerazione per affrontare quel particolare problema valutativo” (Martini, 2006, p. 6)

L’approccio controfattuale per la valutazione di una politica sociale è utilizzato, in

26

L’errore in cui spesso ci si imbatte è quello di considerare il metodo sperimentale come l’unico approccio che possa dare una corretta misura degli effetti di una politica, tralasciando il fatto che tale metodo è solo un caso particolare di un approccio più ampio che è il paradigma controfattuale.

57 particolar modo, quando è ridotta la complessità di un intervento (che deve essere chiaro e circoscritto) e quando è possibile individuare la variabile risultato su cui è stimato l’effetto dell’intervento.

Il disegno sperimentale intende la valutazione come la determinazione ex post delle relazioni causali tra un programma e i suoi risultati in forma quantitativa. Tale approccio non può essere utilizzato in qualsiasi disegno di ricerca valutativa, ma solo lì dove vi è bisogno di dare risposta ad un certo tipo di domanda: “ Qual è l’effetto di un particolare trattamento27 in termini quantitativi?

L’applicabilità del disegno sperimentale alla valutazione delle politiche risulta particolarmente difficile quando bisogna mantenere la separazione netta tra il gruppo sperimentale e il gruppo di controllo. “Benché il disegno sperimentale sia contemplato in tutta la letteratura metodologica, non si può nascondere la sua difficile realizzabilità quando si lavora nell’ambito delle scienze sociali. La ricerca sperimentale [...] presuppone infatti il controllo ferreo della clausola ceteris paribus, realizzabile sostanzialmente (chiudendo almeno un occhio) in piccoli gruppi e con esperimenti di laboratorio, di cui è lecito dubitare la riproducibilità in un contesto reale. […] I disegni sperimentali sono essenzialmente dei modelli di studio, finanziati e realizzati probabilmente in ambiente universitario, e non dei modelli operativi finanziati e realizzati da committenti impegnati in un programma reale” […] Una ricerca sperimentale pura sembra, in estrema sintesi, assai difficilmente realizzabile” (Bezzi, 2003, pp. 336-340).

In una situazione diversa da quella di laboratorio, in cui gli individui possono liberamente muoversi come meglio credono, è possibile che i due gruppi, di controllo e sperimentale, non restino identici durante l’esperimento. Si potrà verificare la non partecipazione o la partecipazione parziale all’esperimento da parte di uno o più soggetti appartenenti a due gruppi28, o la partecipazione dei non trattati a interventi simili a quelli a cui partecipano i trattati, magari forniti da altri enti o in altri ambiti territoriali (cross-over). Risulta, pertanto, un problema di distorsione dovuto ad un errore nella scelta iniziale degli individui (selection bias). Per ovviare a questa distorsione esistono una serie di procedure statistiche che permettono di scorporare una “variabile strumentale” dall’intera analisi. Questo tipo di variabile si riferisce ad un fattore esterno che non può essere controllato dagli individui e che

27

Spesso si utilizza il termine trattamento poiché il metodo sperimentale nasce in campo clinico per testare l’efficacia di un farmaco. In tal caso al gruppo sperimentale è somministrato il farmaco, mentre al gruppo di

controllo una sostanza inerte inattiva, denominata placebo.

28

Il comportamento del drop-out è adottato da chi abbandona il trattamento. Il no-show, è colui che non si presenta nella fase sperimentale.

58

influenza negativamente il risultato dell’analisi29.

Quando non è possibile assegnare i destinatari di un intervento in modo casuale ai due gruppi attraverso procedure di randomizzazione, si utilizzano i metodi “non sperimentali” o “quasi sperimentali”, come alternativa al più complesso disegno sperimentale. Si tratta di metodi per studiare gli effetti di politiche di intervento ormai diffusi in tutta l’Europa.

In base al processo di selezione adottato e alla osservabilità o non osservabilità delle variabili utilizzate per la costruzione dei due gruppi, il valutatore decide quale metodo non sperimentale applicare. Nel primo caso, quindi, il valutatore si serve di dati che provengono da procedure amministrative, o comunque dati da cui sono rilevabili le caratteristiche degli individui. Nel secondo caso, non avendo il valutatore alcun tipo di conoscenza sulle modalità di selezione, deve utilizzare altre informazioni pre-intervento per osservare gli effetti del trattamento. In entrambi i casi il valutatore parte da un assunto forte, che è alla base sia del metodo sperimentale che di quello non sperimentale, riferito all’assenza di differenze tra il gruppo dei trattati ed il gruppo dei non trattati. Tale assunto è difficilmente plausibile, ma sicuramente la probabilità di commettere un errore nella valutazione degli effetti finali diminuisce con l’aumentare dei dati di partenza a disposizione sugli individui sottoposti a test. I metodi non sperimentali utilizzano tutti i dati disponibili per stimare gli effetti di un intervento con l’intento di ridurre, quanto più possibile, il rischio di non validità dei risultati.

2.7.2 Approccio basato sulla teoria e approccio realista

Nell’approccio valutativo basato sulla teoria, l’intervento è concettualizzato in termini di una teoria che ne spiega il funzionamento, concentrandosi sui meccanismi che hanno condotto ad un certo esito. Tale metodo di valutazione parte dall’idea che gli interventi inneschino sempre qualche tipo di meccanismo positivo o negativo, atteso o inatteso da scoprire. I meccanismi possono attivarsi a livello di diverse categorie di attori che prendono parte alla politica. Se tali attori sono i destinatari degli interventi, o più in generale chi ne usufruisce, si parla di teoria del programma, mentre se gli attori sono tutti coloro che operano nella fase che va dalla decisione all’attuazione degli interventi (decisori, programmatori, funzionari, esperti, ecc.) si parla di teoria dell’implementazione.

Piuttosto che quantificare l’effetto di un intervento, la valutazione di una politica attraverso

29

Per approfondimenti sull’utilizzo delle variabili strumentali per la stima degli effetti si rimanda a Martini, Sisti, 2009.

59 l’approccio basato sulla teoria aiuta a comprendere quali siano le catene causali che hanno condotto ad un determinato esito. Approfondire la questione del “come” e del “perchè” un intervento funziona (o non funziona), significa considerare tutti i meccanismi che attengono ai diversi attori in gioco e che operano in differenti momenti nell’attuazione degli interventi. Per poter essere utilizzata in maniera proficua, la valutazione basata sulla teoria richiede, da un lato una certa capacità di individuare gli attori che posseggono informazioni utili all’analisi, dall’altro una forte conoscenza teorica scientifica di base. Tale tipo di approccio è utilizzato, in particolare, quando si vogliono comparare gli effetti di un insieme di interventi su differenti gruppi di destinatari.

Pur perseguendo gli stessi obiettivi, ciò che distingue l’approccio basato sulla teoria da quello realista è la maggiore enfasi che in quest’ultimo caso viene data agli esiti di un intervento, e ai contesti di riferimento. Tale approccio tenta di spiegare il come e il perché un intervento funziona a partire da un esito o una regolarità empirica che si è verificata (Outcome) attraverso un meccanismo (Mechanism) all’interno di un particolare contesto (Context). Quest’ultimo termine non si riferisce al solo contesto inteso come ambiente sociale, fisico, economico in cui gli attori si muovono ma, in un’accezione più ampia, si riferisce anche a tutte quelle variabili storico-spaziali in cui esistono norme, valori, leggi che possono influenzare gli esiti di una politica.

L'interpretazione realista di efficacia di un programma di politica sociale è espressa come segue (Pawson, Tilley, 1997): il potere causale di un'iniziativa sta nel meccanismo sottostante (M), cioè nella teoria di base che spiega il funzionamento di un intervento. Tale meccanismo (positivo o negativo) sarà attivato o meno in base al contesto (C) che attiene non solo al luogo fisico in cui viene attivato il programma, ma anche alle caratteristiche di tutti gli attori coinvolti. Il programma produrrà, quindi, in situazioni diverse esiti (O) diversi. L’approccio realista adotta una visione “generativa” di causalità, partendo dall’idea che non sono i programmi ma piuttosto i meccanismi dei programmi che generano il cambiamento. Tale approccio vuole tentare di dare una spiegazione delle variazioni che gli stessi meccanismi producono negli esiti di un programma. Il punto essenziale di tale modo di operare non è l’aggregazione ma il paragone. Il fine ultimo non è, quindi, quello di trovare una correlazione tra variabili, ma scavare sotto le evidenze empiriche.

60

2.7.3 Approccio partecipativo

La valutazione partecipata (Tomei, 2004) è un approccio nel quale, attraverso un confronto tra attori che operano nella politica, mediati dal valutatore che funge da facilitatore nel gruppo, si cerca di rispondere a domande che riguardano l’oggetto della valutazione (Quali sono gli aspetti dell’intervento più rilevanti? Quali sono i principali temi da affrontare?), stabilendo una sorta di gerarchia dei temi che si vogliono affrontare. La valutazione partecipata non mira a fornire una spiegazione degli effetti di una politica o dei meccanismi causali che hanno condotto ad un risultato, ma aiuta, attraverso la condivisione, a scegliere quali effetti andare a verificare e quali parti dell’intervento privilegiare. Il valore in questo tipo di approccio non è noto a priori ma va scoperto durante il processo.

L’approccio partecipativo alla valutazione nasce negli ultimi decenni come risposta alla nuova modalità di attuazione degli interventi che vede il coinvolgimento di più attori nelle politiche di intervento, sia in fase decisionale che in fase di programmazione, attuazione e valutazione delle politiche stesse. Il coinvolgimento di tutti gli attori nel processo di valutazione produce dei benefici che riguardano principalmente una riduzione nella distorsione dei risultati.

L’approccio partecipativo non implica necessariamente l’adozione di particolari metodi o tecniche di analisi e può essere applicato in diversi settori. Esso è particolarmente adatto in contesti in cui gli squilibri di potere tra i diversi attori in gioco potrebbero condurre ad un fallimento nell’attuazione degli interventi. In tali situazioni, il valutatore dovrà favorire la comunicazione e lo scambio di idee rintracciando i valori condivisi in cui tutti si riconoscono. L’idea di successo dell’intervento potrà assumere una valenza diversa non solo rispetto a quanto definito ex ante, ma anche in relazione ai singoli attori ai quali si chiederà di esprimerla.