L‟approccio controfattuale

L‟approccio controfattuale nella valutazione degli impatti di un intervento pubblico si propone di verificare la capacità di un programma di modificare nella direzione desiderata i comportamenti o le condizioni di una determinata popolazione di destinatari, ovvero di determinare in quale misura l‟intervento abbia contribuito al raggiungimento di un determinato risultato.

I sostenitori di questo approccio associano una singola causa a un determinato effetto senza fornire informazioni su ciò che accade nel mezzo cioè come viene prodotto l‟effetto (Stern et al., 2012 : 7).

Tale approccio valutativo, in merito al quale nella letteratura anglosassone si fa riferimento al termine di Impact Evaluation, ha la finalità di rispondere alla domanda se e quanto l‟intervento valutativo è in grado di modificare, nella direzione e con l‟intensità attesa, una determinata variabile-risultato, nonché di rispondere alla domanda se e quanto la relazione causa-effetto ipotizzata tra l‟intervento messo in campo e il cambiamento che esso è in grado di determinare funziona oppure no.

42

L‟approccio controfattuale da un lato mira a stimare il cambiamento osservato attribuibile all‟intervento valutato e dall‟altro permette di controllare la validità dell‟ipotesi di causazione su cui l‟intervento è costruito. Nella valutazione degli interventi pubblici (programmi, progetti) il paradigma controfattuale è utilizzato per stimare l‟effetto che la realizzazione del programma (il fattuale) ha prodotto, e ciò che si sarebbe osservato se il programma non fosse stato realizzato (il controfattuale). Ottenere una stima certa degli effetti come differenza tra coloro che hanno usufruito del trattamento e coloro che non sono stati sottoposti al trattamento può risultare difficile. Il valutatore dovrebbe ricostruire, ipoteticamente, la situazione controfattuale che si sarebbe osservata in assenza del programma, ma una volta che il programma è stato implementato non è più possibile osservare realmente la situazione che si sarebbe osservata in assenza dello stesso programma (Bezzi, 2012 : 35).

Da ciò deriva la necessità di produrre una ragionevole e credibile stima dell‟effetto ricostruendo la situazione controfattuale con dati osservabili e in grado di approssimare ciò che sarebbe successo ai soggetti esposti all‟intervento nel caso in cui non lo fossero stati. Il ricorso all‟approssimazione di una condizione non osservabile rende qualsiasi tipo di approccio alla valutazione degli effetti, un insieme di argomentazioni più o meno convincenti, ma mai assolutamente certe. Argomentazioni che poggiano su evidenza empirica vanno interpretate con la consapevolezza che l‟utilizzo, seppur rigoroso, di dati numerici e statistiche non genera di per sé verità assolute ma approssimazioni più o meno plausibili (Martini, Sisti, 2009 : 142).

Quando si utilizza l‟approccio controfattuale è consigliabile prendere in considerazione sia le risorse (umane, temporali, organizzative, finanziarie) necessarie per costruire o reperire gli elementi conoscitivi, sia la natura dell‟intervento oggetto della valutazione. E‟ opportuno, inoltre, assicurarsi che sia possibile individuare:

 Le variabili-risultato, rispetto alle quali la presenza di un effetto possa essere verificata con gli strumenti analitici a disposizione, astenendosi dal cercare la prova scientifica di nessi causali poco credibili e indimostrabili e tenendo conto che le risorse, sempre scarse, per la valutazione vanno concentrate sulle dimensioni più incisive di un intervento;

43

 Un intervento chiaramente identificabile e circoscritto, concentrandosi su interventi semplici lasciando da parte le situazioni di maggior complessità. Bisogna riconoscere la difficoltà di valutare interventi che prevedono più componenti, poiché se ogni componente non può essere chiaramente identificata come se fosse un singolo intervento, la portata complessiva della valutazione risulta ridotta e di scarso interesse per i decisori. È importante che l‟intervento su cui si effettua la valutazione sia chiaramente identificabile non solo nelle sue caratteristiche ma anche nelle conseguenze che ci si aspetta che esso produca (Marchesi et al., 2011 : 30-32).

L‟approccio controfattuale si avvale di metodi che appartengono a due categorie principali: i disegni sperimentali e i disegni quasi-sperimentali o non sperimentali. Le due metodologie, nonostante la somiglianza terminologica, sono molto diverse nei rispettivi punti di forza e di debolezza, e si distinguono per condizioni di applicabilità e di affidabilità dei risultati ottenuti. Il metodo sperimentale è ampiamente utilizzato negli Stati Uniti sin dagli anni‟70 nei settori della formazione professionale, delle politiche del lavoro e soprattutto per i programmi di sostegno economico a soggetti svantaggiati (ibid.).

Il disegno sperimentale intende la valutazione come la determinazione ex post delle relazioni causali tra un programma e i suoi risultati in forma quantitativa. Tale approccio non può essere utilizzato in qualsiasi disegno di ricerca valutativa, ma solo nel caso in cui vi è bisogno di rispondere alla domanda: Qual è l‟effetto di un particolare trattamento8 in termini quantitativi?

Il metodo sperimentale è in grado di produrre le stime più valide e credibili degli effetti di un programma, ma per ottenere tale risultato è necessario che il valutatore abbia la possibilità di manipolare il processo di selezione del gruppo sperimentale e del gruppo di controllo, ovvero determinare chi è sottoposto alla politica o programma e chi ne è escluso mediante l‟utilizzo del Randomized Controlled Trial (esperimento controllato randomizzato). La randomizzazione è una attribuzione causale dei componenti ai due gruppi e garantisce la stessa possibilità per gli stessi di

8

Si utilizza il termine trattamento poiché il metodo sperimentale nasce in campo clinico per testare l‟efficacia di un farmaco. In tal caso al gruppo sperimentale è somministrato il farmaco, mentre al gruppo di controllo una sostanza inerte inattiva denominata placebo (Martini, Sisti, 2009 : 159).

44

far parte ai due campioni, inoltre produce due gruppi che sono statisticamente equivalenti sia nelle caratteristiche osservabili che nelle caratteristiche non osservabili. Ciò rende il gruppo di controllo la ricostruzione più affidabile della situazione controfattuale (Martini, Sisti, 2009 : 158-159).

Gli studi randomizzati controllati sono considerati un metodo rigoroso per la costruzione di un controfattuale valido. L‟applicazione di questa tecnica per la valutazione di programmi in campo sociale richiede tempo e risorse, e soprattutto, la necessità che il disegno di valutazione sia progettato prima dell‟implementazione dell‟intervento (Fondazione Cariplo, 2015 : 27).

Dal punto di vista metodologico il metodo sperimentale risulta difficile da applicare quando bisogna mantenere l‟integrità dell‟esperimento, cioè la separazione netta tra il gruppo sperimentale e il gruppo di controllo. «Nonostante il disegno sperimentale sia analizzato in tutta la letteratura metodologica, non si può non considerare la sua difficile realizzabilità quando si lavora nell‟ambito delle scienze sociali. La ricerca sperimentale presuppone il controllo ferreo della clausola “ceteris paribus”9, realizzabile in piccoli gruppi e con esperimenti di laboratorio, di cui è lecito dubitare la riproducibilità in un contesto reale» (Bezzi, 2003 (b) : 336-340).

In una situazione diversa da quella di laboratorio, in cui gli individui possono muoversi come meglio credono, è possibile che i due gruppi, di controllo e sperimentale, non restino tali durante l‟esperimento. Quindi si potrà verificare la non partecipazione o la partecipazione parziale all‟esperimento da parte di uno o più soggetti appartenenti ai due gruppi (denominato problema dei no-show quelli che non si presentano, e drop-out quelli che abbandonano), oppure può accadere che coloro che sono assegnati al gruppo di controllo riescono a usufruire e partecipare a interventi simili a quelli a cui partecipano i soggetti del gruppo sperimentale (problema dei cross-over). Questi fenomeni sono la principale fonte di distorsione delle stime (Marchesi et al., 2011 : 33).

L‟utilizzo del metodo sperimentale in ambito sociale è limitato dall‟avversione alla randomizzazione da parte degli operatori di strutture che applicano gli interventi. In tale contesto emerge la difficoltà di ottenere la collaborazione di coloro, che

9 _{Ceteris paribus è una locuzione latina che tradotta letteralmente, significa a parità di tutte le}

45

attraverso la randomizzazione, vengono esclusi innescandosi meccanismi di pressione e stress psicologico (ibid. : 34 ; Martini, Sisti, 2009 : 181).

Dal punto di vista teorico il limite forse più importante del metodo sperimentale è legato alla scarsa generalizzabilità delle stime, soprattutto mostra limiti maggiori sul lato della validità esterna ovvero sui risultati applicabili ad altre popolazioni o a contesti diversi da quelli in cui sono stati originati per la prima volta. Sul lato della validità interna delle stime, nonché il contributo netto dell‟intervento, la randomizzazione risulta essere in grado di far emergere i risultati. Tale argomentazione viene ribadita da Ravallion (2009) in quanto sostiene che gli RCT sono forti sulla validità interna, ciò che funziona qui e ora, ma sono molto deboli sulla validità esterna cioè sull‟ipotesi se un intervento funzionerebbe in un ambiente simile o contrastante (Stern et al., 2012 : 8).

Uno dei primi esperimenti randomizzati sui trasferimenti monterai condizionati è stato lo studio condotto su un programma attuato in Messico nel 1997 dal nome “Progresa”, implementato dal deputato del Ministero delle Finanze Santiago Levy, il cui fine era quello di alleviare la povertà a breve e lungo termine (Banerjee, Duflo, 2012 : 94-95).

Sulla base di quanto esposto in precedenza è importante sottolineare che il metodo sperimentale se correttamente applicato, risulta uno strumento che riesce a tradurre immediatamente la nozione di effetto come differenza tra il fattuale e il controfattuale.

Nelle situazioni in cui, per diverse ragioni, non è possibile assegnare i destinatari di un intervento in modo causale ai due gruppi attraverso il RTC, si utilizzano i metodi non sperimentali o quasi sperimentali. Anche nei metodi non sperimentali l‟effetto di una politica è definito come differenza tra una situazione fattuale e una controfattuale, ma in questo caso la situazione controfattuale non è approssimabile tramite un gruppo di controllo scelto con una procedura di randomizzazione. Il valutatore non può manipolare il processo di selezione dei gruppi ma si limita ad osservare quello che succede: il controfattuale andrà approssimato osservando cosa succede ad altri soggetti e/o in altri periodi di tempo (Martini et al., 2001 : 77). In base al processo di selezione adottato e alla osservabilità o non osservabilità delle variabili utilizzate per la costruzione dei due gruppi, il valutatore decide quale

46

metodo non sperimentale adottare. Se il processo di selezione è determinato dal metodo delle variabili osservabili, che derivano dall‟osservazione del corso naturale degli eventi, il valutatore si serve di dati che provengono da procedure amministrative conosciute o di dati da cui sono rilevabili le caratteristiche degli individui che influenzano il processo di selezione. Se invece si utilizza il metodo delle variabili non osservabili, il valutatore in questo caso deve utilizzare altre informazioni per identificare gli effetti del trattamento, che si basano su osservazioni pre-intervento. Considerando le due strategie per la ricostruzione del controfattuale si può notare che: nel caso del confronto pre-post, l‟assunto necessario ad identificare l‟effetto è che non ci sia dinamica spontanea, cioè che ai destinatari non succeda niente di diverso a parte il trattamento; nel caso del confronto trattati-non trattati l‟assunto è che non ci siano differenze di partenza tra i due gruppi, cioè che non abbiano caratteristiche particolarmente differenti. Se entrambi gli assunti sono plausibili altrettanto lo saranno le stime dell‟effetto ottenuto, ma quando si opera al di fuori di un contesto sperimentale raramente tali assunti sono plausibili. E‟ importante notare che in nessuna delle due situazioni l‟assunto può essere sottoposto a test, solo una maggior disponibilità di dati rende testabile l‟assunto fatto anche se qualche grado di arbitrarietà sugli effetti si avrà sempre (Marchesi et al., 2011 : 37- 38).