Approccio sperimentale e quasi-sperimentale nell’analisi valutativa

All’approccio sperimentale è stata attribuita una grande rilevanza nella ricerca valutativa, per quanto il metodo sperimentale non si adatti ad essere applicato nella sua

forma “pura” (che prevede la costruzione di due gruppi di soggetti attraverso l’estrazione casuale) alle scienze sociali.

In termini sintetici, l’approccio sperimentale è finalizzato all’attenta misurazione degli effetti netti di un intervento, ovvero alla determinazione di quanto è concretamente e interamente imputabile ad un intervento dopo l’attuazione dell’intervento stesso, escludendo eventuali effetti di altri eventi contemporanei ma indipendenti o di possibili fattori sconosciuti.

L’approccio sperimentale prevede la costituzione di due gruppi: un soggetto all’azione dell’intervento (gruppo sperimentale) e un secondo che ne è escluso (gruppo di

controllo). Il gruppo sperimentale rappresenta il gruppo dei beneficiari di un

programma o intervento da comparare, nel contesto della ricerca valutativa, con il gruppo di controllo, che rappresenta invece chi non riceve i benefici del programma o intervento.

La comparazione può venire schematizzata mediante il “Solomon Four Group Model”, che illustra in quattro celle le situazioni di comparazione15

Tabella 19 - Solomon Four Group Model

A. Gruppo Sperimentale B. Gruppo di Controllo

A1. Pre Test Test B1. Pre Test

A2. Post Test Test B2. Post Test

Fonte: Commissione Europea.

Attraverso la comparazione dei due gruppi il valutatore determina il risultato netto del programma.

Al risultato netto o contributo netto dell’intervento alla modifica della situazione pre- esistente si può ricollegare la nozione di efficacia dell’intervento stesso. Il risultato netto misura infatti la differenza tra la situazione osservata dopo l’attuazione dell’intervento (situazione post-intervento) e quella che si sarebbe osservata in assenza di intervento (situazione controfattuale) per gli stessi soggetti e nello stesso periodo, condizioni queste ultime che contribuiscono a porre limiti alla possibilità di applicare l’approccio sperimentale puro alla valutazione di interventi con impatto socio-economico. In questi

15 _{European Commission, DG Regional Policy - Tavistock Institute in association with GHK, IRS (2003),}

The Evaluation of Socio-Economic Development – The Guide, Bruxelles (accessibile online: http://www.evalsed.info/frame_guide_intro.asp).

casi è infatti per definizione inosservabile la situazione controfattuale; tale situazione deve essere pertanto ricostruita sulla base di informazioni, diverse tuttavia da quelle su cui si è basata l’analisi della situazione pre-fattuale. L’approccio sperimentale presuppone inoltre la rigorosa applicazione della clausola ceteris paribus; tale applicazione è realizzabile in pratica solamente con esperimenti di laboratorio (ed anche in questo caso non necessariamente in modo assolutamente rigoroso), mentre nel contesto reale è difficoltoso quando non impossibile garantire la riproducibilità. Diversamente rispetto alle scienze naturali, quindi, esiste per le scienze sociali un problema legato alla necessità di ricostruire la situazione controfattuale, cosa che richiederebbe di “potere osservare gli stessi soggetti in un periodo antecedente alla realizzazione dell’intervento, oppure soggetti che non sono stati coinvolti nell’intervento ma sono sufficientemente simili, in modo da potere essere usati come termine di paragone.” (Martini – Garibaldi, 1993). Occorrerebbe cioè potere misurare “cosa sarebbe successo invece di ciò che è successo” (Bezzi, 2003), mentre “i dati osservati da un campione di unità statistiche non forniscono le controparti campionarie dell’esperimento controfattuale: cosa sarebbe successo se la politica non fosse stata applicata” (Ferrara – Marini, 2004). Come accennato, altre difficoltà derivano dalle modalità di costituzione dei gruppi di soggetti, che dovrebbero seguire procedure casuali soprattutto nei programmi a totale copertura. Vi sono infine ulteriori problemi di natura etica, e altri legati ai costi (EC, Evaluation of Socio-Economic Development). Vale la pena di menzionare la classificazione proposta dalla letteratura per i gruppi di fattori che sono responsabili di inquinare o inibire la valutazione dell’impatto di un intervento effettuata sulla base di un approccio sperimentale e che esplicitano l’impossibilità dell’osservazione controfattuale:

History effects – produzione di interferenze derivate da influenze esterne o effetti “di

maturazione” che avvengono internamente come risultato del semplice passaggio del tempo. La più semplice di tali interferenze deriva ad esempio dall’invecchiamento degli individui;

Selection effects – bias statistico dovuto al fatto che i gruppi, per quanto selezionati in

maniera casuale, non sono statisticamente equivalenti (la selezione è limitata ad esempio dall’impossibilità di accedere a gruppi sociali marginali, problema assai rilevante nella valutazione di interventi a carattere sociale); il rischio di differenziazione eccessiva tra i due gruppi è amplificato dalle ridotte dimensioni dei gruppi stessi.

L’approccio quasi-sperimentale si propone come una ragionevole alternativa che garantisce la realizzabilità della valutazione accettando alcuni compromessi rispetto alle necessità di un approccio sperimentale “puro”. I metodi quasi-sperimentali, o

osservazionali, aggirano l’ostacolo rappresentato dall’esperimento controfattuale

“costruendo un gruppo di unità di controllo che <<assomiglia>> al gruppo di unità alle quali è stata applicata la politica (gruppo di verifica), almeno per quanto riguarda le caratteristiche osservabili, ma alle quali la politica non è stata applicata.” (Ferrara - Marini, 2004). Nella costruzione del gruppo di unità di controllo occorrerà cercare di minimizzare il bias di selezione, legato alle differenze che inevitabilmente vi saranno tra le unità che partecipano degli effetti della politica e quelle che invece non ne partecipano. Tali differenze saranno relative a caratteristiche che influiscono sia sulla decisione di applicare la politica sia sui suoi risultati. Si cerca pertanto di selezionare un campione che funga da termine di paragone rispetto al gruppo di verifica utilizzando quale criterio di matching le variabili che indicano la prossimità geografica ed in seconda istanza quella economica (Ferrara – Marini, 2004).

Anche nel caso dell’approccio quasi-sperimentale, quindi, il gruppo sperimentale soggetto all’azione del programma o intervento viene confrontato con un gruppo di controllo non soggetto a tale azione, al fine di effettuare una valutazione di impatto. La differenza rispetto all’approccio sperimentale risiede tuttavia nelle modalità di costituzione dei gruppi, per i quali vengono utilizzate procedure di assegnazione non casual; il gruppo sperimentale ed il gruppo di controllo vengono equiparati con procedure statistiche multivariate, così da riprodurre quanto più possibile le reciproche caratteristiche, secondo il metodo del cosiddetto controllo statistico.

Anche rispetto all’approccio quasi-sperimentale è spesso necessario ricorrere a soluzioni meno “pure”, nel caso ad esempio di programmi a totale copertura in riferimento ai quali non sia possibile identificare due gruppi, dei quali uno non risenta degli effetti degli interventi.

A partire da queste ultime considerazioni, la letteratura fa riferimento alla cosiddetta “analisi prima/dopo”, per indicare i casi in cui è lo stesso gruppo ad essere preso in considerazione, sia prima che dopo l’intervento (ed in alcuni casi anche durante l’intervento stesso). Viene detto controllo riflessivo o valutazione prima/dopo la misurazione di una variabile di risultato presa sulla popolazione bersaglio prima dell’intervento, e utilizzata poi successivamente come informazione di controllo.

Vale infine la pena di menzionare che la Guida redatta dalla Commissione Europea per la Valutazione dello Sviluppo Socio-Economico, nella tabella che mette in relazione le modalità di analisi dell’informazione con le aree di policy, valuta le modalità legate agli approcci sperimentale e quasi-sperimentale come passibili di efficace applicazione nelle aree relative agli interventi di formazione e life-long learning, alle politiche attive del lavoro, agli interventi nel campo della sicurezza, della libertà e della giustizia. Le giudica infine sufficientemente adatte ad interventi in ambito Ricerca e Sviluppo; rispetto ad interventi per lo sviluppo dell’agricoltura, delle imprese, dei trasporti non vengono invece valutate adeguate.

L’obiettivo della valutazione quasi-sperimentale (Borland et al., 2005) è di misurare l’impatto della partecipazione di un individuo in un programma, tenendo conto di una variabile di outcome. Considerando Y1 l’outcome che un individuo riceve come partecipante in un programma, e Y0 l’outcome dove non partecipa (dove Y1 non è osservabile per l’individuo se Y0 è osservato, e Y0 non è osservabile se Y1 è osservato). Quindi per i individui, l’impatto della partecipazione nel programma, ∆i è dato da:

∆i = Y1i – Y0i

Definendo un indicatore variabile D uguale a 1 per un individuo quale partecipa al programma, e 0 per un individuo che non partecipa; un vettore X quale denota le variabile che influiscono entrambi (incluso l’individuo partecipante) e l’outcome che essi ricevono. Un vettore delle variabile conosciuto come uno strumento che influisce dove l’individuo partecipa al programma, ma non influisce l’outcome ricevuto, nominato Z.

Consideriamo l’esempio di un nuovo programma nelle scuole primarie, “A book a Day”, dove si intende ad aumentare l’abilità di leggere e scrivere degli studenti; si supponga che il programma è stato introdotto in un set di scuole primarie scelte casualmente in diverse regioni dell’Australia. In questo caso, Y1 e Y0 potrebbero rappresentare i punteggi delle abilità di leggere alla fine dell’anno dove uno studente partecipa ed un altro non partecipa al programma. Il vettore X può includere variabile come età, abilità di leggere prima del programma, numero di fratelli più grandi e il reddito famigliare. Ciascuna delle variabili è un potenziale fattore di spiegazione per

leggere i punteggi, Y1; il vettore Z può includere la regione geografica. Per definizione la regione di residenza è un determinante per la partecipazione al programma.

Diverse misure dell’impatto del programma possono essere stimate; ciascuna misura è rilevante per diverse domande di policy per quanto riguarda il programma.