5. IL MODELLO DI ANALISI CONTROFATTUALE
5.3. Proposta di controfattuale per il caso di Torino
IL MODELL O DI ANALISI C ONTR OF ATTU ALE
programma MRT.
The New York City Social Impact Bond - Future Jail Bed Use and the Cost of Future Jail Bed Use
46 1 2 3 4 5 6 7 1,600 1,400 1,200 1,000 800 600 400 200 -45 40 35 30 25 20 15 10 5 -1 2 3 4 5 6 7Number of jail beds Cost ($ in millions)
Program year
Without program With program
Program year
Future Jail Bed Use and the Cost of Future Jail Bed Use Cost of Future Jail Bed Use
Anche per ciò che attiene la tecnica controfattuale, ci sono delle sensibili differenze tra il caso di studio
inglese e quello americano; il Vera Institute ha riassunto il metodo sperimentale utilizzando il “Summary
of findings” del luglio 2015
47.
Se entrambe le valutazioni hanno usato la tecnica del Propensity Score Matching, i dati utilizzati sono
molto diversi: il metodo quasi-sperimentale usato da Vera Institute prevede che il matching venga fatto
su dati che riguardano le detenzioni passate. In particolare, il gruppo di trattamento che ha ricevuto il
pro-gramma implementato da ABLE durante il 2013, viene confrontato con un gruppo di controllo costruito
prendendo come riferimento ex detenuti nel periodo che va dal 2006 al 2010.
Per poter controllare i fattori che pur essendo esterni al programma, ma che possono avere un effetto sul
tasso di recidiva (come cambiamenti nei tassi di criminalità della città), i ricercatori hanno confrontato
i tassi del gruppo di trattamento anche con quelli dei ragazzi diciannovenni e ventenni che non hanno
quindi potuto godere del programma perché assegnati a carceri per adulti
48.
5.3. Proposta di controfattuale per il caso di Torino
L’analisi di questi due casi è, senza dubbio, utile per ragionare sulla nostra proposta del disegno del
metodo di valutazione controfattuale. Quando si intende realizzare un’analisi controfattuale, si è
inte-ressati a calcolare:
τ
ρ= E [Y(1) - Y(0)]
Vale a dire l’effetto medio di un certo trattamento o intervento su una popolazione data (p), per un
46 Pag. 14 “Financing Promising Evidence-Based Programs, Early Lessons from the New York City Social Impact Bond” - Timothy Rudd,
MDRC Elisa Nicoletti, MDRC Kristin Misner, NYC Mayor’s Office Janae Bonsu, MDRC - December 2013.
47 “Impact Evaluation od the Adolescent Behavioural Learning Experience (ABLE) Program at Rikers Island” .
5. IL MODELL O DI ANALISI C ONTR OF ATTU ALE
numero di outcome Y (i.e. tornare o non tornare in detenzione), dove Y(0) è riferito alla media della
quantità di outcome per coloro non hanno ricevuto un trattamento e Y(1) è invece la media della
quan-tità di outcome per i beneficiari del programma.
τ
ρT
= E [Y(1) - Y(0)|W = 1]
Possiamo essere ancora più specifici nella definizione di ciò che si vuole quantificare, vale a dire
ovvero l’effetto medio di un certo livello di trattamento per l’intera popolazione, partendo dal
presup-posto che questo trattamento è stato effettivamente erogato. W rappresenterebbe il trattamento vero
e proprio, ed è uguale a 0 se non è stato fornito al soggetto in analisi (i.e. il detenuto appartenente al
gruppo di controllo), è invece uguale a 1 se è un beneficiario attivo del programma.
Y
i= Y
i(W
i) = {
Yi (0) if Wi = 0Yi (1) if Wi = 1
Esistono diverse tecniche econometriche che possono portare a termine questo calcolo, seguendo la
classificazione fornita da Guido W. Imbens
49:
1. metodi basati sulla stima di unkown regression functions (funzioni di linee regressione
sconosciute) della variabile outcome, sulle covariate (le x) studiate;
2. tecniche di matching delle covariate;
3. metodi basati sul propensity score matching, includendo le sue declinazioni blocking and
weigthing;
4. combinazioni dei metodi sopracitati;
5. un approccio Bayesiano.
Altre tecniche che potrebbero prestarsi a questo tipo di valutazione sono le più comuni applicazioni
dei Random Control Experiment, come la Diff-in Diff, che richiedono però una numerosità campionaria
maggiore rispetto a quella che può essere necessaria con queste tecniche alternative, dato che sia il
gruppo di trattamento, sia quello di controllo devono essere direttamente osservati.
Come già sopra menzionato, la tecnica econometrica usata per la valutazione dei due casi studio presi
in esame nel presente contributo, è il Propensity Score Matching.
Questa tecnica si avvale di una regressione logistica tramite la quale comporre statisticamente il
grup-po di controllo sulla base delle caratteristiche fondamentali evidenziate per il campione del grupgrup-po di
trattamento.
Seguendo questo metodo, si ha la possibilità di ridurre le eventuali implicazioni legate a questioni
di carattere etico nella scelta dei beneficiari del programma ai fini della composizione del gruppo di
trattamento, ed è convincente rispetto ad una serie di limitazioni tecniche relative alla partecipazione
dei detenuti al programma d’intervento (es. fuoriuscita dal programma per scarcerazione o altre
even-tualità).
Nello specifico, entrando nel merito della questione etica, nel momento in cui viene sperimentata
un’iniziativa che si presume possa generare dei benefici sostanziali, l’utilizzo di una tecnica randomica
RCT può produrre un’evidente disparità di opportunità tra quanti sono stati inseriti nel gruppo di
trat-tamento e coloro che, invece, facendo parte del gruppo di controllo non beneficiano dell’intervento.
49 “Nonparametric Estimation of Average Treatment Effects under Exogeneity: a Review”, The Review of Economics and Statistics,
5. IL MODELL O DI ANALISI C ONTR OF ATTU ALE