Il rapporto fra efficacia e impatto

Il termine “efficacia” deve essere nettamente distinto da quelli di impatto e qualità, nonostante nella prassi, e talvolta anche nella lettera- tura in materia, le espressioni possano essere utilizzate genericamente come sinonimi.

A un’analisi più puntuale, con specifico riferimento ai SaP, possono es- sere distinti i seguenti termini:

• qualità, intesa come rapporto con uno standard;

• efficacia esterna, interpretata quale divario fra il servizio effettivamente erogato e la percezione di qualità dell’utenza;

• efficacia interna, definita come raffronto fra i risultati ottenuti e quelli attesi;

• efficacia relativa, definita quale comparazione con i servizi realizzati da agenti alternativi, siano essi competitori o meno dell’ANP;

• impatto, inteso come confronto con la situazione che si sarebbe venuta a creare in assenza della realizzazione dei servizi.

Fra i diversi concetti evocati, quelli di efficacia relativa e di impatto appaiono particolarmente utili per una valutazione globale dei programmi, delle attività e dei servizi resi dagli enti del terzo settore1_{. Infatti, nel-}

l’impossibilità di definire in maniera oggettiva e misurabile standard di ri- ferimento, risultati attesi e soddisfazione percepita, soltanto il confronto con i servizi dei competitor e l’impatto rappresentano parametri accettabili.

In particolare, l’analisi di impatto2 _{di un intervento pubblico mira a va-}

1 _{In questo senso si veda: E. Gori, G. Vittadini, Qualità e valutazione nei servizi di pubblica}

utilità, Milano, Etas, 1999.

2

Sull’analisi di impatto uno studio particolarmente approfondito è contenuto in: L. B. Mohr,

Impact Analysis for Program Evaluation, Londra, Sage, 1995.

lutare il grado di raggiungimento degli obiettivi programmati attraverso la disamina retrospettiva dei risultati conseguiti rispetto alle intenzioni, con- frontando output e outcome, da un lato, con gli input, dall’altro3_.

Con l’espressione outcome si intende, in maniera più specifica ri- spetto a quanto segnalato in precedenza, “l’effetto di lungo periodo ge- nerato dalla fornitura di un bene o dalla somministrazione di un servizio sulle condizioni, sullo stato o sul comportamento di un utente”4_{. Si tratta}

di un concetto strettamente correlato a quello di impatto, poiché ne rap- presenta una prima elementare approssimazione. Questa affermazione è motivata dal percorso logico di tipo top-down seguito dall’analisi di im- patto, nella quale si assume che fini e obiettivi siano dati, ossia siano presenti in qualche documento programmatico o, eventualmente, nelle convenzioni stipulate fra PA e ANP. Il valutatore si limita a verificare il grado di discrepanza fra fini e obiettivi, da una parte, e servizi generati (output) ed effetti susseguenti (outcome), dall’altra, cercando di com- prendere il grado di incidenza dell’intervento sul problema o sul feno- meno che si intendeva modificare5_.

Per depurare l’impatto dalle motivazioni esogene e passare da un con- cetto di efficacia lorda a uno di efficacia netta, è possibile determinare l’impatto netto attraverso l’analisi controfattuale6_{. Con questa espressione}

si intende lo stato della situazione che si otterrebbe se non si intervenisse con il programma e cioè se i soggetti o i casi sotto esame non fossero esposti all’intervento7_{. Questo approccio alla valutazione di impatto, svi-}

luppatosi già dagli anni Cinquanta e sessanta del ventesimo secolo, è noto come disegno sperimentale8_{. Secondo tale prospettiva la valutazione è di} 3

Cfr. A. Lippi, Valutazione delle politiche pubbliche, Bologna, il Mulino, 2007, pp. 90 e ss. 4

Cfr. P. J. Gertler, “A Latent Variable Model of Quality Determination”, Journal of Business

& Economics Statistics, 6, 1998, p. 99 (tda).

5 _{Un’analitica descrizione dei compiti del valutatore è contenuta in: A. Martini, “Metodo} sperimentale, approccio controfattuale e valutazione degli effetti delle politiche pubbliche”,

Rassegna Italiana di Valutazione, 10(34), 2006, pp. 61-74.

6

Ibidem, p. 54. 7

La “situazione controfattuale” rappresenta quello che, ipoteticamente, sarebbe successo se l’intervento non fosse stato attuato. Quindi, l’impatto di un intervento è definito come diffe- renza tra ciò che si osserva e ciò che presumibilmente si sarebbe trovato in assenza di inter- vento. Poiché la situazione controfattuale non è osservabile (per definizione), il compito primario della valutazione di impatto è trovare per essa un’approssimazione plausibile. 8

Un’evoluzione del disegno sperimentale è quello realista, che considera anche l’effetto dei fattori di contesto e dei comportamenti dei soggetti coinvolti. Secondo questa prospettiva, sul raggiungimento dei risultati finali influiscono, da un lato, contesti sociali particolari, dal- l’altro, interazioni fra i servizi e gli individui che li ricevono. Nonostante il suo indubbio interesse, il disegno realista rappresenta un approccio allo studio dell’impatto particolar-

FrancoAngeli

tipo quantitativo ed è basata su l’ipotesi che esista un nesso causale e li- neare fra lo stato di un problema, il trattamento previsto attraverso il pro- gramma e gli outcome rilevati e misurati9_{. L’esperimento consiste nel con-}

frontare, attraverso specifici indicatori, le differenze fra i risultati ottenuti su una popolazione coinvolta nel programma (gruppo sperimentale) e su una che ne è stata esclusa (gruppo di controllo). Pertanto, l’impatto è inte- so come differenza fra outcome conseguiti e situazione di partenza. Più specificatamente, al valutatore non interessa osservare tanto la differenza fra la situazione prima e dopo la somministrazione del servizio, quanto isolare le cause intenzionali ed endogene del programma da quelle esoge- ne presenti nel contesto10_{. L’impatto, dunque, può essere scomposto in}

cause endogene legate alla realizzazione del servizio ed esogene connesse a fattori ambientali.

I componenti dei due gruppi sono scelti solitamente attraverso un ap- proccio sperimentale basato sulla randomizzazione semplice, ossia ricor- rendo a una attribuzione del tutto casuale dei componenti ai due insiemi prima dell’erogazione del servizio.

La casualità assicura che i membri abbiano la stessa probabilità di en- trare a far parte dei due gruppi e che, quindi, gli effetti dell’intervento siano riconducibili verosimilmente all’erogazione del servizio anziché a caratteri- stiche appartenenti ai soggetti individuati.

La stima dell’effetto della somministrazione del servizio avviene con- frontando i valori delle variabili outcome dei due gruppi dopo l’erogazione del trattamento: il valore del gruppo dei trattati rappresenta il fattuale, mentre quello del gruppo di controllo il controfattuale11_.

Il cuore dell’analisi di impatto è quindi la ricerca di metodi analitici ca- paci di indagare la situazione dei non-beneficiari dell’intervento per rico- struire quello che sarebbe successo ai beneficiari se l’intervento non fosse stato attuato.

La possibilità di stimare l’impatto diretto di un intervento dipende da tre condizioni (elencate in ordine crescente di difficoltà):

1. le osservazioni sul cambiamento siano disponibili per i beneficiari del- l’intervento;

mente complesso che esula dai fini del presente lavoro. Cfr. R. Pawson, N. Tilley, Realistic

Evaluation, Londra, Sage, 1997.

9

Cfr. A. Lippi, Valutazione delle politiche pubbliche, cit., p. 93.

10 _{Per un approfondimento sul metodo controfattuale si veda: P. H. Rossi, H. E. Freeman, M.} W. Lipsey, Evaluation. A Systematic Approach, Thousand Oaks, Sage, 2004.

11

Cfr. M. Palumbo, Il processo di valutazione. Decidere, programmare, valutare, Milano, FrancoAngeli, 2001, pp. 21-27.

2. le osservazioni sul cambiamento siano disponibili per i non-beneficiari (gruppo di controllo);

3. i beneficiari e i non-beneficiari siano “simili” in assenza di intervento, cioè si comportino alla stessa maniera.

La prima condizione è relativamente semplice da soddisfare. I benefi- ciari dell’intervento, per definizione, sono individuabili, in quanto hanno ricevuto qualche tipo di prestazione o servizio. Ciò nonostante, non è scontato che il cambiamento nei comportamenti o nelle condizioni rilevanti per la valutazione sia misurabile, poiché influiscono fattori quali il tipo di fenomeno sociale, gli strumenti di misurazione disponibili e le risorse dedi- cate alla valutazione.

La seconda condizione costituisce un problema di più difficile soluzio- ne. In molte situazioni può essere arduo entrare in contatto con i non- beneficiari di un intervento e raccogliere da loro le stesse informazioni che si hanno per i beneficiari.

Tuttavia, la condizione di gran lunga più problematica da soddisfare è la terza, poiché può essere ostico stabilire se beneficiari e non-beneficiari siano equivalenti in assenza di intervento. È dunque indispensabile sele- zionare il gruppo di controllo in modo che sia equiparabile con quello sperimentale.

Questa è una condizione cruciale per poter interpretare la differenza os- servata tra i due gruppi come una stima dell’impatto dell’intervento.

Se i due gruppi sono diversi nelle condizioni di partenza (sarebbero cioè diversi anche in assenza di intervento), il confronto produce una stima distorta dell’impatto dell’intervento. Tale distorsione può andare in entram- be le direzioni, cioè può portare sia a sottostimare l’impatto dell’intervento sui beneficiari sia a sovrastimarlo. Se i non-beneficiari tendono a essere in una situazione peggiore di come sarebbero stati i beneficiari in assenza di intervento, l’impatto sarà sovrastimato, attribuendo al somministratore me- riti che non gli appartengono. Viceversa, se i non-beneficiari tendono a es- sere in una situazione di partenza migliore, all’intervento verranno negati meriti che sono di sua pertinenza.

Questo possibile errore è comunemente definito selection bias o distor- sione da selezione.

Una vastissima letteratura si è sviluppata sull’argomento del selection

bias e di come possa essere eliminato o ridotto in modo da poter stimare

correttamente l’impatto dell’intervento sui beneficiari12_. 12

Fra i principali contributi si vedano: J. Heckman, R. Robb, “Alternative Methods for Evaluating the Impact of Interventions”, in J. Heckman, B. Singer (a cura di), Longitudi-

nal Analysis of Labor Market Data, Cambridge, Cambridge University Press, 1985; L. B.

La soluzione proposta in questo lavoro appartiene al disegno speri- mentale e prevede di eliminare il problema alla radice, manipolando diret- tamente il processo di selezione che individua i soggetti beneficiari e li di- stingue dai non-beneficiari.

Se tale manipolazione è possibile, ed è effettuata assegnando a caso gli individui al gruppo dei beneficiari e non-beneficiari, si ha la garanzia (al- meno teorica) che i due gruppi siano equivalenti in termini di condizioni di partenza. La differenza nel miglioramento osservato tra i due gruppi sarà quindi integralmente dovuto all’esposizione all’intervento da parte dei be- neficiari. In altri termini, si tratta di applicare la ben nota strategia speri- mentale mediante casualizzazione13_.

In definitiva, l’elaborazione dell’impatto netto consente al valutatore di determinare, attraverso una quantificazione monetaria, l’entità del risultato raggiunto permettendo ai decision maker di formulare un giudizio comples- so e articolato sulle azioni intraprese. Ne consegue che l’impatto è frutto di una aggregazione degli outcome realizzati al netto di effetti esterni e che, dunque, sarebbero stati raggiunti indipendentemente dal programma realiz- zato o dal servizio somministrato.