Impact Evaluetion

Per definire l’Impact Evaluation si può ricorrere alla definizione di impatto elaborata dall’ OCSE-DAC, la più diffusa e condivisa, ma anche quella in grado di cogliere meglio la complessità e gli effetti a lungo termine di un intervento. A partire da questa definizione, l’Impact Evaluation può essere così definita:

- Valutazione degli effetti a lungo termine positivi e negativi, primari e secondari, degli interventi di sviluppo sui beneficiari finali;

- Stima dei contributi causali diretti e indiretti sia intenzionali che non intenzionali attesi da questi interventi; e

- Spiegazione di come gli interventi nelle politiche contribuiscono a generare degli effetti così che si possa imparare da queste lezioni.

74

La definizione dell’OCSE è di ampia portata e sebbene condivisa dalla maggior parte degli attori impegnati nel campo dello sviluppo internazionale, non è l’unica; altre definizioni di valutazione d’impatto sono state elaborate, riportiamo qui di seguito le più rilevanti.

Ad esempio, il Poverty Action Lab sostiene che «The primary purpose of impact evaluation is to determine whether a program has an impact (on a few key outcomes), and more specifically, to quantify how large that impact is. What is impact?»

Invece, il sito web della Banca Mondiale definisce la valutazione di impatto come: «[…]assessing changes in the well-being of individuals, households, communities or firms that can be attributed to a particular project, programme or policy».

3ie definisce la valutazione d’impatto nel suo foundation document (2008) come: «Rigorous impact evaluation studies are analyses that measure the net change in outcomes for a particular group of people that can be attributed to a specific program using the best methodology available, feasible and appropriate to the evaluation question that is being investigated and to the specific context». E come «[…]the difference in the indicator of interest (Y) with the intervention (Y1) and without the intervention (Y0). That is, impact = Y1 – Y0. An impact evaluation is a study which tackles the issue of attribution by identifying the counterfactual value of Y (Y0) in a rigorous manner» (Stern et al. 2012).

Queste definizioni:

 Si concentrano più sui metodi che sui contenuti.

 Si focalizzano sulla ricerca di un determinato effetto (l’indicatore d’interesse) o di una causa specifica.

 Ponendo l'accento sull’attribuzione suggeriscono l’esistenza di un legame diretto tra causa (spesso descritta in termini medici come un “trattamento”) ed effetto.

 Fanno ricorso alla logica controfattuale nel fare inferenza causale, cioè si pongono la domanda: cosa sarebbe successo senza l'intervento?

 Partono dall’assunto che i metodi sperimentali e quasi- sperimentali sono i metodi migliori o di default.

 Non fanno riferimento specifico ad effetti a lungo termine, infatti gli effetti possono essere anche a breve termine.

Anche se alcuni sostenitori della valutazione d’impatto (ad esempio il Poverty Action Lab e la Bill and Melinda Gates Foundation) si sono avvalsi solo di metodi sperimentali

75

e quasi sperimentali altri sostengono che gli studi di controllo randomizzati (RCT) sono utili in alcune circostanze ma non in tutte (Stern et al. 2012).

La determinazione dell’impatto sociale è un’attività molto complessa che tiene conto di cinque elementi costitutivi del progetto che riportiamo qui in maniera sintetica:

1) Input: risorse materiali, finanziarie e tecniche, necessarie alla realizzazione del progetto;

2) Activities: attività operative, azioni necessarie all’erogazione del servizio; 3) Output: risultati misurabili in termini di quantità e qualità del servizio erogato; 4) Outcomes: cambiamenti, benefici, insegnamenti o altri effetti che derivano dalle

attività;

5) Impact: verifica statistica dell’impatto dei cambiamenti dovuti alle attività.

l modello logico che collega questi cinque elementi è noto come teoria del cambiamento. Tale modello mostra e spiega il nesso causale tra le attività intraprese e i risultati e l’impatto attesi.

La misurazione dell’impatto sociale si configura come un’operazione fondamentale al processo decisionale di diversi soggetti coinvolti nelle operazioni di social investment. Riportiamo di seguito alcune delle motivazioni che spingono a tale misurazione:

 Per decidere se ha senso sostenere un programma o un intervento, di solito si tratta di una valutazione ex-ante, per stimare gli impatti desiderati e sostenere le informazioni per il sostegno economico al progetto;

 Per decidere se continuare o ampliare un progetto;

 Per apprendere come replicare o “scalare” un progetto pilota;

 Per apprendere come adattare un programma di successo a contesti diversi;

 Per informare i sostenitori e i donatori che il denaro è stato investito in maniera positiva (segnalando loro cosa è andato e cosa no, quali miglioramenti saranno apportati, ecc.);

 Per informare potenziali beneficiari e in generale le comunità dei benefici derivanti da un progetto o programma (Chiaf 2013).

76

La misurazione dell’impatto è utile, inoltre, per diversi soggetti:

 per l’organizzazione che agisce l’intervento, per comprendere il proprio modello logico, per darsi degli obiettivi e perché tutti gli stakeholder interni direttamente coinvolti sappiano quale è il cambiamento a cui tendere;

 per i soggetti esterni, principalmente finanziatori, per capire l’efficacia del proprio intervento e l’eventuale continuazione/interruzione/revisione del sostegno;

 per i soggetti pubblici - laddove gli interventi abbiano finalità che coinvolgono la collettività - in quanto diretti interessati allo sviluppo del bene comune dei territori, e quindi a produrre cambiamenti positivi per e con la comunità in cui operano (Chiaf 2013).

Come detto sopra l’individuazione di parametri e metriche specifiche in grado di predire l’impatto sociale di un progetto è un’operazione complessa per via dalla molteplicità di fattori che possono influenzare le performance sociali. Tuttavia negli ultimi anni si è tentato di elaborare metriche di misurazione delle performance e del rischio degli investimenti che, sebbene non trovano ancora un pieno accordo nella comunità scientifica, costituiscono comunque un buon punto di partenza; di seguito ne riportiamo alcune:



per comprendere, determinare e gestire il valore degli esiti (outcome) sociali, economici ed ambientali generati da un’attività o da una organizzazione. La procedura prevede la valutazione in termini monetari dei costi, dei benefici e delle eventuali conseguenze negative. L’esito non è una semplice stima della redditività espressa in termini numerici, ma prevede un resoconto argomentato degli effetti di un progetto.

 Impact Reporting and Investment Standards (IRIS): sviluppato nel 2009 dalla Global Impact Investing Network (GIIN), un’organizzazione non profit dedicata ad aumentare la portata e l’efficacia dell’impact investing, rappresenta un catalogo di indicatori di performance da utilizzare come metodo di valutazione dell’impatto sociale, ambientale ed economico. Il GIIN considera l’IRIS come un bene pubblico messo gratuitamente a disposizione degli operatori del settore per favorire la trasparenza, la credibilità e la responsabilità nelle pratiche di misurazione dell’impatto nel settore dell’impact investing. Lo

77

strumento favorisce anche il benchmark di settore. L’uso di IRIS non consente la misurazione diretta dell’impatto, ma l’individuazione di un numero ristretto di indicatori sociali su cui c’è accordo (Global Impact Investing Network 2015).

 Global Impact Investing Rating Sistem (GIIRS): sviluppato da B Lab, è un sistema di valutazioni che, a partire dalle metriche IRIS, consente di valutare comparativamente le organizzazioni in quattro aree di performance: governance, lavoro, ambiente e comunità. L’agenzia offre un rating e differenti benchmark in modo che gli investitori possano farsi un’idea del posizionamento dell’operatore che intendono finanziare (Del Giudice 2015).

 Bilancio Sociale o Contabilità Sociale: un metodo per pianificare, misurare e valutare gli obiettivi sociali di un'organizzazione (Social Audit Network 2011).

 Global Reporting Index (GRI): un sistema per l'elaborazione di relazioni sulla sostenibilità che offre un quadro per la rendicontazione sociale, ambientale ed economica.

Il tema della misurazione dell’impatto sociale ha suscitato anche l’interesse dell’Unione Europea che ha promosso diversi gruppi di lavoro e di studio proprio per definire e misurare l’impatto sociale: GECES Sub-group on Social Impact Measurement, the Social Impact Investment Taskforce del G8, ecc.

Inoltre la Commissione europea ha pubblicato un report in cui è presentato lo standard, o meglio l’insieme di standard, volto ad aiutare le imprese sociali a misurare meglio il loro impatto sulla comunità e il loro valore nonché a comunicarlo ai loro partner, ai governi, e agli altri stakeholders. Lo standard sarà determinante per l’accesso delle imprese sociali europee ai finanziamenti erogati dalle casse degli European Social Entrepreneurship Funds (EuSEF) e agli 86 milioni di euro stanziati per il periodo 2014-2020 dal nuovo programma Employment and Social Innovation (EaSI).

Il report stabilisce che non è possibile fissare una serie rigida di indicatori che misurino con approccio top-down l’impatto sociale in tutti i casi. E adduce cinque motivazioni:

1) La varietà degli impatti sociali;

2) L’incapacità degli indicatori quantitativi di cogliere alcuni aspetti qualitativi altrettanto importanti;

78

3) Tempo e risorse, necessarie ad ottenere una valutazione precisa, spesso sproporzionati alle dimensioni delle aziende e dunque non sostenibile;

4) Il rischio, data l’ampia varietà nella natura e finalità dei progetti, che l’uso di indicatori comuni e comparabili possa portare a una perdita in termini di utilità e pertinenza degli indicatori;

5) Infine l’impossibilità di uno standard di resistere a lungo nel tempo a causa del rapido cambiamento dell’industria e delle misurazioni degli impatti (GECES Sub-group on Impact Measurement 2014).

La Commissione europea propone, pertanto, uno standard flessibile per misurare questi impatti, articolato in cinque passi:

 identificare gli obiettivi dei soggetti interessati alla misurazione dell’impatto e del servizio che viene misurato;

 identificare i diversi stakeholders;

 impostare le misurazioni rilevanti;

 verificare se i risultati pianificati sono stati realmente ottenuti nella pratica, se sono evidenti agli stakeholder e se per gli stessi hanno un valore;

 effettuare un report dei risultati, a intervalli regolari e diretti a audience interne ed esterne all’azienda: il report è anche un momento di apprendimento e miglioramento (Magna 2014).