UN BILANCIO TECNICO-QUALITATIVO DELLE VALUTAZIONI COMMISSIONATE

Le valutazioni commissionate dalla DGCS-Ufficio IX-Valutazione e visibilità delle iniziative presentano complessivamente una soddisfacente qualità metodologica e redazionale.

Le valutazioni hanno riguardato progettualità complesse.

Spesso più interventi sono stati oggetto di un’unica valutazione, ad esempio l’assessment dei Programmi di Emergenza in Afghanistan e Libano ha interessato oltre 50 progetti, con un’analisi a campione.

Gli interventi hanno avuto importi tra loro molto differenti, con budget ricompresi tra il milione di euro – progetti promossi ONG – e centinaia di milioni di euro – programmi di conversione del debito o delle realizzazioni infrastrutturali; ad esempio il Programma di Conversione del Debito II fase (Egitto) aveva un valore di 100 milioni di dollari ed il Progetto idroelettrico Gilgel Gibe II in Etiopia ha avuto un valore di quasi 500 milioni di euro.

Le iniziative hanno avuto periodi differenti di implementazione, dai 12-18 mesi degli interventi di emergenza e dei progetti promossi dalle ONG agli interventi pluriannuali dei programmi di conversione del debito. Molte iniziative hanno registrato forti ritardi, che ne hanno anche quadruplicato i tempi di implementazione, è questo il caso del progettoEtiopia. Filiere agricole in Oromia.

Nel corso degli esercizi di valutazione, i vari team di esperti si sono trovati di fronte ad una serie di difficoltà che hanno condizionato la valutazione stessa. I principali limiti riscontrati, che hanno riguardato in misura trasversale tutte le progettualità, sono i seguenti:

• difficoltà nel reperimento della documentazione di progetto; • reportistica di progetto non compilata su formati standard; • assenza di report interni di valutazione finale;

• tempi stretti di valutazione, in particolare tempi non adeguati per la realizzazione delle missioni di campo dei programmi più complessi;

• assenza di un quadro logico del programma o assenza di indicatori e baseline di riferimento a corredo del quadro logico dell’intervento.

Per alcuni progetti oggetto di valutazione ex post, è stato rilevato quale limite l’eccessivo lasso di tempo intercorso tra la fine dei progetti e l’avvio delle attività valutative, che ha inciso negativamente sulla reperibilità di documentazione e dati, nonché sulla possibilità di intervistare

128 beneficiari, partner e stakeholder. Alcuni programmi sono stati poi caratterizzati da un alto turn over del personale impegnato, fattore che ha inciso sulla possibilità di riscostruirne la memoria storica attraverso le interviste ai soggetti privilegiati. In alcuni casi i team di valutazione si sono dovuti scontrare con la scarsa collaborazione degli attori da intervistare. Infine, per gli interventi umanitari, talora, si sono avute difficoltà circa la mobilità nel corso della missione di campo a causa della situazione instabile dei luoghi d’intervento.

Come indicato nel precedente Paragrafo, per ogni incarico di valutazione è stata richiesta l’analisi dei 5 criteri di valutazione OECD-DAC (rilevanza, efficienza, efficacia, impatto e sostenibilità), con la specifica di fornire un giudizio anche sul design progettuale, senza soppesare l’opportunità di indagare criteri non del tutto valutabili, in ragione della natura della valutazione stessa, o di proporre l’utilizzo di metodologie non esperibili. Ci si riferisce alle richieste di analisi di sostenibilità e impatto per valutazioni in itinere o alla richiesta di adottare un metodo di indagine controfattuale, laddove il controfattuale necessita di essere predisposto già in fase di pianificazione di un intervento.

Per quanto attiene gli aspetti metodologici, tutti gli esercizi valutati sono stati caratterizzati da 3 fasi principali: i) fase desk di analisi documentale; ii) fase di campo, con l’osservazione diretta dei siti dove erano stati implementati i progetti e l’incontro di beneficiari, partner e stakeholder; iii) fase di sintesi, per la rielaborazione critica di dati ed informazioni e la stesura del rapporto di valutazione. Quest’ultima fase ha previsto una prima redazione draft del rapporto, circolata presso i competenti ed interessati uffici del Ministero ed oggetto di un workshop di restituzione presso il Ministero, che ha coinvolto non solo i suddetti uffici ma anche i soggetti esecutori ed altri stakeholder interessati. La fase di sintesi si è poi conclusa con la finalizzazione del rapporto di valutazione, in seguito all’integrazione dei commenti e delle osservazioni ricevute rispetto alla versione draft.

Tutte le valutazioni si sono avvalse, quali principali strumenti di indagine, di analisi documentale, interviste e focus group, osservazione diretta per mezzo della visita in loco. In alcuni casi sono state effettuate delle survey per la raccolta di dati e giudizi presso i beneficiari. Per le valutazioni che hanno avuto ad oggetto molteplici interventi si è proceduto con analisi a campione di progetti selezionati, su indicazione della DGCS-Ufficio IX-Valutazione e visibilità delle iniziative.

Non sono state utilizzate particolari metodologie di analisi, fatta eccezione per la ricostruzione della theory of change per 3 interventi (Valutazione emergenza Palestina, 2015; Macedonia, città di Stip e Prilep: miglioramento della qualità della vita dei Rom e avvio dell’integrazione, 2013;

129 Valutazione delle iniziative nel settore sanitario in Mozambico, 2013), un’analisi comparativa con programmi internazionali simili (Programma di Conversione del Debito II fase (Egitto), 2013), un’analisi di Kirkpatrick per interventi di formazione (Pilot activities for education and culture in Macedonia, 2013).

Per 18 valutazioni su 26 gli esperti hanno predisposto una matrice dei quesiti di valutazione ad hoc. Se dei TdR di qualità costituiscono il primo elemento per impostare una buona valutazione, una matrice di valutazione ben strutturata costituisce il secondo elemento chiave per una valutazione in grado di esaminare tutti gli aspetti salienti di un intervento, pur in presenza di eventuali limiti, applicando di conseguenza le più funzionali e pertinenti metodologie di analisi. Da un’analisi delle varie matrici adottate per la valutazione degli interventi della Cooperazione Italiana, che per lo più non sono state discusse da committente ed esecutore nella fase di elaborazione dell’inception report, si riscontra – come indicato nel precedente Paragrafo – che nella maggioranza dei casi i quesiti proposti nelle sezione dei TdR “Quadro analitico suggerito per i criteri di valutazione” non sono stati declinati in relazione alle specifiche caratteristiche degli interventi. Quindi, i macro-quesiti non sono corredati da sotto-quesiti puntuali che indagano il singolo criterio OECD-DAC in ragione dei nessi logici che sottendono le diverse strategie progettuali.

Dal confronto tra un quadro analitico suggerito dai TdR e una matrice di valutazione tipo emerge come quest’ultima non apporti un valore aggiunto in termini di chiarimento e approfondimento del framework di analisi, scopo precipuo dell’adozione della matrice di valutazione stessa. Se infatti un quadro analitico può anche essere generico, una matrice di valutazione deve essere confezionata su misura per il progetto cui si riferisce.

Si aggiunge che in alcuni casi i quesiti inseriti nelle matrici non sono del tutto pertinenti con il criterio di valutazione di riferimento. In particolare, si riscontrano imprecisioni nella definizione delle domande attinenti efficacia ed efficienza e nella corrispondente trattazione dei due criteri. Tale confusione, che non coglie la differenza tra i due criteri, è di fatto un errore metodologico.

130 MATRICI DI VALUTAZIONE A CONFRONTO

QUADRO ANALITICO SUGGERITO DAI TDR VALUTAZIONE ESEMPIO Rilevanza

Il valutatore dovrà verificare il grado in cui i progetti tengono conto del contesto e dei problemi di

sviluppo locale. La valutazione riesaminerà la misura con la quale gli obiettivi dei progetti sono coerenti con i bisogni dei beneficiari. La valutazione stimerà se l’approccio adottato tiene conto delle priorità stabilite nella poverty reduction strategy.

Validità del quadro logico del progetto La valutazione esaminerà le logiche che

sottintendono l’elaborazione dei quadri logici e la rispondenza delle attività con i risultati e di questi ultimi con gli obiettivi che i progetti intendono raggiungere.

Pertinenza e qualità di design

- Quanto i progetti colgono nella loro strategia di intervento gli effettivi bisogni dei loro beneficiari finali?

- Quanto i progetti colgono e sono coerenti con strategie politiche di medio periodo del paese di intervento?

- La logica dell’intervento è dettagliata e coerente? La composizione del partenariato è adeguata agli obiettivi? Sono ben definiti gli indicatori di

performance? Esiste una strategia di gestione del

rischio e una exit strategy?

Efficienza

Analisi dell’ottimizzazione nell’utilizzo delle risorse per conseguire i risultati dei progetti. Nel valutare l’efficienza sarà utile considerare i) Se i risultati sono stati raggiunti con i costi previsti, ii) Se i risultati sono stati raggiunti nel tempo previsto, iii) Se i mezzi utilizzati sono stati i più efficienti (minori costi o minori tempi) possibile. La valutazione indicherà come le risorse e gli input sono stati convertiti in risultati.

Efficienza

- Quanto i progetti sono stati in grado di avviare reali e solide pratiche di collaborazione con le controparti locali?

- Quanto i progetti sono riusciti a mantenere fede ai loro impegni contrattuali in termini di spesa e di realizzazione delle attività nei tempi previsti? Sono gli output proporzionati alle risorse impiegate? Hanno effettivamente determinato il raggiungimento dei risultati attesi?

- Esiste un sistema di controllo di gestione e di monitoraggio delle attività orientato ai risultati?

Efficacia:

La valutazione misurerà il grado e l’entità di raggiungimento degli obiettivi dei progetti. Nel valutare l’efficacia sarà utile considerare i) in che

Efficacia:

- In che misura i risultati delle attività dei progetti hanno effettivamente determinato il

131

misura l’obiettivo generale e gli obiettivi specifici del progetto siano stati raggiunti, ii) l’analisi dei principali fattori che hanno influenzato il raggiungimento degli obiettivi.

obiettivi specifici)?

- In che misura i progetti sono risultati capaci di rispondere agli imprevisti e modificare la propria strategia di intervento mantenendo la propria coerenza interna?

Impatto:

Si suggerisce di valutare la probabilità che i progetti raggiungano gli obiettivi prefissati, cioè se le caratteristiche esecutive dei progetti siano tali da garantire il raggiungimento delle finalità previste.

Impatto:

- In che misura il raggiungimento dell’obiettivo specifico ha contribuito al raggiungimento dell’obiettivo generale?

- Quali effetti previsti o non previsti, positivi o negativi, i progetti hanno più in generale determinato nel contesto nel quale sono stati realizzati?

Sostenibilità:

Si valuterà la capacità dei progetti di produrre e riprodurre benefici nel tempo. Nel valutare la sostenibilità del progetto sarà utile considerare in che misura i benefici continueranno anche dopo che è cessato l’aiuto delle ONG e si verificheranno i principali fattori che potrebbero influenzare il raggiungimento o il non raggiungimento della sostenibilità dei progetti.

Sostenibilità:

- Quanto i progetti sono stati in grado di ottenere benefici durevoli e capaci di mantenersi al di là della durata degli interventi stessi?

- Quali meccanismi sono stati messi in atto affinché i progetti rappresentassero solide premesse per ulteriori processi di sviluppo?

Nonostante queste puntualizzazioni e considerati i limiti che li hanno caratterizzati, gli assessment sono stati generalmente in grado di ottemperare agli obiettivi contenuti nei rispettivi TdR. Gli esercizi di valutazione sono stati particolarmente curati nella fase di campo; a titolo esemplificativo si riporta che in media le missioni in loco hanno avuto una durata di 14 giorni e durante la loro realizzazione sono stati intervistati oltre 1.100 soggetti privilegiati. Le analisi di rilevanza e di ricostruzione della validità del design sono state precise e talora molto tecniche, soprattutto perché le importanti lacune registrate nelle logiche degli interventi – così come formulate in fase di presentazione (infra) – hanno richiesto un’attenzione specifica. Pertinenti ed operative sono state le raccomandazioni formulate sia nei confronti dei meccanismi decisionali,

132 amministrativi ed esecutivi della Cooperazione Italiana sia nei confronti dei soggetti attuatori e dei loro partner.

D’altro canto si rileva che: i) in alcuni casi le valutazioni non hanno risposto a tutti i quesiti di indagine dei TdR; ii) certe valutazioni hanno avuto un taglio più descrittivo che critico; iii) l’analisi di impatto avrebbe richiesto maggiori approfondimenti, anche in assenza di baseline e di target di successo predefiniti dalle strategie progettuali; iv) anche l’analisi di sostenibilità avrebbe richiesto più attenzione, in ragione della scarsa considerazione che solitamente viene data a questo fattore chiave per il successo degli interventi di sviluppo; v) per quanto attiene gli interventi infrastrutturali, le valutazioni sono risultate molto tecniche e non hanno sufficientemente approfondito gli aspetti più strettamente legati alle dinamiche di sviluppo; vi) pochi assessment hanno approfondito i temi del coordinamento (tra partner e con gli stakeholder rilevanti) e della visibilità, ma del resto l’analisi di questi aspetti non è stata solitamente richiesta dai TdR; vii) in alcuni casi sarebbe stato interessante procedere con studi comparativi dei meccanismi adottati da altri donor.

In sintesi, volendo azzardare un bilancio complessivo del lavoro di valutazione svolto a servizio della Cooperazione Italiana, si ritiene che esso sia stato impegnativo e contraddistinto da talune criticità; cionondimeno esso fornisce una fotografia dettagliata della Cooperazione Italiana ed una serie di elementi di riflessione per migliorarne qualità ed efficacia.11

11 _{P. J. Rogers, Introduction to impact evaluation, InterAction - The Rockfeller Foundation, Impact Evaluation Notes, No. 1. March 2012. M.}

Bamberger, M. Segone, op. cit, 2011, pp. 41-85.P. J. Gertler, S. Martinez, P. Premand, L. B. Rawlings, C. M. J. Vermeersch, Impact Evaluation in

Practice, The International Bank for Reconstruction and Development / The World Bank, 2011, pp. 21-30. F. Leeuw, J. Vaessen, Impact Evaluations and Development, NONIE, 2009. L. G. Morra Imas, R. C. Rist, The Road to Results. Design and Conducting Effective Development Evaluations, The

133

3.2 PUNTI DI FORZA E DI DEBOLEZZA DEGLI INTERVENTI FINANZIATI