UTILITÀ, SCOPO, OBIETTIVI, CRITERI, METODOLOGIA, PRODOTTI E TEAM DELLE

Le 26 valutazioni oggetto della ricerca sono state condotte prevalentemente da società di consulenza o consulenti di professione (22), una quota residua è stata realizzata da università (3) e da una Onlus (1). 7 enti/società hanno effettuato più di un incarico di valutazione. Tra le valutazioni vi sono state 2 valutazioni congiunte/joint evaluation realizzate dalla Cooperazione Italiana con altri donatori, paesi ed organizzazioni internazionali (Tabella 3.1).

La Cooperazione Italiana ha scelto di avvalersi per le sue valutazione di soggetti esterni indipendenti. A tal fine, attraverso avvisi pubblici per la manifestazione di interesse, ha costituito un elenco di fornitori di servizi per la valutazione in itinere ed ex post di iniziative di aiuto allo sviluppo, ai sensi della normativa italiana vigente.6 Da questo elenco ha selezionato i vari soggetti per le singole consulenze tramite procedure di affidamento diretto (acquisizione in economia di servizi) o procedure di appalto. Per l’affidamento diretto il criterio di selezione è stato quello del prezzo più basso, invece per le procedure di appalto il criterio è stato quello dell’offerta economicamente più vantaggiosa, in base al valore tecnico ed al prezzo della proposta di servizio formulato.

Per ogni incarico di valutazione l’Ufficio IX-Valutazione e visibilità delle iniziative della DGCS ha formulato specifici Termini di Riferimento (TdR), più o meno dettagliati.

6 _{Decreto Legislativo 12 aprile 2006, n. 163 Codice dei contratti pubblici relativi a lavori, servizi e forniture in attuazione delle direttive 2004/17/CE} e 2004/18/CE.

119 “The terms of reference (ToR) document defines all aspects of how a consultant or a team will conduct an evaluation. It defines the objectives and the scope of the evaluation, outlines the responsibilities of the consultant or team, and provides a clear description of the resources available to conduct the study. Developing an accurate and well-specified ToR is a critical step in managing a high-quality evaluation. The evaluation ToR document serves as the basis for a contractual arrangement with one or more evaluators and sets the parameters against which the success of the assignment can be measured” (IEG 2011).7

SCHEMA TIPO DI TdR ADOTTATO DALLA COOPERAZIONE ITALIANA

a. Anagrafica iniziativa/e

- Titolo, luogo, agenzia esecutrice, durata, budget totale, budget a carico del MAECI-DGCS, budget a carico di ONG e/o altri soggetti/attori co-finanziatori)

b. Presentazione sintetica della/e iniziativa/e c. Utilità della valutazione

d. Scopo della valutazione

e. Quadro analitico suggerito per i criteri di valutazione: rilevanza, validità del design progettuale, efficienza, efficacia, impatto e sostenibilità

f. Output dell’esercizio di valutazione

- Rapporto di valutazione in italiano ed inglese - Sommario esecutivo in italiano ed inglese

g. Metodologia

- Analisi della documentazione inerente la/e iniziativa/e - Visita in loco

- Altre indicazioni specifiche a seconda della/e iniziativa/e

h. Disposizioni gestionali, piano di lavoro e quadro temporale

- Cronogramma puntuale delle fasi della valutazione: desk analysis, field visit, presentazione del rapporto di valutazione in versione bozza, commenti delle parti interessate e feedback, realizzazione workshop di presentazione della bozza della relazione, finalizzazione del rapporto di valutazione consolidato rispetto ai commenti e ai rilievi ricevuti

- Indicazione di soggetti privilegiati da intervistare

i. Profilo del valutatore

- Ottima conoscenza nel campo della valutazione di progetti di cooperazione allo sviluppo - Laurea magistrale

120 - Esperienza in interviste, ricerche documentate, redazione e scrittura di relazioni

- Eccellenti capacità analitiche e di sintesi - Eccellenti capacità comunicative e di scrittura - Eccellente padronanza della lingua inglese

j. Formato suggerito del rapporto di valutazione

Copertina Il file relativo alla prima pagina sarà fornito dall’Ufficio IX della DGCS

1. Sintesi Quadro generale che mette in rilievo i punti di forza e di debolezza del progetto, focalizzandosi sulle lezioni apprese e raccomandazioni

2. Contesto del Programma

- Situazione paese

- Breve descrizione delle necessità che il programma ha inteso soddisfare - Analisi del quadro logico

- Stato di realizzazione delle attività e stima dei tempi di completamento del progetto

3. Obiettivo - Tipo di valutazione

- Descrizione dello scopo e dell’utilità della valutazione 4. Quadro teorico e

metodologico

- Gli obiettivi della valutazione - I criteri della valutazione

- L’approccio e i principi metodologici adottati

- Fonti informative: interviste, focus group, visita in loco - Le difficoltà metodologiche incontrate

5. Verifica della realizzazione

Verifica dei principali stadi di realizzazione del progetto

6. Presentazione dei risultati

Basata su domande chiave di valutazione

7. Conclusioni Concludere la valutazione facendola derivare dai risultati e dalle comunicazioni principali

8. Raccomandazioni Le raccomandazioni dovrebbero essere volte al miglioramento dei progetti futuri e delle strategie della DGCS

9. Lezioni apprese Osservazioni, intuizioni e riflessioni generate dalla valutazione, non esclusivamente relative all’ambito del progetto ma originate dai risultati e dalle raccomandazioni

10. Annessi Devono includere i termini di riferimento, la lista delle persone contattate e ogni altra informazione/documentazione rilevante

121 Lo schema di TdR adottato dalla Cooperazione Italiana è stato per lo più standard per tutti gli incarichi di valutazione. Sebbene esso sia stato funzionale ad orientare i servizi di valutazione, si rileva che talora i TdR non hanno saputo cogliere aspetti rilevanti.

In primo luogo si registra che in alcuni casi non è stata specificata la tipologia di valutazione richiesta (in itinere, finale, ex post), ma è stata utilizzata la generica espressione “valutazione indipendente”. In altri casi si è indicata una tipologia di valutazione non possibile in relazione all’effettivo stato di avanzamento dell’iniziativa, per cui alcune valutazioni ex post sono divenute o finali o in itinere.

La presentazione della/e iniziativa/e – in molti casi i servizi di valutazione hanno riguardato più interventi anche con diversi stadi di implementazione – si è basata sulle informazioni descrittive iniziali senza segnalare eventuali scostamenti intervenuti che avrebbero potuto influire su obiettivi, criteri e limitazioni delle valutazioni.

L’utilità della valutazione si è concentrata su due aspetti di largo respiro: i) fornire indicazioni atte ad indirizzare al meglio i futuri finanziamenti di settore e a migliorare la programmazione politica dell’aiuto pubblico allo sviluppo; ii) dare conto agli interlocutori esterni (Parlamento e opinione pubblica) circa le attività di cooperazione svolte e i risultati conseguiti. L’utilità non è stata declinata in relazione alle varie politiche di intervento promosse dalla Cooperazione nel paese d’intervento, indicando anche caratteristiche specifiche delle stesse che avrebbero potuto orientare l’incarico di valutazione; l’obiettivo accountability ha avuto carattere generico, scarsamente target oriented, e non ha interessato l’aspetto della mutual accountability con gli stakeholder rilevanti nel paese partner.

Gli scopi, ovvero gli obiettivi specifici della valutazione si sono concentrati sui seguenti aspetti: • esprimere un giudizio sulla rilevanza degli obiettivi e sul loro grado di raggiungimento; • esprimere un giudizio su efficienza, efficacia, impatto e sostenibilità del progetto;

• esaminare il progetto nella sua completezza, per identificare le buone pratiche e le lezioni apprese, in modo da usarle come base conoscitiva per sviluppare i futuri pacchetti d’assistenza;

• analizzare le strategie e le modalità d’implementazione, per fornire raccomandazioni da integrare nei successivi programmi;

• tenere in considerazione i fattori di sostenibilità e di impatto; • stimare i risultati e l’effettività del programma.

Gli obiettivi, talora tra loro ripetitivi, hanno poi previsto in molti casi, ma non sempre, la formulazione di richieste ad hoc relativi ad aspetti qualificanti degli interventi. Si rileva che nel tempo il livello di attenzione nella formulazione degli obiettivi della valutazione è migliorato e che

122 esso è stato maggiormente curato nelle gare di appalto concernenti incarichi relativi a programmi e progetti complessi e finanziariamente ingenti.

I criteri di valutazione per i quali si è richiesta l’analisi delle iniziative sono stati sempre i medesimi – rilevanza, validità del design del progetto, efficienza, efficacia, sostenibilità e impatto – senza particolari distinzioni relative alla tipologia di valutazione richiesta, se non in qualche caso. Ad esempio, per le valutazioni in itinere e finali sono state previste analisi di sostenibilità e impatto poco pertinenti se non in termini di indicazioni preliminari. La sezione “Quadro analitico suggerito per i criteri di valutazione”, in cui i sopracitati criteri dovrebbero essere declinati in quesiti più dettagliati, risulta simile per tutti i TdR degli incarichi affidati.

Metodologia, output, disposizioni organizzative (coordinamento) del lavoro, profilo del valutatore e formato del rapporto sono stati anch’essi pressoché i medesimi per ogni incarico di valutazione. Circa la metodologia, si precisa che per gli incarichi più complessi sono state richieste l’analisi della teoria del cambiamento (theory of change), sebbene questa tecnica non fosse stata utilizzata per la pianificazione degli interventi, e lo sviluppo di matrici di valutazione puntuali e dettagliate, nonostante l’assenza di dati ed informazioni esaurienti sui progetti. Sempre riguardo gli output, raramente è stata chiesta la presentazione di un inception report, recante il framework concettuale e metodologico della valutazione, dopo una prima analisi della documentazione progettuale disponibile. Per gli incarichi di valutazione più complessi, con gara di appalto, l’offerta tecnica ha costituito una sorta di inception report o è stata richiesta la sua finalizzazione all’aggiudicatario dell’incarico. Le disposizioni organizzative del lavoro sono anch’esse standardizzate e non prevedono particolari modalità di governance e coordinamento della valutazione da parte del Ministero. Rispetto ai tempi di realizzazione delle varie fasi del processo valutativo, si registra come le tempistiche previste non siano adeguate allo svolgimento dell’incarico e solitamente le valutazioni necessitano di maggior tempo per essere realizzate. La sezione dedicata alle disposizioni organizzative riporta solitamente l’indicazione dei soggetti privilegiati da intervistare, segnalazione puntuale che tuttavia sarebbe più opportuno ricomprendere nella metodologia. Le disposizioni gestionali indicano anche l’onere per chi svolgerà la valutazione di restituire le prime conclusioni e raccomandazioni della valutazione in workshop presso il Ministero, durante il quale acquisire commenti e rilievi del Ministero e degli stakeholder invitati a partecipare (soggetti finanziati ed implementatori, etc.), da integrare nella versione consolidata del rapporto di valutazione. In favore del meccanismo di mutual accountability, e quale elemento degno di nota, si registra che di recente il Ministero richiede anche l’organizzazione di un workshop di restituzione dei risultati della valutazione con i principali soggetti interessati nel paese partner dove è stato realizzato l’intervento valutato. Le disposizioni organizzative dei TdR non ricomprendono la previsione di un primo

123 incontro preliminare, immediatamente successivo all’aggiudicazione dell’incarico, sebbene l’Ufficio IX-Valutazione e visibilità delle iniziative della DGCS ed altri funzionari interessati del Ministero siano soliti incontrare il team di valutazione per definire meglio l’incarico e procedere con un primo passaggio di documenti e dati. Inoltre, i TdR nulla riferiscono circa le modalità di organizzazione logistica delle visite in loco.

Per quanto riguarda il team di valutazione, anche in questo caso la DGCS ha formulato per lo più richieste generiche circa la professionalità necessaria. Solo per alcune valutazioni più tecniche i TdR hanno richiesto l’integrazione nelle squadre di lavoro di esperti settoriali e/o esperti locali. Infine, per quanto concerne il formato suggerito del rapporto di valutazione, esso risulta dettagliato e completo.

Una buona qualità dei TdR è la premessa per una valutazione fruibile e rispondente alle esigenze del committente. Infatti, essi sono la base contrattuale sulla quale si instaura il rapporto di lavoro con l’aggiudicatario dell’incarico e grazie ad essi è possibile verificare la pertinenza della stessa valutazione.

La sezione di presentazione dell’intervento oggetto di valutazione deve essere concisa e contenere tutte le informazioni utili a ricostruire il background dell’iniziativa: i) presupposti; ii) obiettivi; iii) dati finanziari; iv) logica dell’intervento; v) timeframe, storia del programma e stato di attuazione al momento della valutazione; vi) principali attori coinvolti, loro ruoli e responsabilità; vii) fattori ed elementi socio-economici e politici di carattere nazionale o internazionale che hanno avuto un’influenza sull’implementazione dell’intervento; viii) studi precedenti condotti prima della valutazione. La presentazione dell’intervento non si può limitare ad illustrare la sua logica iniziale. L’utilità della valutazione deve esplicitare le ragioni per le quali si ritiene importante realizzare l’assessment e identificare i soggetti chiave cui saranno restituiti gli esiti di tale processo. L’utilità deve essere funzionale alla strategia di accountability del soggetto committente e rispondere a domande precise: i) perché la valutazione viene condotta? perché viene condotta in un preciso momento temporale?; ii) chi userà le informazioni?; iii) quali informazione sono necessarie?; iv) come saranno utilizzate le informazioni acquisite?

Gli obiettivi di una valutazione devono essere specifici e delimitati. Essi circoscrivono la valutazione in termini temporali, geografici, tematici; essi individuano le questioni precise da esaminare formulando pochi e chiari quesiti prioritari di indagine rispetto ai criteri di analisi individuati. Gli obiettivi devono essere realistici, ovvero proporzionali al tempo e alle risorse a disposizione della valutazione.

124 La metodologia deve formulare orientamenti circa le modalità di esecuzione della valutazione: metodi di analisi richiesti o proposti, sistemi suggeriti di data collection, lista dei soggetti chiave da intervistare, strumenti di verifica dei risultati, eventuali indicatori di performance. Una metodologia così strutturata prevede che il committente faccia una preliminare verifica di quali sono gli strumenti di analisi esperibili, identificando i limiti che sottendono alla valutazione stessa e quindi identificando le opzioni metodologiche fattibili. Tale passaggio risulta peraltro indispensabile per la definizione di obiettivi di valutazione cui è possibile dare una risposta. La metodologia deve chiarire anche gli aspetti collegati ad approcci metodologici human rights o gender based, nonché le eventuali difficoltà inerenti il coinvolgimento nel processo di valutazione di soggetti appartenenti a categorie particolari, come ad esempio i minori. Le indicazioni attinenti la metodologia devono essere complessivamente generali, anche se puntuali, tali da consentire all’esecutore della valutazione – dopo una prima review della documentazione progettuale – la definizione dettagliata del framework di valutazione, comprensiva della matrice dei quesiti di indagine che declina gli obiettivi ed i quesiti principali individuati dal committente stesso. Considerata l’importanza della metodologia, il primo output richiesto al valutatore deve essere l’inception report.

I prodotti che una valutazione deve produrre sono almeno 3: i) inception report, ii) versione draft del rapporto di valutazione da sottoporre ai commenti di committente e stakeholder rilevanti; iii) versione definitiva del rapporto di valutazione che consolida i commenti e le richieste di integrazione ricevute. Il format di ogni prodotto dovrebbe essere fornito al prestatore d’opera. La gestione del processo valutativo richiede almeno: i) la precisazione delle tempistiche di valutazione e della consegna degli output; ii) l’indicazione delle modalità di coordinamento e revisione del lavoro tra committente ed esecutore; iii) la gestione di aspetti logistici della valutazione come l’organizzazione della visita in loco ai siti dove è stato realizzato l’intervento e/o l’organizzazione e la struttura del workshop di condivisione dei risultati; iv) la previsione di standard etici e di qualità per lo svolgimento dell’incarico cui il team di valutazione si deve attenere.8

Infine, i TdR devono indicare nel dettaglio il livello di professionalità e specializzazione richiesto per gli esperti che dovranno condurre la valutazione. Chiaramente, esso dipende dalla tipologia di programma/progetto da valutare e la definizione dei requisiti professionali (titolo di studio, conoscenze ed esperienza settoriale e/o geografica, abilità linguistiche, competenze tecniche, etc.) e devono essere soppesate caso per caso. I TdR devono anche richiedere che all’interno del team siano ben definiti ruoli e responsabilità degli esperti coinvolti.

8 _{UNEG, UNEG Ethical Guidelines for Evaluation, Foundation Document, UNEG/FN/ETH(2008). UNEG, UNEG Code of Conduct for Evaluation in} the UN System, Foundation Document, UNEG/FN/CoC(2008).

125 I TdR prodotti dai competenti organi devono essere in linea con la politica e la strategia di valutazione del donatore.

Alla luce della ricostruzione delle caratteristiche di qualità di TdR individuate a livello internazionale, si può affermare che la qualità redazionale dei TdR delle valutazioni commissionate dalla Cooperazione Italiana presenta margini di miglioramento.9

L’IMPORTANZA DEI TERMINI DI RIFERIMENTO: LA LEZIONE APPRESA DALLA

VALUTAZIONE CHYAO TRUST FUND IN SIERRA LEONE (2013)10

Tra le 26 valutazioni condotte dalla Cooperazione Italiana, singolare appare la richiesta di valutazione di 4 iniziative finanziate in Sierra Leone tramite l’Italian Chyao Africa Trust Fund presso la World Bank, unici interventi oggetto di valutazione finanziati sul canale multilaterale.

La principale criticità è costituita dall’opportunità stessa degli obiettivi di valutazione formulati nei TdR. Gli obiettivi dell’incarico erano:

• esprimere un giudizio sulla rilevanza degli obiettivi e sul loro grado di raggiungimento;

• esprimere un giudizio su efficienza, efficacia, impatto (ove possibile) e sostenibilità dei progetti;

• esaminare i progetti nella loro completezza, per identificare le buone pratiche e le lezioni apprese, in modo da usarle come base conoscitiva per sviluppare i futuri pacchetti d’assistenza;

• analizzare le strategie e le modalità di implementazione come fornire raccomandazioni da integrare per la scelta degli interventi da finanziare attraverso eventuali trust fund;

• tenere in considerazione i fattori di sostenibilità e l’impatto che l’implementazione dei progetti finanziati avrà sulle condizioni del paese;

• stimare i risultati e l’effettività dei progetti.

La criticità risiede nel fatto che tutte le iniziative selezionate erano già state oggetto da parte della World

Bank di valutazione finale e in un caso anche di valutazione di impatto. Non è quindi del tutto chiara la

ragione di procedere con una ulteriore valutazione, sebbene ex post, che richiede una serie di informazioni dettagliate sui progetti. A parere di chi scrive, l’obiettivo più significativo che motiva la valutazione è la richiesta di un’analisi che studi il caso Italian Chyao Africa Trust Fund, partendo dall’esperienza in Sierra Leone, al fine di formulare raccomandazioni per la partecipazione futura a trust fund simili, in altre parole

9 _{UNEG, Norms and Standards for Evaluation, June 2016. European Commission, Guidance for the Terms of Reference for Impact Evaluations,}

October 2013. M. Bamberger, M. Segone, How to design and manage Equity-focused evaluations, UNICEF, 2011, pp. 33-40. IEG, op. cit., 2011. DAC Guidelines and Reference Series, Quality standards for development evaluation, OECD Development Assistance Committee, 2010. UNEG,

UNEG Quality Checklist for Evaluation Terms of Reference and Inception Reports, Guidance Document, UNEG/G(2010)1. UNDP, Handbook on planning, monitoring and evaluating for development results, 2009, pp. 163-180.

10 _{Ministero degli Affari Esteri – Cooperazione Italiana – DGCS Ufficio IX Valutazione, CHYAO Trust Fund in Sierra Leone, Rapporto di}

126

identificare le buone pratiche e le lezioni apprese, in modo da usarle come base conoscitiva per sviluppare futuri pacchetti d’assistenza tramite questa tipologia di strumento. A tale obiettivo, tuttavia, in ragione degli orientamenti non precisi contenuti nei TdR, non è stata data una risposta. Infatti, oltre all’ambiguità ed alla ridondanza degli obiettivi formulati, si registra che i TdR nella sezione “Quadro analitico suggerito per i criteri di valutazione” non forniscono indicazioni specifiche che declinino i criteri in relazione all’analisi dello strumento trust fund. Il “Quadro analitico suggerito” si riferisce genericamente a programmi e progetti e ripropone, come già osservato, un formato ripetuto in molti TdR. Inoltre, contrariamente alla prassi, i TdR relativi a questo incarico di valutazione non riportano una lista indicativa di soggetti da intervistare, tralasciando un elemento estremamente utile per indirizzare il lavoro del valutatore.

Considerate tali premesse e visti i contenuti del rapporto finale, la valutazione CHYAO Trust Fund in Sierra

Leone costituisce un esempio di occasione persa per l’acquisizione di informazioni circa una delle modalità

di azione della Cooperazione Italiana, il trust fund.

L’assessment risponde agli obiettivi della valutazione, eccezion fatta che nella richiesta specifica relativa alla partecipazione della Cooperazione Italiana ai trust fund. Infatti, il valutatore ha ricevuto al 90% il mandato di analizzare i progetti, analisi già esistente che poteva essere evitata con una ottimizzazione di risorse umane e finanziarie. Si nota che la ricostruzione della storia completa di un intervento – dalla sua genesi agli effetti che ha prodotto – è molto complessa e time consuming, pur in presenza di rapporti di progetto ed altre valutazioni. Pertanto il valutatore, che aveva tempi contingentati per portare a termine l’incarico, si è concentrato su 5 dei 6 obiettivi di valutazione. Inoltre, in mancanza di specifiche indicazioni contenute nei TdR sull’obiettivo principale sul quale – secondo l’opinione di chi scrive – avrebbe dovuto focalizzarsi l’assessment, il valutatore ha formulato generiche conclusioni circa il meccanismo trust fund e nessuna indicazione specifica circa l’utilizzo da parte dell’Italia di suddetto meccanismo. Prova ne sia che, su 50 interviste realizzate, solo 4 hanno riguardato personale della World Bank in Sierra Leone (compreso il