Sviluppo e applicazione del Sistema di Monitoraggio Orientato ai Risultati (ROM) dell'Unione Europea mediante l'analisi comparata di Manuali ROM e l'applicazione su di un progetto di cooperazione allo sviluppo promosso da Cospe, OSC italiana.

(1)

Università di Pisa

Dipartimento di Civiltà e Forme del Sapere

Laurea Magistrale in Scienze per la Pace: Trasformazione dei conflitti e

cooperazione allo sviluppo

Sviluppo e applicazione del Sistema di Monitoraggio Orientato ai Risultati (ROM) dell'Unione Europea mediante l'analisi comparata di Manuali ROM e l'applicazione su di un progetto di cooperazione allo sviluppo promosso da Cospe, OSC italiana.

Relatore:

Fulvio Vicenzo

Correlatore: Candidato:

Massimo Rossi Ilenia Araldi

Anno accademico 2019/2020

SSD: LM-81

(2)

1

Indice

OBIETTIVO E METODOLOGIA DELLA TESI ... 6

2.IL MONITORAGGIO ESTERNO-ROM ...13

3.ANALISI DEI MANUALI ROM ...15

3.1 MANUALE ROM 2000 ...15

3.1.1CRITERI DI MONITORAGGIO UTILIZZATI ...15

3.1.2ASPETTI (ISSUES) UTILIZZATI PER CIASCUN CRITERIO ...17

3.1.3FATTORI DI SOSTENIBILITÀ ...21

3.1.4PRODOTTI RICHIESTI AI MONITORI ...22

3.1.5CONSIDERAZIONE SULL’EQUITÀ ...22

3.1.6LIVELLI DELLA LOGICA DELL’INTERVENTO CONSIDERATI ...23

3.1.7CLASSIFICAZIONE (GRADING) ...25

3.1.8GLOSSARIO...26

3.1.9ROM EX-POST ...27

3.1.10STRUMENTI, RACCOLTA ED ANALISI DEI DATI PER IL MONITORAGGIO ...27

3.1.11INDICE STRUTTURA ED ARGOMENTI DEI SINGOLI REPORT ROM ...30

3.1.12INDICE, STRUTTURA ED ARGOMENTI DEI PRODOTTI RICHIESTI AI MONITORI ...31

3.1.13SPIEGAZIONI PER I CAMBIAMENTI INTRODOTTI RISPETTO AL PRECEDENTE MANUALE ...32

3.2 MANUALE ROM 2012 ...32

3.2.5CONSIDERAZIONE SULL’EQUITÀ ...40

3.2.6LIVELLI DELLA LOGICA DELL’INTERVENTO CONSIDERATI ...41

(3)

2

3.2.11INDICE STRUTTURA ED ARGOMENTI DEI SINGOLI REPORT ROM ...48

3.3 MANUALE ROM 2015 ...52

3.3.2ASPETTI (ISSUES) UTILIZZATI PER CIASCUN CRITERIO...53

3.3.5CONSIDERAZIONI SULL’EQUITÀ ...58

3.3.6LIVELLI DELLA LOGICA DI INTERVENTO CONSIDERATI ...59

3.3.8GLOSSARIO...60

3.3.11INDICE, STRUTTURA ED ARGOMENTI DEI SINGOLI REPORT ROM ...64

3.4. MANUALE ROM 2020 ...66

3.4.2ASPETTI (ISSUES) UTILIZZATI PER CIASCUN CRITERIO...71

3.4.6LIVELLI DELLA LOGICA DI INTERVENTO CONSIDERATI ...80

(4)

3

3.4.11INDICE, STRUTTURA ED ARGOMENTI DEI SINGOLI REPORT ROM ...86

3.5 ANALISI COMPARATA ...89

3.5.6LIVELLI DELLA LOGICA DELL’INTERVENTO CONSIDERATI ... 102

3.5.7CLASSIFICAZIONE (GRADING) ... 106

3.5.8GLOSSARIO... 107

3.5.9ROM EX-POST ... 109

3.5.10STRUMENTI, RACCOLTA ED ANALISI DEI DATI PER IL MONITORAGGIO ... 109

3.5.11INDICE, STRUTTURA ED ARGOMENTI DEI SINGOLI REPORT ROM ... 110

3.5.12INDICE, STRUTTURA ED ARGOMENTI DEI PRODOTTI RICHIESTI AI MONITORI ... 110

3.5.13SPIEGAZIONI PER I CAMBIAMENTI INTRODOTTI RISPETTO AL PRECEDENTE MANUALE ... 113

4. ANALISI DI APPLICAZIONE DEL ROM SU DI UN PROGETTO DEL COSPE ... 114

4.1 CASO DI STUDIO... 114

4.1.1ANALISI DEL DOCUMENTO PROGETTUALE ... 114

4.1.2CONSIDERAZIONI SU TUTTI GLI ASPETTI DELLA MATRICE DEL QUADRO LOGICO, ALLA LUCE DEL CONTENUTO DEL CORSO ... 117

4.2.1ANALISI DEL RAPPORTO ROM... 127

4.2.2ASPETTI CITATI O MENO RELATIVI AD EQUITÀ ... 129

4.2.3ALLA LUCE DELL’ANALISI COMPARATA, QUALE ASPETTO RILEVANTE È STATO ANALIZZATO O NON È STATO ANALIZZATO PER CARENZE DEL HANDBOOK 2015? ... 130

(5)

4

5. CONCLUSIONI E PROPOSTE ... 135

5.1CONCLUSIONI ... 135

5.2PROPOSTE... 140

(6)

5

Abbreviazioni

BCS Background Conclusion Sheets

COSPE Cooperazione per lo Sviluppo dei Paesi Emergenti DAC Development Assistance Committee

DCI Development Cooperation Instrument

EC European Commission

EUD European Union Delegations LFA Logical Framework Approach Logframe Logical Framework Matrix IL Intervention Logic

M&E Monitoring & Evaluation MQL Matrice del Quadro Logico

OVI Indicatori Oggettivamente Verificabili PCM Project Cycle Management

PRAG Practical Guide

ROM Results Oriented Monitoring ToR Terms of Reference

(7)

6

Obiettivo e metodologia della Tesi

L’obiettivo della tesi è quello di analizzare l’evoluzione che nel corso degli anni ha caratterizzato il sistema di monitoraggio orientalo ai risultati (Results Oriented Monitoring- ROM) della Commissione Europea (CE). Per tale ragione sono stati innanzitutto selezionati quattro manuali ROM da analizzare tra quelli pubblicati dal 2000 al 2020: i) Manuale ROM 2000, si è scelto perché è il primo pubblicato; ii) Manuale ROM 2012, scelto perché introduce innovazioni di rilievo rispetto ai precedenti manuali (2005, 2008, 2009); iii) Manuale ROM 2015, poiché in un secondo momento della tesi lo studio si è rivolto ad un progetto di cooperazione allo sviluppo promosso da Cospe, il quale è stato monitorato nel 2015; iiii) Manuale ROM 2020, scelto in quanto è il più recente.

A guidare l’analisi evolutiva percorsa dal sistema di monitoraggio orientato ai risultati è stata l’elaborazione, da parte dei Professori Fulvio Vicenzo e Massimo Rossi, di una griglia di analisi composta da 13 punti, ciascun dei quali definisce uno specifico argomento da analizzare per ognuno dei Manuali ROM scelti.

Manuali ROM

Griglia di analisi

Aspetti da analizzare Osservazioni

1.Criteri di monitoraggio utilizzati

Esempio: tra i cinque criteri standard di valutazione utilizzati dal ROM, l’impatto potenziale considerato nei primi anni scompare

2.Aspetti (Issues) utilizzati per ciascun criterio

(8)

7 3.Fattori di sostenibilità Per questa analisi comparativa, riferirsi, e aggiornare il contenuto

di Rossi M., 2010,

La sostenibilità come criterio di valutazione nella Cooperazione allo sviluppo della Commissione Europea, “Energia, Ambiente, Innovazione”, 5/2010.

4.Prodotti richiesti ai monitori Esempi: BCS, Mission Report, Sintesi, Scheda di risposta della Delegazione, bibliografia, ecc. Limitarsi ad elencare i prodotti. 5.Considerazione sull’equità Analizzare se e come l’equità è segnalata come aspetto da

monitorare, tra i fattori di sostenibilità o in altre parti dei BCS 6.Livelli della Logica

dell’Intervento considerati

Per questa analisi comparativa, riferirsi, e aggiornare Rossi M, 22 February 2016, How to identify development beneficiaries for an equitable change?www.europabook.eu

7.Classificazione (grading) Esaminare l’evoluzione dagli iniziali ABCD ai successivi 8.Glossario Segnalare la presenza del glossario. Alcune definizioni, come

quelle di beneficiari, saranno oggetto di analisi comparata 9.ROM ex-post Analizzare quando viene introdotto il ROM ex-post, e perché, e

quando viene soppresso 10.Spiegazioni per i

cambiamenti introdotti rispetto al precedente manuale

Esaminare se, per i cambiamenti più rilevanti, vengono fornite al lettore osservazioni/spiegazioni

(9)

8 11.Strumenti, raccolta ed

analisi dei dati per il monitoraggio

Verificare la presenza di indicazioni precise e tecniche in merito alle fasi e agli strumenti necessari per la raccolta dati (quantitativa e qualitativa), nei diversi report

12.Indice struttura ed argomenti dei singoli report ROM

Analizzare come sono strutturati i report ROM negli indici, struttura e argomenti, loro rilevanza e peso

13.Indice, struttura ed argomenti dei prodotti richiesti ai monitori

Analizzare come sono strutturati gli indici dei prodotti richiesti dai singoli rapporti ROM negli argomenti, struttura e argomenti, loro rilevanza e peso

L’analisi ha previsto uno studio approfondito dei quattro manuali, per poter analizzare ed osservare al meglio i diversi aspetti ritenutiimportanti.

Successivamente è stato svolto un lavoro di comparazione dei manuali, per farlo è stata utilizzata la stessa griglia di analisi, mostrando però più chiaramente i cambiamenti emersi che hanno portato negli anni ad una continua evoluzione del monitoraggio esterno. In questo caso sono stati aggiunti nell’analisi anche i manuali che sono stati studiati durante l’insegnamento del corso Progettazione per la cooperazione allo sviluppo del Corso di Laurea in Scienze per la pace dell’Università di Pisa e seguendo i lavori di comparazione effettuati da Massimo Rossi in Rossi M., 2010, La sostenibilità come criterio di valutazione nella Cooperazione allo sviluppo della Commissione Europea, “Energia, Ambiente, Innovazione”, 5/2010. Rossi M., 28 January 2016, Quality project design: the new Logframe according to July 2015 edition of the European Commission PRAG manual, www.europabook.eu.

L’ultima parte ha previsto lo studio di un progetto di cooperazione allo sviluppo promosso da Cospe, OSC italiana: “PRO-Swazi: Promotion of Rural Opportunities in Swaziland”. In questo caso l’analisi

(10)

9 si è basata sullo studio di alcuni documenti fondamentali per un progetto, ossia Concept Note, Full note, Budget, Matrice del Quadro Logico, ed il ROM report effettuato nel 2015. L’analisi ha permesso di individuare ed approfondire l’applicazione del sistema ROM, versione 2015, tramite una sua azione diretta, notando i suoi punti di forza e le sue carenze, e come queste si rispecchiassero nel ROM report predisposto per il progetto in questione. Anche questa analisi è stata guidata da alcuni punti da esaminare e ai quali rispondere, utilizzando una griglia di analisi e un formato di presentazione.

Caso di studio Griglia di analisi

A. Analisi del documento progettuale

1.Segnalare, nel Documento progettuale-Formato di presentazione da usare come Lista di riferimento, “presente” o “non presente” in carattere grassetto accanto a ciascun punto.

2.Considerazioni su tutti gli aspetti della Matrice del Quadro Logico, alla luce del contenuto del corso

B. Analisi del Rapporto ROM

1. Le domande del ROM Handbook 2015: si ritrovano tutte le risposte nel Rapporto ROM? 2. Considerazioni sulla analisi della logica di intervento del progetto;

3. Aspetti citati o meno relativi a equità;

4. Metodologia di conduzione della missione ROM.

5. Alla luce dell’analisi comparata, quale aspetto rilevante è stato analizzato o non è stato analizzato per carenze del Handbook 2015?

Documento progettuale Formato di presentazione

Fonte:

Massimo Rossi, Dispense, Corso di Laurea in Scienze per la pace 2019-2020, Progettazione e valutazione.

La struttura del documento progettuale (Project Document/ Document de projet) varia a seconda dei vari donatori e delle metodologie progettuali adottate dagli stessi.

Il formato di presentazione che segue si riferisce alle migliori pratiche di schemi per la presentazione di progetti adottati da vari donatori internazionali, pur scegliendo di non adottarne uno tra questi, ma proponendone uno specifico.

(11)

10 La sua utilità, come lista di riferimento, consiste nell’ identificazione dei vari aspetti da considerare per una valida progettazione, permettendo, caso per caso, di aggiungere agli aspetti richiesti dal donatore altri rilevanti elementi.

Formato di presentazione

Carta del paese e della zona di intervento Abbreviazioni

Riassunto

1.Contesto

1.1 Ambiente istituzionale centrale e locale 1.2 Settore e zona di intervento

1.3 Portatori di interesse/attori 1.4 Lezioni apprese

1.5 Problemi: identificazione e selezione 1.6 Giustificazione/Valore aggiunto

2. Realizzazione

2.1 Rilevanza/Pertinenza rispetto al gruppo bersaglio, al Governo, al Donatore 2.2 Obiettivo generale, obiettivo specifico, risultati attesi

2.3 Attività 2.4 Mezzi

2.5 Complementarità con altri interventi 2.6 Capitalizzazione 2.7 Comunicazione 2.8 Monitoraggio 2-9 Valutazione 3. Sostenibilità ed equità 3.1 Sostenibilità. Fattori:

Appropriazione da parte dei beneficiari Politiche di sostegno

Aspetti socio-culturali Aspetti ambientali

(12)

11 Aspetti economici/finanziari Uguaglianza di genere Aspetti tecnici Capacità istituzionale 3.2 Equità. Dimensioni: Generale Di genere Territoriale Allegati

A. Matrice del Quadro Logico/Matrice dei risultati B. Piano di lavoro

C. Budget

D. Matrice dei rischi E. Piano degli acquisti F. Bibliografia

G. Carte specifiche

Questa sezione si è conclusa con un’intervista a Fabio Olmastroni, il capo progetto di “PRO-Swazi: Promotion of Rural Opportunities in Swaziland”.

Griglia di intervista

1. Nel suo ruolo di capo progetto di allora quali erano i punti di forza e i punti di debolezza della MQL o più in generale del Documento di progetto?

2. Potrebbe indicare gli aspetti appropriati e utili per l'apprendimento del rapporto ROM? Quali indicazioni a quel tempo erano realmente perseguibili e di conseguenza furono adottate? 3. Potrebbe indicare gli aspetti non appropriati del Rapporto ROM?

4. Quali aspetti sarebbero, in base a questa ed altre esperienze, da migliorare nella metodologia ROM?

5. Uno dei problemi affrontati dal progetto riguardava il Gender approach, le donne svolgono un ruolo molto importante e centrale nelle attività delle agro-imprese, ma nella maggior parte dei casi è negato loro l’accesso al processo decisionale, quindi con il progetto si puntava a sostenere e ad assicurare più partecipazione anche nei processi dai quali erano

(13)

12 precedentemente escluse. Il ROM report riferisce però che la disuguaglianza di genere non è stata affrontata. Come mai nonostante la grande partecipazione delle donne alle attività del progetto non c’è stato un miglioramento nell’eguaglianza tra uomini e donne? Cosa si sarebbe potuto fare?

6. I risultati individuati nella matrice del quadro logico del progetto erano 3. Nel report è indicato che i risultati 1 e 2 ossia rispettivamente “Income generating and Agrobusiness microprojects for vulnerable farmers created in 10 communities” e “Business Management, Marketing, and Production capacities improved for 240 Youths” siano stati uniti in un unico risultato. Non è però spiegato nel report come mai è emersa la necessità di unire questi risultati. Cosa ha portato ad effettuare questa modifica? È stata la scelta giusta?

7. Tra le ipotesi era stata inserita “Climate conditions allows activities of agro-business” ma come si è rivelato successivamente la siccità ha portato molti rallentamenti o impedimenti nella realizzazione delle attività programmate, ad esempio per quanto riguarda la produzione di miele “but there is no honey production as the bees have migrated to less-dry regions.” O anche per la scelta delle colture che sono state selezionate. C’era un modo per affrontare il problema? Se si fosse presa in considerazione prima questa eventualità, si sarebbe potuto risolvere diversamente?

8. Secondo il report i fondi erano distribuiti in maniera non ottimale distribuendo una parte maggiore alle risorse umane. Col senno di poi sarebbe stato effettivamente corretto ridurre le risorse umane?

9. In relazione alla domanda precedente un problema rilevato dal report era la tendenza a consultare esperti esteri piuttosto che quelli del luogo, come mai?

(14)

13

2.Il Monitoraggio esterno-ROM

Il ROM, Results Oriented Monitoring è un sistema di monitoraggio indipendente, esterno, ed orientato ai risultati, adottato dalla Direzione Generale per la Cooperazione Internazionale e lo Sviluppo della Commissione Europea.1 La sua prima introduzione si ha nel 2000, con le prime missioni di monitoraggio, chiamato allora External Monitoring, e con la pubblicazione del manuale Danish management, October 2000, Handbook for monitors in the ACP-ALA-MED regions.

Lo scopo del sistema di monitoraggio esterno è quello di assistere i servizi della Commissione e delle sue rappresentanze (Delegazioni dell'UE - EUD) nei paesi partner nel monitoraggio dell'attuazione dei progetti e programmi di cooperazione finanziati. Tale supporto avviene mediante un monitoraggio effettuato durante le diverse fasi del ciclo di vita del progetto, consentendo di visionarlo durante tutto il suo sviluppo, ottenendo informazioni in tempo reale; perciò attraverso delle conclusioni e raccomandazioni può indirizzare e migliorare il progetto in corso, individuando i punti deboli da riconsiderare.

Si basa sul Project Cycle Management e sull’Approccio al Quadro Logico e di conseguenza sulla sua matrice, valutando il suo adattarsi coerentemente ai cambiamenti che si incontrano nello svolgimento dell’azione. Tale rapporto ha portato ad un utilizzo sempre maggiore della Matrice del Quadro Logico fino a divenire indispensabile, considerando che negli anni precedenti al 2000 non fosse obbligatoria. Per questo stretto legame il ROM si fonda sui cinque criteri standard della valutazione, ossia rilevanza, efficacia, efficienza, impatto e sostenibilità; successivamente, nel corso delle varie pubblicazioni dei Manuali i criteri subiranno diverse modifiche, tra cui l’eliminazione del criterio dell’impatto. In riferimento a tali criteri, nel Monitoring Report, sono assegnati dei giudizi, i quali permettono di visionare se il progetto è molto buono o se presenta seri problemi; come si vedrà anche in questa tesi, le definizioni qualitative e quantitative dei giudizi sono molto cambiate durante gli

1

Amato B., European Union, capacity4dev, What is the Results Oriented Monitoring? https://europa.eu/capacity4dev/rom/wiki/what-results-oriented-monitoring

(15)

14 anni. In generale il sistema di monitoraggio ha subito moltissime trasformazioni dal 2000 al 2020, e continua a farlo, essendo uno strumento estremamente dinamico.

Si deve osservare che nel periodo 1993-2004 la CE ha prodotto vari manuali metodologici generali sul PCM, e che tale produzione si è interrotta nel 2004 con il manuale European Commission-EuropeAid Co-operation Office, March 2004, Guidelines on Aid Delivery Methods, Volume 1: Project Cycle Management, Brussels.

La CE non ha prodotto altri manuali metodologici generali né sul PCM né su altri approcci come le Teorie del cambiamento (Theories of Change-ToC). La produzione di strumenti operativi come il PRAG è invece continuata, con continui aggiornamenti fino al 2020.

I manuali ROM danno indicazioni metodologiche e pratiche ai monitori sullo svolgimento delle missioni, sia per quanto riguarda i documenti da compilare, ma anche sullo svolgimento del mandato, quindi a partire dalle riunioni, al lavoro sul campo, agli strumenti da utilizzare. “Gli esperti esterni hanno delle conoscenze ed esperienze settoriali e geografiche diverse. Lavorano in piccoli gruppi costituiti in modo appropriato. I loro compiti comprendono l’analisi dei documenti e la realizzazione di incontri con i rappresentanti di tutte le parti interessate di un dato progetto, compresi i beneficiari finali. Prendono nota dei dati-chiave, ma non procedono né a un audit, né a un monitoraggio finanziario approfondito.”2

A conclusione di questa sezione metodologica, si osserva che Il carattere sperimentale della presente tesi è relativo a due aspetti: i) nessuna pubblicazione, a parte i citati articoli di Massimo Rossi, sono stati prodotti sulla comparazione metodologica di manuali ROM; ii) nessuna pubblicazione ha analizzato una applicazione di uno specifico manuale ROM attraverso un caso di studio.

2_{M. Rossi, I progetti di sviluppo, metodologie ed esperienze di progettazione partecipativa per obiettivi. Presentazione}

(16)

15

3.Analisi dei manuali ROM

3.1 Manuale ROM 2000

Si presenta l’analisi del manuale ROM. Danish management, October 2000, Handbook for monitors in the ACP-ALA-MED regions, final draft. Il manuale si rivolge ai monitori che operano nei progetti della Commissione Europea nei paesi ACP/ALA/MED. L’handbook presenta il monitoraggio come un elemento che permette il successo del progetto. Nel manuale si descrive quindi cos’è il

monitoraggio, i benefici che apporta, come è strutturato, con il glossario si chiariscono alcuni termini presenti nel libro, in più sono riportati i modelli dei documenti che alla fine della missione i monitori devono presentare.

3.1.1 Criteri di monitoraggio utilizzati

I criteri fondamentali usati per monitorare tutti i progetti, a prescindere dalla loro complessità, sono cinque: rilevanza, efficienza, efficacia, impatto, sostenibilità potenziale.

Si precisa che i cinque criteri sono elencati e definiti insieme alla pagina 24 del manuale.

La rilevanza viene definita come “l’adeguatezza degli obiettivi del progetto in relazione al problema che avrebbe dovuto affrontare, e all’ambiente fisico ed istituzionale in cui operava.” Ad aiutare i monitori nella determinazione della rilevanza è inserita una checklist (PAG 22) la quale dimostra una stretta correlazione tra il criterio sopracitato e gli indicatori oggettivamente verificabili e loro fonti,3 in quanto è fondamentale che gli OVI, a loro volta essenziali per un’adeguata matrice del quadro logico, descrivano in modo accurato i risultati, l’obiettivo specifico e l’obiettivo generale. Pertanto, i monitori devono valutare se la matrice del quadro logico è pertinente rispetto alla nuova situazione pianificata o se è necessario apportare delle modifiche, o crearne una laddove manchi.4

3_{analisi più dettagliata nel paragrafo 3.1.10}

(17)

16 L’efficienza alla data di attuazione è definita come “il costo, la velocità e l’efficienza gestionale con cui gli input e le attività sono stati convertiti in risultati, e la qualità dei risultati raggiunti.”

Nel caso in cui i monitori dovessero rilevare che la data di inizio del progetto si discosta di molto dall’effettiva data di inizio, ossia il momento in cui si assume il primo impegno legale stabilito nel contratto di finanziamento, tutto ciò deve essere segnalato nella scheda della BCS riguardante il criterio dell’efficienza.

L’efficacia è definita come “una valutazione del contributo effettuato dai risultati per il raggiungimento dell’obiettivo specifico, e di come le ipotesi hanno influito sulla realizzazione del progetto.”

È inoltre indicato che sia l’efficienza quanto l’efficacia vengono impiegate nella definizione stessa dello scopo del monitoraggio, il quale deve permettere delle prestazioni del progetto efficaci ed efficienti grazie ai rapporti di monitoraggio.

L’impatto nel manuale è definito come “l’effetto del progetto nel suo contesto più ampio, e sul suo contributo al raggiungimento degli obiettivi generali del progetto.”

Sostenibilità potenziale è definita come “la probabilità di una continuazione nel flusso dei benefici prodotti dal progetto.” Nel manuale si fa riferimento alla stretta correlazione tra i criteri e le fasi del ciclo del progetto, in particolare negli studi di prefattibilità viene rimarcato il fatto che questi debbano essere eseguiti sulla base del criterio della sostenibilità, sicché vi è la necessità che la sostenibilità potenziale inizi con la progettazione e prosegua per tutta la durata del progetto, non limitandosi a considerarla solo in prossimità della conclusione del progetto.

Altro sulla sostenibilità potenziale può essere dedotto tramite l’esempio del rapporto di monitoraggio dell’allegato D, in cui si possono dedurre gli elementi che un progetto, per poter avere un giudizio positivo, in questo caso di grado b, dovrebbe avere; come la pianificazione di programmi successivi per rendere continuo il lavoro che si sta svolgendo, una buona documentazione delle attività,

(18)

17 operazioni di formazione, ed in più rilevante è che la maggior parte delle società si sono rivelate molto ricettive per qualsiasi consulenza.

3.1.2 Aspetti (issues) utilizzati per ciascun criterio

Ciascun criterio ha delle issues le quali si dividono in prime-issues e sub-issues, necessarie per poter considerare gli aspetti più rilevanti da esaminare. Ogni progetto sarà analizzato quindi non solo con gli stessi criteri, ma anche con le stesse issues.5

In alcuni progetti vi è la possibilità che i monitori si rendano conto che alcune issues o sub-issues, che sarebbero state di primaria importanza sono state omesse, in queste occasioni possono aggiungere dei commenti da inviare al Team Leader. Ogni issues ha un valore diverso, e la somma di tale valore permetterà di raggiungere un punteggio.

Tre sono le issues nel criterio della rilevanza, le prime due hanno un valore del 25% mentre la terza pesa il 50%.

-Was the original design well-conceived?

-How well has the project adapted during implementation?

How adequate (relevant) now are the following as presently defined: Inputs/activities? Results? -Project Purpose end Overall Objectives? -Assumptions?

Il giudizio da assegnare alle prime due issues è un giudizio relativo al progetto originale, così come concepito inizialmente, si richiede ai monitori di verificare che la sua costruzione sia pertinente e se sia stato capace di adattarsi bene ai problemi che intende risolvere. Solo nella terza issues si può avere

5_{per mantenere elevata la coerenza del monitoraggio, anche i monitoraggi successivi saranno effettuati dagli stessi}

(19)

18 una comparazione tra il progetto iniziale ed il progetto al momento del monitoraggio, verificando quindi che sia stata acquisita maggior pertinenza in relazione alla gerarchia degli obiettivi.

Le issues relative all’efficienza sono quattro, il peso delle prime due è del 20%, della terza del 50%, e dell’ultima del 10%.

-Are project inputs: -on time? -at planned cost? -well managed on a day-to-day basis? -Are project activities: -on time? -at planned cost? -well managed on a day-to-day basis? -Are the results being achieved as planned?

-How flexible has the project been to changing needs?

L’analisi di queste issues permette di identificare le relazioni presenti tra l’efficienza ed alcuni elementi della logica dell’intervento, in particolare si riferisce ai mezzi, alle attività e ai risultati, chiedendo ai monitori di verificare se tali livelli rispettino i tempi e i costi, e se lo svolgimento delle attività e il conseguente raggiungimento dei risultati avviene così come era stato programmato. Nell’ultima issues si introduce il problema della flessibilità, ossia la capacità di adattarsi ad eventuali cambiamenti richiesti dalle esigenze.

Le issues legate all’efficacia sono tre, di cui la prima ha un peso del 70%, la seconda del 10% e la terza del 20%.

-Are the benefits being received by the planned beneficiaries?

Are other uses or secondary effects (planned or not) of the Results consistent with the Project -purpose and Overall Objectives?

-To what extent has the project adapted to external factors?

Il monitoraggio è interessato a quanto siano efficaci i risultati raggiunti e il loro impatto sull’obiettivo specifico, e in modo più ampio anche sull’obiettivo generale. Le domande rivolte ai monitori

(20)

19 chiedono di individuare se effettivamente tutto ciò che si è costruito con il progetto è stato ricevuto dai beneficiari pianificati, correlando quindi anche il concetto di equità, per permettere che non si favorisca di fatto chi è già avvantaggiato. Anche qui come nel criterio dell’efficienza l’ultima issue è legata alla flessibilità, in particolare alla misura in cui il progetto si è adattato ai fattori esterni per garantire ai beneficiari di raggiungere i benefici previsti.

Anche il criterio dell’impatto ha tre prime-issues, la prima dal valore di 60%, la seconda 10% e la terza 30%.

-Are the wider planned effects being or likely to be achieved?

-If there are other wider unplanned effects, are they (a) very positive, (b) positive, (c) negative or (d) very negative?

-Adaptation to external factors?

L’impatto si basa sull’esistenza di due tipi di effetti diversi, quello pianificato e l’effetto non pianificato. Il primo è il verificarsi di determinate situazioni che sono state già previste nell’elaborazione del progetto, mentre quello non pianificato prevede delle circostanze dovute ad elementi esterni che non era possibile o non si è stati capacia presumere.

Le prime due domande richiedono dunque al monitore di valutare se gli effetti che erano stati pianificati si siano poi realizzati, o si realizzeranno quasi certamente, mentre la seconda domanda si riferisce proprio a quell’evento non pianificato, implicando la possibilità che seppur non sia stato pianificato questo possa comunque rivelarsi positivo nella formazione dell’obiettivo generale. Ultima issue relativa anche in questo caso alla flessibilità, e alla capacità di rimediare e adattarsi quando le ipotesi effettuate a livello dell’obiettivo specifico sono sbagliate.

Le prime-issues relative alla sostenibilità potenziale sono sei.

(21)

20 -How well is the project contributing to institutional and capacity building?

-How well is the project addressing socio-cultural issues and taking into account gender issues? -How well is the technology (human and technical) responding to and built on existing culture and knowledge?

-Are environmental issues taken into account? - Financial/economic soundness?

Attraverso queste issues si rilevano i fattori della sostenibilità: politiche di sostegno, capacità istituzionali e gestionali, aspetti socioculturali e problemi di genere, tecnologie appropriate, protezione dell’ambiente, solidità finanziaria ed economica. Tale ordine non implica allo stesso tempo un ordine assegnato per importanza, in quanto è attribuito a ciascun fattore lo stesso valore e lo stesso peso del 16.7%.

Nel primo punto si richiede ai monitori di verificare il livello di influenza fornito delle politiche nazionali, settoriali e di bilancio, e se questo sia stato effettivamente di rilievo nella realizzazione del progetto.

Il secondo fattore si riferisce a quanto bene il progetto sia sostenibile in termini di contribuire nella creazione di capacità istituzionali e di gestione, per permettere al progetto stesso di continuare ad offrire i benefici anche dopo la sua conclusione, consentendo alle istituzioni locali di sviluppare capacità per affrontare le future circostanze.

Il monitore deve chiedersi se effettivamente il progetto stia rispondendo correttamente alle richieste di risoluzioni di problemi manifestati dalla popolazione, e se nel farlo riesce a capire le esigenze legate al ruolo di genere, cercando di costruire eguaglianza ed eliminare le disparità tra donne e uomini.

(22)

21 È necessario l’uso di una tecnologia appropriate affinché questa possa essere mantenuta grazie alle competenze locali, assicurando la sostenibilità del progetto nel tempo più lungo, infatti una tecnologia eccessivamente sviluppata potrebbe sembrare migliore se si considera solo il breve periodo, ma impedirebbe la continuazione degli effetti positivi del progetto al suo termine.

Monitorare l’impatto del progetto relativamente alla questione ambientale, se è stata recepita la responsabilità che grava sul progetto nel caso in cui questo causerà dei danni all’ambiente, e se eventualmente anche i beneficiari e gli stakeholders ne siano consapevoli.

L’ultimo punto riguarda la solidità economica e finanziaria, in questo caso l’attenzione è focalizzata sul lungo periodo, ossia se effettivamente al termine del progetto i beneficiari possano realmente accedere ai risultati per loro concepiti, e se la solidità sia tale che anche nell’eventualità in cui potrebbero verificarsi dei cambiamenti nei fattori economici, come tassi di cambio, aumento dei prezzi delle materie prime, i benefici possano comunque essere mantenuti.

3.1.3 Fattori di sostenibilità

I fattori della sostenibilità sono indicati nel manuale del 2000 solo all’interno del glossario, sono definiti come quei fattori che hanno un impatto positivo sulla sostenibilità dei benefici generati dai progetti nel passato, e che quindi devono essere presi in considerazione nella progettazione di futuri progetti. Al di fuori di questa definizione all’interno del manuale non è possibile trovare chiaramente un elenco, ma, facendo riferimento al manuale del 1993 e alle issues del criterio della sostenibilità potenziale già ricordate nel paragrafo 3.1.2, i fattori sono: politiche di sostegno, capacità istituzionali e gestionali, aspetti socioculturali e problemi di genere, tecnologie appropriate, protezione dell’ambiente, solidità finanziaria ed economica, e ad ognuno dei quali è assegnato lo stesso peso.

(23)

22

3.1.4 Prodotti richiesti ai monitori

I monitori dovranno fornire all’Ufficio di Bruxelles dei documenti fondamentali per attestare la fine della missione, l’elenco di tali documenti è eseguito riportando l’ordine di completamento degli stessi, così come indicato all’interno del manuale del 2000.

- Note di monitoraggio;

- Background Conclusion Sheets (BCS);

- Rapporto di monitoraggio, a sua volta composto da: intestazione, informazioni del progetto, informazioni finanziarie, sintesi delle conclusioni, commenti esplicativi;

- Sinossi del progetto;

- Aggiornamento della matrice del quadro logico.

- Calendario delle attività attuale ed aggiornato. (PAG 22-24)

3.1.5 Considerazione sull’equità

L’equità, fondamentale per evitare che si beneficino, a discapito di coloro i quali dovrebbe essere rivolto il progetto, gruppi di fatto già avvantaggiati, non è presa in considerazione all’interno del

manuale come concetto, ma nell’allegato A, ossia all’interno del modello della BCS nel criterio della

sostenibilità. Il criterio di differenziazione per il corretto esercizio di equità si manifesta solo in relazione all’equità di genere, più precisamente al riconoscimento e al rispetto delle differenze di genere e ai diversi bisogni ad esso legati.

L’ultimo riferimento all’equità si ha nell’allegato C, all’interno della nota di pagina 15, in cui si fa riferimento all’equità di genere da verificare e da inserire nel rispettivo settore.6

(24)

23

Non ci sono ulteriori approfondimenti per l’uguaglianza di genere, ed altre tipologie di equità come quella sociale, territoriale, economica, multietnica non sono prese in considerazione all’interno del

manuale.

3.1.6 Livelli della logica dell’intervento considerati

La logica dell’intervento è riportata all’interno della sezione V, ossia nel glossario in cui viene

indicata sia la gerarchia degli obiettivi che la logica di intervento, la quale viene definita come “l’insieme delle attività che portano ai risultati, i risultati che conducono allo scopo del progetto e lo scopo del progetto che contribuisce agli obiettivi generali.”

I livelli della logica di intervento presi in considerazione nel 2000 sono quattro: attività, risultati,

scopo del progetto e obiettivo generale. Riporto la tabella presente nell’articolo 22 February 2016, How to identify development beneficiaries for an equitable change?www.europabook.eu di Massimo Rossi, alla quale ho aggiunto la logica di intervento del manuale del 2000 e del 2020.

(25)

24

7_{Danish management, October 2000, Handbook for monitors in the ACP-ALA-MED regions, final draft.}

Levels of the Intervention Logic sequence Intervention Logic Handbook for monitors 20007 4 levels Intervention Logic PCM Manual March 20048 3 levels Intervention Logic ROM Handbooks 20099_{, 2012}10 4 levels Intervention Logic ROM Handbook March 201511 3 levels Intervention Logic PRAG July 201512 3 levels UADT January 201513 3 levels Intervention Logic ROM Handbook V.6 Jenuary 2020 4 levels 4 Overall Objectives Overall Objectives Overall Objectives Overall Objective/ Impact Overall Objective Impact 3 Project Purpose Project Purpose Project Purpose Outcome Specific objective(s)/ Outcome(s) Outcomes

2 Results Results Results/Outco me ROM considers results for Effectiveness analysis

(26)

25

Figure 1: Intervention Logic sequences in EC-EuropeAid Logframes: 2000-2020

3.1.7 Classificazione (grading)

Attraverso l’analisi delle Issues i monitori arriveranno a valutare ciascuna issuedando un particolare giudizio sintetico, che dovrà essere inserito nella terza sezione del Rapporto di monitoraggio, ossia nelle sintesi delle conclusioni. Tale giudizio è definito dalle lettere a/b/c/d le cui descrizioni sono rese note all’interno del diagramma riportato nel manuale.

I giudizi sono così indicati:

a. Il progetto è molto buono, pienamente conforme o migliore di quanto pianificato. Ci sono tutte le indicazioni che raggiungerà il suo obiettivo specifico e i suoi obiettivi.

b. Si tratta di un buon progetto, e procede come previsto. Ma sono necessarie alcune misure correttive affinché il progetto raggiunga pienamente il suo obiettivo specifico e i suoi obiettivi.

8_{European Commission-EuropeAid Co-operation Office, March 2004, Guidelines on Aid Delivery Methods, Volume 1:}

Project Cycle Management, Brussels.

9_{European Commission-EuropeAid, Updated version, 2009, Handbook for Results-oriented Monitoring of EC External}

Assistance (projects and programmes), Brussels.

10_{European Commission-EuropeAid, Updated version, April 2012, Handbook for Results-oriented Monitoring of EC}

External Assistance (projects and programmes), Brussels.

11_{European Commission-Directorate General for International Cooperation and Development, March 2015, ROM}

Handbook Results Oriented Monitoring, Brussels.

12_{European Commission, International Cooperation and Development, 15 July 2015, PRAG Practical Guide, Glossary,}

Annex A1a.

13_{European Commission, 1 January 2015, Unified Action Document Template, Brussels.}

1 Activities Level not included Outputs ROM considers outputs for Efficiency analysis Level not included Level not included Activities

(27)

26 c. Il progetto ha problemi. Senza misure correttive non potrà raggiungere il suo scopo e i suoi

obiettivi.

d. Il progetto presenta gravi carenze. Sarà necessario applicare misure correttive sostanziali per una riprogettazione importante o terminare il progetto.

3.1.8 Glossario

All’interno del manuale del 2000 è presente il glossario. Di seguito ho riportato alcune definizioni che potranno essere utili per effettuare una comparazione con i glossari degli handbook successivi. Inoltre, alcune di queste definizioni, seppur presenti all’interno del glossario, non sono nominate all’interno del libro stesso, come Hierarchy of Objectives. Nessuna categorizzazione o definizione di beneficiari è presentata nel Glossario. Di contro, a pag.15 del manuale si legge: “The beneficiaries are the persons or group of persons targeted for assistance. During project formulation they should be clearly identified although it is not unusual for the project to have spin-off benefits for others also.”

Hierarchy of Objectives

Activities, results, project purpose, overall objectives as specified intervention logic.

Intervention Logic

Activities lead to results; results lead to project purpose; project purpose contributes to overall objectives.

Overall Objective

Future improved situation (at high level in framework) to which the project contributes, together with others.

(28)

27 Future improved situation characterised by sustainable benefits for the project’s target group, benefits which will start to appear during the project.

Results

Products of the activities that achieve the project purpose.

Stakeholder

Those people who have an interest in the outcome of the project. The parties include not only those people or groups of people contractually bound by the financing agreement but also third parties, either individuals or groups, who will be affected (positively or negatively) by the results of the project.

Sustainability

A project is sustainable when it can provide an acceptable amount of benefits to the target group during a sufficiently long period after the donor’s financial and technical assistance ceases.

3.1.9 ROM ex-post

Nel manuale del 2000 non si parla ancora del ROM ex-post, infatti quest’ultimo verrà introdotto, per i progetti già completati, a partire dal 2005.

3.1.10 Strumenti, raccolta ed analisi dei dati per il monitoraggio

Gli indicatori oggettivamente verificabili permettono ai monitori di tracciare un progresso qualitativo e quantitativo relativo non solo ai risultati e allo scopo del progetto, ma anche all’obiettivo generale.

(29)

28 Nel manuale è chiaramente indicato che sebbene gli indicatori per l’obiettivo generale tendano ad essere più qualitativi, è importante comunque utilizzare il riferimento alla quantità, how many people to be trained, how many extra modifications, etc.

Le ulteriori indicazioni precisate per monitori sono di applicare la propria esperienza e il proprio giudizio sia nell’aiutare nella costruzione di OVI, anche se non responsabili per il loro sviluppo, tanto quando non si è sicuri della qualità della fonte di verifica, per cui sarà necessario segnalarlo all’interno della BCS o ometterla.

Nella checklist già menzionata nel paragrafo 1, sono fornite delle indicazioni precise per i monitori per permettergli di individuare correttamente dei buoni e utilizzabili SoV e OVI.

I monitori dovrebbero infatti fare attenzione ai SoV che hanno origine al di fuori del progetto e verificare se:

- La forma/presentazione è appropriata - Sono abbastanza specifici

- Sono affidabili

- Sono accessibili (dove e quando)

- Il costo per ottenere le informazioni è ragionevole.

Un buon OVI fornisce una misurazione diretta e deve indicare dove possono essere trovati i dati relativi, quando ciò non è possibile si deve ricorrere a indicatori proxy, esempio tratto dal manuale: "l'aumento del reddito degli agricoltori" può riflettersi in un miglioramento delle condizioni abitative (piastrelle, uso di cemento, ecc.)

Importante, inoltre, è che tali indicatori non siano né eccessivamente complessi né troppo numerosi, poiché questo implicherebbe dei costi elevati e sarebbe più corretto utilizzarne di diversi, in particolare indicatori indiretti che comportano meno ricerche e di conseguenza minor spesa.

(30)

29 La prima riunione si effettua il primo giorno della missione di monitoraggio, si informano tutti i presenti sugli scopi e gli obiettivi del lavoro, e quali sono le metodologie che saranno adoperate. Nella stessa riunione si stabilisce anche una riunione finale, che si terrà l’ultimo giorno del monitoraggio, per aggiornare sui risultati.

A pagina 8 del manuale vi è un elenco di come dovrebbe essere un buon esercizio di raccolta di informazioni, ossia essere a conoscenza di tutti i documenti riguardanti il progetto ed intervistare tutte le parti coinvolte, tra cui i beneficiari (…interviews with all parties involved in a project, including the beneficiaries).

Per poter iniziare la missione di monitoraggio quindi i monitori devono avere a disposizione e studiare alcuni documenti, che sono fondamentali per poter conoscere il progetto. I documenti chiave indicati nel libro sono il contratto di finanziamento e la matrice del quadro logico.

Una parte essenziale del monitoraggio è poi costituita dal lavoro sul campo, i monitori devono intervistare tutte le parti coinvolte per poter verificare se i progetti sono “potenzialmente sostenibili”. Ulteriori informazioni possono essere rilevate anche grazie allo studio dei report del project management, grazie al quale i monitori hanno un’utile guida per capire se sono necessarie modifiche alla matrice del quadro logico.

Alcuni strumenti sono indicati solamente all’interno del glossario, come:

- Analisi dei problemi, definita come “l’identificazione degli ostacoli reali a cui i gruppi coinvolti attribuiscono la priorità.”

- SWOT analisi, definita come “analisi dei punti di forza e delle debolezze di un’organizzazione, delle opportunità e delle minacce che essa deve affrontare. Uno strumento utilizzato per la valutazione dei progetti.”

(31)

30

3.1.11 Indice struttura ed argomenti dei singoli report ROM

Il titolo del manuale è: Danish management, October 2000, Handbook for monitors in the ACP-ALA-MED regions, final draft.

L’indice è composto da cinque sezioni e da cinque Allegati chiamati A, B, C, D, E.

La prima sezione è un’introduzione in cui si indica la necessità di una ristrutturazione e riorganizzazione per lo sviluppo di un nuovo sistema di monitoraggio per migliorare di conseguenza la progettazione e la creazione di nuovi programmi e progetti.

La seconda sezione descrive cos’è il monitoraggio, dando una definizione dello stesso indicando tramite l’uso di due tabelle cosa è e cosa non è, il suo scopo, chi ne beneficia, come dovrebbe essere il monitore ideale, e i documenti necessari per il monitoraggio.

La sezione terza illustra il programma di monitoraggio, la struttura organizzativa dei progetti ACP – ALA – MED che nella maggior parte dei progetti rimane simile, la descrizione dei ruoli ricoperti per la realizzazione di un progetto, la delegazione CE, l’autorità nazionale, i beneficiari, l’assistenza tecnica e appaltatori per forniture e servizi.

La quarta sezione è la parte più lunga, in cui si indica il processo di monitoraggio quindi l’identificazione del progetto, i documenti necessari, lavoro su campo, l’uniformità del monitoraggio, come devono essere effettuati i giudizi, come scrivere il report finale e tutte le sue componenti, e le raccomandazioni finali, la forma da utilizzare e la loro importanza.

La quinta sezione è un glossario dei termini, qui si possono trovare definizioni e concetti che altrimenti mancherebbero nel manuale stesso, e chiarire alcune incertezze.

Gli allegati finali sono degli esempi di schede per poter aiutare a comprendere meglio la parte operativa del monitoraggio, in ordine:

(32)

31 - allegato B: Codici dei paesi;

- allegato C: Codici dei settori;

- allegato D: Rapporto di monitoraggio; - allegato E: sinossi del progetto.

3.1.12 Indice, struttura ed argomenti dei prodotti richiesti ai monitori

Il Background Conclusion Sheet è costituito da sei pagine, ognuna per ciascun criterio, ad eccezione della sostenibilità potenziale a cui sono dedicate due pagine, semplicemente perché il numero delle issues rilevanti sono quantitativamente maggiori rispetto agli altri. In ogni pagina deve essere indicato il numero del progetto e la data della visita di monitoraggio, ed ogni foglio si apre con la descrizione del criterio che si deve valutare. Nella parte sinistra sono elencate le issues e le sub-issues, mentre nella colonna a destra si devono inserire le conclusioni della performance con un voto che può essere A, B, C, D, come indicato nel paragrafo 3.1.7, e nelle caselle a destra si deve inserire una risposta per ogni sub-issues ritenuta appropriata. Tutto ciò deve essere ripetuto per ogni criterio.

Il rapporto di monitoraggio si compila dopo aver terminato la BCS, è formato da due pagine suddiviso in cinque punti. Il primo punto è il Project data, qui devono essere inserite determinate informazioni come il numero del progetto, la data del contratto di finanziamento e l’effettivo inizio del progetto, chi è il monitore, il nome della persona della delegazione responsabile nella supervisione del progetto, il periodo di monitoraggio.

Il secondo punto è il financial date, bisogna indicare quanto è stato messo a disposizione nel contratto di finanziamento, quanto è stato utilizzato per i contratti di lavoro, quanto è stato speso dai servizi della commissione, il bilancio annuale, quanto è effettivamente stato speso nel piano di lavoro annuale. Nel manuale si indica che questa sezione è in fase di revisione.

(33)

32 La terza sezione è Summary of Conclusions in cui semplicemente si dovrà riportare il giudizio che è stato assegnato dai monitori per ogni criterio.

Nella sezione dell’Explanatory comments il monitore deve giustificare i giudizi che ha assegnato ai vari criteri, e deve farlo con dei commenti chiari e precisi.

Il quinto punto raccoglie tutte le osservazioni e le raccomandazioni sulle questioni che il monitore ritiene importanti da implementare.

L’ultima sezione si trova nell’allegato E ed è il Project Synopsis, deve essere compilato per ultimo e si riassume quello che è il background del progetto e la logica di intervento.

3.1.13 Spiegazioni per i cambiamenti introdotti rispetto al precedente

manuale

Poiché questo è il primo manuale di Monitoraggio esterno, successivamente denominato ROM, per tutti i paesi beneficiari dell’aiuto esterno dell’UE, non sono presenti delle modifiche e di conseguenza delle spiegazioni per i cambiamenti effettuati.

3.2 Manuale ROM 2012

In questo paragrafo è analizzato il manuale European Commission, EuropeAid Co-operation Office, ROM Handbook Results-oriented Monitoring. April 2012. Lo scopo del manuale è quello di mostrare il monitoraggio non come un semplice strumento di supporto, ma come un reale apporto di miglioramento alla programmazione e pianificazione dei progetti. Per farlo ripercorre la storia del ROM, specifica come e quali strumenti siano essenziali per un buon monitoraggio, e sottolinea la necessità di una continua evoluzione metodologia del ROM per conseguire sempre maggiori risultati.

(34)

33

3.2.1 Criteri di monitoraggio utilizzati

I cinque criteri sono disposti in elenco a pagina 32 del manuale e sono così definiti:

la rilevanza descrive quanto bene un progetto risponda ad un problema reale dei beneficiari, e come si adatti agli obiettivi strategici delle politiche di sviluppo dell’UE;

l’efficienza è l’espressione di come gli input si trasformino in output e outcome;14

l’efficacia misura il grado in cui gli output del progetto hanno apportato benefici e contribuito al raggiungimento dello scopo del progetto;

l’impatto descrive come e in che misura il progetto ha contribuito alla soluzione del problema e al raggiungimento dell’obiettivo generale. L’impatto effettivo può essere misurato solo ex-post. Tuttavia, il ROM per i progetti in corso esamina le prospettive dell’impatto, ossia il probabile contributo del progetto all’obiettivo generale;

la sostenibilità introduce una dimensione temporale nel monitoraggio. Misura la probabilità di una continuazione del flusso di benefici prodotti dal progetto dopo la fine del periodo di sostegno esterno. La stretta correlazione tra i cinque criteri e la logica di intervento è rappresentata dalla figura 4 di pagina 32.

14_{Con il classico triangolo, simbolo di attenzione/pericolo, viene indicato al lettore di non confondere i due termini.}

(35)

34

Figura 2: Immagine tratta dal manuale European Commission, EuropeAid Co-operation Office, ROM Handbook Results-oriented Monitoring. April 2012.

La rilevanza si sviluppa nel momento in cui si valutano e si inquadrano i bisogni e i relativi problemi dei beneficiari che si vogliono affrontare con il progetto, anche la sostenibilità deve essere presa in considerazione sin dall’inizio, e dovrà essere portata avanti fino alla sua conclusione. L’efficienza concerne i primi tre livelli della logica di intervento, ossia gli input, le attività e gli output, mentre l’efficacia parte dagli output per comprendere anche gli outcome e l’obiettivo specifico, in più efficienza ed efficacia sono fondamentali durante il primo anno di vita del progetto per poter attuare le raccomandazioni proposte dai monitori, e quindi permettere al progetto di muoversi nella giusta direzione. Per ultimo l’impatto si ripercuote sull’obiettivo specifico e quello generale.

In questa prima definizione di sostenibilità il termine potenziale viene omesso, anche se nel manuale la sostenibilità è accompagnata dal termine potenziale sia all’interno di un riquadro giallo di pagina 42, in cui si precisa che i target group e beneficiari finali siano fonte di informazione per la rilevanza, gli outcome, impatto e sostenibilità potenziale, che all’interno del modello della BCS in cui il nome del quinto criterio è, così come nel manuale del 2000, potential sustainability. Diversamente avviene

(36)

35 per le BCS dei progetti regionali, delle tipologie A, B, C, nelle quali il criterio è semplicemente nominato sustainability.

Ulteriore differenza si ha per il ROM ex-post in cui non solo la sostenibilità e l’impatto sono definiti reali, ma questi sono posti anche al centro dell’analisi, mentre rilevanza, efficienza, ed efficacia, seppur importanti, servono per la loro capacità a definirli.

3.2.2 Aspetti (issues) utilizzati per ciascun criterio

Nel manuale del 2012 le issues sono chiamate prime-issues o sub-criteria, e quelle che nel manuale del 2000 erano le sub-issues prendono il nome di sub-questions; quest’ultime servono al monitore per poter rispondere in modo appropriato alle prime, e quindi la loro risoluzione non è obbligatoria. Inoltre, vengono aggiunte due nuove tipologie: horizontal issues e cross-cutting issues, in quanto vi è la necessità di evitare di continuare ad affrontarle separatamente rispetto alle altre attività, e di creare un processo di integrazione per tutte le necessità multisettoriali (pag. 15), la BCS è per cui composta, oltre dalle cinque schede riguardanti i criteri fondamentali, anche da due ulteriori schede.

All’interno del modello della BCS non viene più indicato il peso di ciascuna prime-issues.

Sono quattro le prime-issues della rilevanza:

-What is the present level of relevance of the project?

-As presently designed, is the intervention logic holding true? -Is the current design sufficiently supported by all stakeholders?

-Is the current design sufficiently taking cross-cutting issues into account?

Uno dei focus posto è sulla relazione con la logica di intervento e di conseguenza sulle capacità del progetto di raggiungere effettivamente gli obiettivi nel tempo stabilito, e, tramite mezzi appropriati,

(37)

36 di rispondere ad eventuali rischi e ipotesi che sono stati presi in considerazione durante la fase della pianificazione. Un’altra valutazione si basa sull’importanza della corretta individuazione del target group e sull’effettiva comprensione delle loro esigenze. Inoltre, i monitori devono tener conto se in fase di progettazione sono state fatte analisi di genere ed ambientali.

Anche le prime-issues dell’efficienza sono quattro:

-How well is the availability/usage of means/inputs managed?15 -How well is the implementation of activities managed? -How well are outputs achieved?

-How well is the Partner Contribution / Involvement working?

L’attività del monitore per queste issues è interessata all’analisi degli inputs, delle attività e degli outputs, in particolare deve controllare il rispetto tanto della logica di intervento che del calendario delle attività, quindi verificare che i livelli temporali e dei costi siano ben pianificati, e se eventuali ritardi si ritorcono sugli outputs. Si deve appurare anche il coinvolgimento dei partner, sia finanziario che per le risorse umane.

Sono due invece le prime-issues dell’efficacia:

-How well is the project achieving its planned results?

-As presently implemented what is the likelihood of the project purpose to be achieved?

Il monitoraggio deve controllare che i risultati garantiscano ai target group di poter accedere ai benefici che sono stati pianificati per loro. Per cui è fondamentale che il progetto riesca a adattarsi ad eventuali effetti negativi che potrebbero verificarsi sul gruppo bersaglio e che provi a rimuovere quei fattori che potrebbero impedire il raggiungimento dello scopo del progetto.

(38)

37 Le prime-issues dell’impatto, chiamato nella BCS impact prospects sono due:

-What are the direct impact prospects of the project at Overall Objectives level?

-To what extent does/will the project have any indirect positive and/or negative impacts? (i.e. environmental, social, cultural, gender and economic)

Come nel manuale del 2000, anche qui i monitori devono valutare l’esistenza dell’impatto diretto ed indiretto, e analizzare se i loro effetti sono positivi o negativi. L’elemento aggiuntivo è la specifica richiesta effettuare il controllo in settori che non erano stati precedentemente presi in considerazione, ossia quello ambientale, sociale, culturale, economico e di genere.

Le prime-issues riguardanti la sostenibilità potenziale sono quattro: -Financial / economic viability?

-What is the level of ownership of the project by target groups and will it continue after the end of external support?

-What is the level of policy support provided and the degree of interaction between project and policy level?

-How well is the project contributing to institutional and management capacity?

Il primo punto è molto simile a quello del 2000, anche se si nota un cambiamento nel nome, da solidità si passa a viabilità finanziaria. Il fulcro dell’analisi restano i beneficiari, quindi individuare se i servizi sono realmente accessibili, se possono perdurare anche con cambiamenti economici. Importante è anche verificare la capacità delle istituzioni di mantenere le tecnologie che sono state introdotte dal progetto, questo punto è rilevante anche per un altro motivo, perché nel manuale analizzato precedentemente la tecnologia era uno dei fattori di sostenibilità, e questo argomento era più approfondito grazie a delle prime-issues e sub-issues a lei dedicate.

(39)

38 Il secondo punto è un nuovo fattore della sostenibilità potenziale. Il monitore deve valutare quanto i target group e gli stakeholder più rilevanti siano stati coinvolti nei vari livelli dell’elaborazione del progetto, in particolare nel processo di pianificazione e decisionale.

Il terzo fattore è la politica di sostegno, ed è necessario analizzare quanto questa sia effettivamente di sostegno, non solo sul progetto attuale, ma anche nel lungo periodo quando il progetto sarà terminato. L’ultimo fattore è la capacità istituzionale e di gestione. Verificare che il progetto riuscirà a sopravvivere anche dopo il suo compimento, grazie alla sua capacità di inserirsi nelle strutture istituzionali, che questi si siano sviluppati sia in termini tecnici, che finanziari che manageriali, e che le risorse umane siano qualificate per poter continuare il lavoro.

3.2.3 Fattori di sostenibilità

A differenza del manuale del 2000 in cui nel glossario, sotto la voce Sustainability-factors, si trovava la definizione dei fattori della sostenibilità, ma non un loro elenco, nell’handbook del 2012 i fattori chiave della sostenibilità sono indicati nel glossario nella definizione della sostenibilità, tuttavia non c’è un commento bensì un loro elenco: 1) ownership da parte dei beneficiari, 2) politica di sostegno, 3) tecnologie appropriate, 4) ambiente, 5) aspetti socio-culturali, 6) uguaglianza di genere, 7)capacità istituzionale e di gestione, 8) viabilità finanziaria ed economica.

Sebbene siano indicati otto fattori e con un certo ordine, nel criterio della sostenibilità all’interno della BCS, solo quattro sono contenuti nelle issues e con quest’ordine: viabilità finanziaria ed economica, ownership da parte dei beneficiari, politica di sostegno e capacità istituzionale e di gestione. Il fattore delle tecnologie appropriate si riduce, come visto nel paragrafo precedente, ad una sub-question all’interno del fattore della viabilità finanziaria ed economica: Are the beneficiaries and/or relevant authorities/institutions able to afford maintenance or replacement of the

(40)

39 technologies/services introduced by the project? Un’altra attinenza con questo fattore si ritrova nelle issues orizzontali in cui è dedicata attenzione alla cooperazione tecnica.

L’uguaglianza di genere è presente nelle cross-cutting issues, tramite le quali il monitore dovrà verificare se vi sia stata una reale attenzione in fase di pianificazione su un’analisi appropriata della differenziazione di genere dei beneficiari, se questo porterà ad una uguaglianza di genere sostenibile, quindi anche dopo la fine del progetto. Anche l’ambiente è preso in considerazione nelle cross-cutting issues, in particolare lo sviluppo sostenibile viene definito come uno sviluppo che soddisfa i bisogni delle generazioni attuali senza compromettere la capacità delle generazioni future di soddisfare i propri bisogni; considerando se nell’implementazione del progetto siano stati valutati eventuali danni a discapito dell’ambiente e dei procedimenti per poter rimediare ad essi.

Il fattore socioculturale seppur menzionato come uno degli otto fattori della sostenibilità non è richiamato né tra le issues della sostenibilità, né tra le issues orizzontali o cross-cutting.

I monitori hanno però la possibilità di aggiungere eventuali fattori ritenuti fondamentali per la sostenibilità all’interno della sezione che ritengono più appropriata.16

3.2.4 Prodotti richiesti ai monitori

A seguito della missione di monitoraggio deve essere redatto un rapporto necessario per indicare le osservazioni e le raccomandazioni da fornire riguardati il progetto. I principali documenti richiesti non sono elencati nel manuale sempre nello stesso ordine, qui di seguito ho seguito quello di pagina 48:

- Sinossi del progetto; - BCS;

(41)

40 - Rapporto di monitoraggio;

- Note di monitoraggio; - Scheda di risposta.

3.2.5 Considerazione sull’equità

Uno degli scopi fondanti delle politiche di sviluppo dell’UE è l’eliminazione della povertà. Tuttavia, è necessario distinguere l’eradicazione della povertà dalla necessità di ridurre le profonde ineguaglianze legate al genere, al territorio, all’etnia, al reddito, all’accesso ai servizi; non si può raggiungere il primo scopo senza tenere in considerazione tutte le disparità iniziali, quindi in fase di progettazione, tra i possibili beneficiari, questo porta solo ad una distribuzione disuguale dei risultati che si ottengono con i progetti.17

L’equità nel manuale è presa in considerazione in termini di uguaglianza di genere come fattore della sostenibilità, ciò nonostante nella BCS il gender equality non si trova tra le issues della sostenibilità ma è recuperato tra le cross-cutting issues.

Nel glossario il gender equality è definito come “la promozione della parità tra uomini e donne in relazione al loro accesso alle infrastrutture e ai servizi sociali ed economici e ai benefici dello sviluppo è fondamentale. L’obiettivo è ridurre le disparità tra uomini e donne anche nel campo della salute e dell’istruzione, dell’occupazione e dell’attività economica, nonché del processo decisionale a tutti i livelli. Tutti i programmi e i progetti dovrebbero contribuire attivamente a ridurre le disparità di genere nella loro area di intervento.”

Il monitore deve verificare se le questioni di genere sono appropriatamente prese in considerazione nella pianificazione del progetto, per rispondere correttamente devono utilizzare come riferimento le

(42)

41 linee guida di due documenti: il Toolkit on mainstreaming gender equality in EU development cooperation e l’OECD Gender Policy Marker. In particolare, devono valutare se i risultati del progetto sono distribuiti in modo equo dal punto di vista del genere, se sono state apportate misure per rimediare alle diseguaglianze e se vi è la possibilità che ciò continui anche dopo la conclusione del progetto.

La multiculturalità è menzionata solo per la possibilità del monitore di aggiungere, dove lo ritiene necessario, dei commenti legati a tali fattori nelle sezioni appropriate, esempio dal testo “E.g. if the issue of multi-culturality is relevant to financing / economic viability put it there.”

Altre tipologie di equità non sono prese in considerazione.

3.2.6 Livelli della logica dell’intervento considerati

La logica dell’intervento è definita nel glossario come la strategia alla base del progetto. È la descrizione narrativa del progetto per ognuno dei quattro livelli della “gerarchia degli obiettivi” utilizzata nel logframe.18

L’elemento centrale che la costituisce è la gerarchia degli obiettivi che permette di poter capire come agire per apportare soluzioni ai problemi che, insieme ai beneficiari, sono stati rilevati.

Quattro sono i livelli della logica di intervento presi in considerazione nel 2012, anche se nella prima sezione si fa riferimento anche agli input e alle attività, ossia i mezzi e le conseguenti azioni necessarie per poter arrivare ai risultati.

La gerarchia degli obiettivi è formata come segue:

18_{Le virgolette sono riportate nella descrizione, European Commission-EuropeAid, Updated version, April 2012,}

(43)

42 Output: i beni materiali e i servizi prodotti per il gruppo bersaglio, questo livello è anche definito all’interno del glossario, come results, ma non è utilizzato a causa della contraddittorietà del termine;

Outcome: i benefici ottenuti grazie al progetto;

Obiettivo specifico: è la risoluzione del problema centrale che è stato definito nel progetto, viene specificato che, se un progetto è particolarmente complesso, può essere più di uno;

Obiettivo generale: si riferisce all’apporto di benefici per la società in termini molto più estesi nel tempo rispetto all’obiettivo specifico, infatti non si raggiungerà solo grazie al singolo progetto, ma sarà necessario collaborare anche con altri progetti per la sua realizzazione.

La tabella che permette un paragone della logica di intervento utilizzata nei vari manuali si trova nel paragrafo 3.1.6.

3.2.7 Classificazione (grading)

Le classificazioni consentono di riassumere le risposte date dai monitori per ogni criterio fondamentale, da un lato ciò permette quindi una lettura dei risultati del monitoraggio molto più facilitata, dall’altro data la loro semplicità, potrebbero rischiare di non mettere a fuoco quelli che sono i risultati effettivi.

I giudizi sono indicati da: lettere a/b/c/d, numeri 1/2/3/4, e qualità very good/good/problems/serious deficiencies. I quattro gradi sono accompagnati anche da diversi colori, partendo dal verde da quello più positivo, giallo, arancione e rosso per il grado peggiore.

La definizione dei giudizi è:

a. La situazione è considerata molto soddisfacente, ampiamente al di sopra della media e potrebbe costituire un modello per le attività. Le raccomandazioni si concentrano sulla necessità di adottare queste buone prassi anche nelle altre operazioni.