In questo paragrafo è analizzato il manuale European Commission, EuropeAid Co-operation Office, ROM Handbook Results-oriented Monitoring. April 2012. Lo scopo del manuale è quello di mostrare il monitoraggio non come un semplice strumento di supporto, ma come un reale apporto di miglioramento alla programmazione e pianificazione dei progetti. Per farlo ripercorre la storia del ROM, specifica come e quali strumenti siano essenziali per un buon monitoraggio, e sottolinea la necessità di una continua evoluzione metodologia del ROM per conseguire sempre maggiori risultati.
33
3.2.1 Criteri di monitoraggio utilizzati
I cinque criteri sono disposti in elenco a pagina 32 del manuale e sono così definiti:
la rilevanza descrive quanto bene un progetto risponda ad un problema reale dei beneficiari, e come si adatti agli obiettivi strategici delle politiche di sviluppo dell’UE;
l’efficienza è l’espressione di come gli input si trasformino in output e outcome;14
l’efficacia misura il grado in cui gli output del progetto hanno apportato benefici e contribuito al raggiungimento dello scopo del progetto;
l’impatto descrive come e in che misura il progetto ha contribuito alla soluzione del problema e al raggiungimento dell’obiettivo generale. L’impatto effettivo può essere misurato solo ex-post. Tuttavia, il ROM per i progetti in corso esamina le prospettive dell’impatto, ossia il probabile contributo del progetto all’obiettivo generale;
la sostenibilità introduce una dimensione temporale nel monitoraggio. Misura la probabilità di una continuazione del flusso di benefici prodotti dal progetto dopo la fine del periodo di sostegno esterno. La stretta correlazione tra i cinque criteri e la logica di intervento è rappresentata dalla figura 4 di pagina 32.
14 Con il classico triangolo, simbolo di attenzione/pericolo, viene indicato al lettore di non confondere i due termini.
34
Figura 2: Immagine tratta dal manuale European Commission, EuropeAid Co-operation Office, ROM Handbook Results-oriented Monitoring. April 2012.
La rilevanza si sviluppa nel momento in cui si valutano e si inquadrano i bisogni e i relativi problemi dei beneficiari che si vogliono affrontare con il progetto, anche la sostenibilità deve essere presa in considerazione sin dall’inizio, e dovrà essere portata avanti fino alla sua conclusione. L’efficienza concerne i primi tre livelli della logica di intervento, ossia gli input, le attività e gli output, mentre l’efficacia parte dagli output per comprendere anche gli outcome e l’obiettivo specifico, in più efficienza ed efficacia sono fondamentali durante il primo anno di vita del progetto per poter attuare le raccomandazioni proposte dai monitori, e quindi permettere al progetto di muoversi nella giusta direzione. Per ultimo l’impatto si ripercuote sull’obiettivo specifico e quello generale.
In questa prima definizione di sostenibilità il termine potenziale viene omesso, anche se nel manuale la sostenibilità è accompagnata dal termine potenziale sia all’interno di un riquadro giallo di pagina 42, in cui si precisa che i target group e beneficiari finali siano fonte di informazione per la rilevanza, gli outcome, impatto e sostenibilità potenziale, che all’interno del modello della BCS in cui il nome del quinto criterio è, così come nel manuale del 2000, potential sustainability. Diversamente avviene
35 per le BCS dei progetti regionali, delle tipologie A, B, C, nelle quali il criterio è semplicemente nominato sustainability.
Ulteriore differenza si ha per il ROM ex-post in cui non solo la sostenibilità e l’impatto sono definiti reali, ma questi sono posti anche al centro dell’analisi, mentre rilevanza, efficienza, ed efficacia, seppur importanti, servono per la loro capacità a definirli.
3.2.2 Aspetti (issues) utilizzati per ciascun criterio
Nel manuale del 2012 le issues sono chiamate prime-issues o sub-criteria, e quelle che nel manuale del 2000 erano le sub-issues prendono il nome di sub-questions; quest’ultime servono al monitore per poter rispondere in modo appropriato alle prime, e quindi la loro risoluzione non è obbligatoria. Inoltre, vengono aggiunte due nuove tipologie: horizontal issues e cross-cutting issues, in quanto vi è la necessità di evitare di continuare ad affrontarle separatamente rispetto alle altre attività, e di creare un processo di integrazione per tutte le necessità multisettoriali (pag. 15), la BCS è per cui composta, oltre dalle cinque schede riguardanti i criteri fondamentali, anche da due ulteriori schede.
All’interno del modello della BCS non viene più indicato il peso di ciascuna prime-issues.
Sono quattro le prime-issues della rilevanza:
-What is the present level of relevance of the project?
-As presently designed, is the intervention logic holding true? -Is the current design sufficiently supported by all stakeholders?
-Is the current design sufficiently taking cross-cutting issues into account?
Uno dei focus posto è sulla relazione con la logica di intervento e di conseguenza sulle capacità del progetto di raggiungere effettivamente gli obiettivi nel tempo stabilito, e, tramite mezzi appropriati,
36 di rispondere ad eventuali rischi e ipotesi che sono stati presi in considerazione durante la fase della pianificazione. Un’altra valutazione si basa sull’importanza della corretta individuazione del target group e sull’effettiva comprensione delle loro esigenze. Inoltre, i monitori devono tener conto se in fase di progettazione sono state fatte analisi di genere ed ambientali.
Anche le prime-issues dell’efficienza sono quattro:
-How well is the availability/usage of means/inputs managed?15 -How well is the implementation of activities managed? -How well are outputs achieved?
-How well is the Partner Contribution / Involvement working?
L’attività del monitore per queste issues è interessata all’analisi degli inputs, delle attività e degli outputs, in particolare deve controllare il rispetto tanto della logica di intervento che del calendario delle attività, quindi verificare che i livelli temporali e dei costi siano ben pianificati, e se eventuali ritardi si ritorcono sugli outputs. Si deve appurare anche il coinvolgimento dei partner, sia finanziario che per le risorse umane.
Sono due invece le prime-issues dell’efficacia:
-How well is the project achieving its planned results?
-As presently implemented what is the likelihood of the project purpose to be achieved?
Il monitoraggio deve controllare che i risultati garantiscano ai target group di poter accedere ai benefici che sono stati pianificati per loro. Per cui è fondamentale che il progetto riesca a adattarsi ad eventuali effetti negativi che potrebbero verificarsi sul gruppo bersaglio e che provi a rimuovere quei fattori che potrebbero impedire il raggiungimento dello scopo del progetto.
37 Le prime-issues dell’impatto, chiamato nella BCS impact prospects sono due:
-What are the direct impact prospects of the project at Overall Objectives level?
-To what extent does/will the project have any indirect positive and/or negative impacts? (i.e. environmental, social, cultural, gender and economic)
Come nel manuale del 2000, anche qui i monitori devono valutare l’esistenza dell’impatto diretto ed indiretto, e analizzare se i loro effetti sono positivi o negativi. L’elemento aggiuntivo è la specifica richiesta effettuare il controllo in settori che non erano stati precedentemente presi in considerazione, ossia quello ambientale, sociale, culturale, economico e di genere.
Le prime-issues riguardanti la sostenibilità potenziale sono quattro: -Financial / economic viability?
-What is the level of ownership of the project by target groups and will it continue after the end of external support?
-What is the level of policy support provided and the degree of interaction between project and policy level?
-How well is the project contributing to institutional and management capacity?
Il primo punto è molto simile a quello del 2000, anche se si nota un cambiamento nel nome, da solidità si passa a viabilità finanziaria. Il fulcro dell’analisi restano i beneficiari, quindi individuare se i servizi sono realmente accessibili, se possono perdurare anche con cambiamenti economici. Importante è anche verificare la capacità delle istituzioni di mantenere le tecnologie che sono state introdotte dal progetto, questo punto è rilevante anche per un altro motivo, perché nel manuale analizzato precedentemente la tecnologia era uno dei fattori di sostenibilità, e questo argomento era più approfondito grazie a delle prime-issues e sub-issues a lei dedicate.
38 Il secondo punto è un nuovo fattore della sostenibilità potenziale. Il monitore deve valutare quanto i target group e gli stakeholder più rilevanti siano stati coinvolti nei vari livelli dell’elaborazione del progetto, in particolare nel processo di pianificazione e decisionale.
Il terzo fattore è la politica di sostegno, ed è necessario analizzare quanto questa sia effettivamente di sostegno, non solo sul progetto attuale, ma anche nel lungo periodo quando il progetto sarà terminato. L’ultimo fattore è la capacità istituzionale e di gestione. Verificare che il progetto riuscirà a sopravvivere anche dopo il suo compimento, grazie alla sua capacità di inserirsi nelle strutture istituzionali, che questi si siano sviluppati sia in termini tecnici, che finanziari che manageriali, e che le risorse umane siano qualificate per poter continuare il lavoro.
3.2.3 Fattori di sostenibilità
A differenza del manuale del 2000 in cui nel glossario, sotto la voce Sustainability-factors, si trovava la definizione dei fattori della sostenibilità, ma non un loro elenco, nell’handbook del 2012 i fattori chiave della sostenibilità sono indicati nel glossario nella definizione della sostenibilità, tuttavia non c’è un commento bensì un loro elenco: 1) ownership da parte dei beneficiari, 2) politica di sostegno, 3) tecnologie appropriate, 4) ambiente, 5) aspetti socio-culturali, 6) uguaglianza di genere, 7)capacità istituzionale e di gestione, 8) viabilità finanziaria ed economica.
Sebbene siano indicati otto fattori e con un certo ordine, nel criterio della sostenibilità all’interno della BCS, solo quattro sono contenuti nelle issues e con quest’ordine: viabilità finanziaria ed economica, ownership da parte dei beneficiari, politica di sostegno e capacità istituzionale e di gestione. Il fattore delle tecnologie appropriate si riduce, come visto nel paragrafo precedente, ad una sub-question all’interno del fattore della viabilità finanziaria ed economica: Are the beneficiaries and/or relevant authorities/institutions able to afford maintenance or replacement of the
39 technologies/services introduced by the project? Un’altra attinenza con questo fattore si ritrova nelle issues orizzontali in cui è dedicata attenzione alla cooperazione tecnica.
L’uguaglianza di genere è presente nelle cross-cutting issues, tramite le quali il monitore dovrà verificare se vi sia stata una reale attenzione in fase di pianificazione su un’analisi appropriata della differenziazione di genere dei beneficiari, se questo porterà ad una uguaglianza di genere sostenibile, quindi anche dopo la fine del progetto. Anche l’ambiente è preso in considerazione nelle cross-cutting issues, in particolare lo sviluppo sostenibile viene definito come uno sviluppo che soddisfa i bisogni delle generazioni attuali senza compromettere la capacità delle generazioni future di soddisfare i propri bisogni; considerando se nell’implementazione del progetto siano stati valutati eventuali danni a discapito dell’ambiente e dei procedimenti per poter rimediare ad essi.
Il fattore socioculturale seppur menzionato come uno degli otto fattori della sostenibilità non è richiamato né tra le issues della sostenibilità, né tra le issues orizzontali o cross-cutting.
I monitori hanno però la possibilità di aggiungere eventuali fattori ritenuti fondamentali per la sostenibilità all’interno della sezione che ritengono più appropriata.16
3.2.4 Prodotti richiesti ai monitori
A seguito della missione di monitoraggio deve essere redatto un rapporto necessario per indicare le osservazioni e le raccomandazioni da fornire riguardati il progetto. I principali documenti richiesti non sono elencati nel manuale sempre nello stesso ordine, qui di seguito ho seguito quello di pagina 48:
- Sinossi del progetto; - BCS;
40 - Rapporto di monitoraggio;
- Note di monitoraggio; - Scheda di risposta.
3.2.5 Considerazione sull’equità
Uno degli scopi fondanti delle politiche di sviluppo dell’UE è l’eliminazione della povertà. Tuttavia, è necessario distinguere l’eradicazione della povertà dalla necessità di ridurre le profonde ineguaglianze legate al genere, al territorio, all’etnia, al reddito, all’accesso ai servizi; non si può raggiungere il primo scopo senza tenere in considerazione tutte le disparità iniziali, quindi in fase di progettazione, tra i possibili beneficiari, questo porta solo ad una distribuzione disuguale dei risultati che si ottengono con i progetti.17
L’equità nel manuale è presa in considerazione in termini di uguaglianza di genere come fattore della sostenibilità, ciò nonostante nella BCS il gender equality non si trova tra le issues della sostenibilità ma è recuperato tra le cross-cutting issues.
Nel glossario il gender equality è definito come “la promozione della parità tra uomini e donne in relazione al loro accesso alle infrastrutture e ai servizi sociali ed economici e ai benefici dello sviluppo è fondamentale. L’obiettivo è ridurre le disparità tra uomini e donne anche nel campo della salute e dell’istruzione, dell’occupazione e dell’attività economica, nonché del processo decisionale a tutti i livelli. Tutti i programmi e i progetti dovrebbero contribuire attivamente a ridurre le disparità di genere nella loro area di intervento.”
Il monitore deve verificare se le questioni di genere sono appropriatamente prese in considerazione nella pianificazione del progetto, per rispondere correttamente devono utilizzare come riferimento le
41 linee guida di due documenti: il Toolkit on mainstreaming gender equality in EU development cooperation e l’OECD Gender Policy Marker. In particolare, devono valutare se i risultati del progetto sono distribuiti in modo equo dal punto di vista del genere, se sono state apportate misure per rimediare alle diseguaglianze e se vi è la possibilità che ciò continui anche dopo la conclusione del progetto.
La multiculturalità è menzionata solo per la possibilità del monitore di aggiungere, dove lo ritiene necessario, dei commenti legati a tali fattori nelle sezioni appropriate, esempio dal testo “E.g. if the issue of multi-culturality is relevant to financing / economic viability put it there.”
Altre tipologie di equità non sono prese in considerazione.
3.2.6 Livelli della logica dell’intervento considerati
La logica dell’intervento è definita nel glossario come la strategia alla base del progetto. È la descrizione narrativa del progetto per ognuno dei quattro livelli della “gerarchia degli obiettivi” utilizzata nel logframe.18
L’elemento centrale che la costituisce è la gerarchia degli obiettivi che permette di poter capire come agire per apportare soluzioni ai problemi che, insieme ai beneficiari, sono stati rilevati.
Quattro sono i livelli della logica di intervento presi in considerazione nel 2012, anche se nella prima sezione si fa riferimento anche agli input e alle attività, ossia i mezzi e le conseguenti azioni necessarie per poter arrivare ai risultati.
La gerarchia degli obiettivi è formata come segue:
18 Le virgolette sono riportate nella descrizione, European Commission-EuropeAid, Updated version, April 2012,
42 Output: i beni materiali e i servizi prodotti per il gruppo bersaglio, questo livello è anche definito all’interno del glossario, come results, ma non è utilizzato a causa della contraddittorietà del termine;
Outcome: i benefici ottenuti grazie al progetto;
Obiettivo specifico: è la risoluzione del problema centrale che è stato definito nel progetto, viene specificato che, se un progetto è particolarmente complesso, può essere più di uno;
Obiettivo generale: si riferisce all’apporto di benefici per la società in termini molto più estesi nel tempo rispetto all’obiettivo specifico, infatti non si raggiungerà solo grazie al singolo progetto, ma sarà necessario collaborare anche con altri progetti per la sua realizzazione.
La tabella che permette un paragone della logica di intervento utilizzata nei vari manuali si trova nel paragrafo 3.1.6.
3.2.7 Classificazione (grading)
Le classificazioni consentono di riassumere le risposte date dai monitori per ogni criterio fondamentale, da un lato ciò permette quindi una lettura dei risultati del monitoraggio molto più facilitata, dall’altro data la loro semplicità, potrebbero rischiare di non mettere a fuoco quelli che sono i risultati effettivi.
I giudizi sono indicati da: lettere a/b/c/d, numeri 1/2/3/4, e qualità very good/good/problems/serious deficiencies. I quattro gradi sono accompagnati anche da diversi colori, partendo dal verde da quello più positivo, giallo, arancione e rosso per il grado peggiore.
La definizione dei giudizi è:
a. La situazione è considerata molto soddisfacente, ampiamente al di sopra della media e potrebbe costituire un modello per le attività. Le raccomandazioni si concentrano sulla necessità di adottare queste buone prassi anche nelle altre operazioni.
43 b. La situazione è considerata soddisfacente, ma c’è spazio per i miglioramenti. Le
raccomandazioni sono utili ma non vitali per l’operazione.
c. Ci sono questioni che devono essere affrontate, altrimenti il rendimento globale potrebbe essere influenzato negativamente. I miglioramenti necessari, tuttavia, non richiedono revisioni sostanziali della strategia dell’operazione.
d. Ci sono carenze molto gravi che, se non affrontate, possono portare al fallimento dell’operazione. Sono necessari importanti aggiustamenti e revisioni della strategia.
Tali giudizi sono valutati qualitativamente nel giudizio finale, esempio del testo: I = at least three “a”, no “c” or “d”; II = max. two “c”, no “d”; III = at least three “c”, no “d”; IV = at least one “d”.
3.2.8 Glossario
Il glossario è presente nel manuale nell’allegato della quarta sezione.
I beneficiari sono citati sia nel testo che all’interno del glossario suddivisi in due ulteriori categorie: target group e final beneficiaries. La stessa definizione dei target group/s, trovata nella sua categoria più ampia, si ripete identica nel glossario, mentre i beneficiari finali sono individuati e descritti solo in quella più generale dei beneficiari.
Al contrario di quanto accadeva nel manuale del 2000 in cui Hierarchy of Objectives era descritto nel glossario, ma non esisteva all’interno del libro, in questo caso il termine è più volte utilizzato nel manuale, ma non ha nessuna corrispondenza nel glossario.
Beneficiaries
Are those who benefit in whatever way from the implementation of the project. Distinction may be made between:
44 Target group(s): the group/entity who will be immediately positively affected by the project at the Project Purpose level;
Final beneficiaries: those who benefit from the project in the long term at the level of the society or sector at large, e.g. “children” due to increased spending on health and education, or “consumers” due to improved agricultural production and marketing.
Intervention Logic
The strategy underlying the project. It is the narrative description of the project at each of the four levels of the ‘hierarchy of objectives’ used in the Logframe.
Outcome
In ROM outcomes are the benefits of a target group as a consequence of the project’s output. Example: The skills and knowledge acquired by the participants of a workshop on irrigation methods organized by a project. This is the type of result focussed on under effectiveness.
Output
In ROM outputs are the tangible goods and services a project delivers to the target group, e.g. vaccines, training workshops, roads and bridges built, etc... This is the type of result focused on under efficiency.
Overall Objective (aka ‘goal’)
The Overall Objective explains why the project is important to society, in terms of the longer-term benefits to final beneficiaries and the wider benefits to other groups. They also help to show how the project/programme fits into the regional/sector policies of the government/organisations concerned and of the EU, as well as into the overarching policy objectives of EU cooperation. The Overall Objective will not be achieved by the project alone (it will only provide a contribution), but will require the contributions of other programmes and projects as well.
45
Project Purpose (also known as Specific Objective)
The central objective of the project. The Purpose should address the core problem(s), and be defined in terms of sustainable benefits for the target group(s). For larger/complex projects there can be more than one purpose (i.e. one per project component).
Results
The term “results” is used in different, sometimes seemingly contradictory ways in the language of aid delivery. In the Logframe Matrix hierarchy of objectives as spelt out in the PCM, Results are the tangible products/services delivered as a consequence of implementing a set of Activities. ROM and some other donors and EU programmes refer to these results as ‘Outputs’ and distinguish them from