Introduzione alle metodologie di valutazione

In linea di principio, una metodologia di valutazione deve essere costruita su uno schema generalmente accettato sia dalla letteratura che dalle Istituzioni coinvolte a diverso titolo nel processo di valutazione (ad esempio, la Commissione Europea), e deve contenere i seguenti elementi: l'oggetto della valutazione, i momenti, lo scopo, i ruoli degli attori coinvolti ed il metodo di valutazione.

L'oggetto della valutazione potrebbe essere specificato dalla risposta alla domanda “cosa dobbiamo valutare?”. Viene definito con riferimento al territorio, al periodo che verrà preso in considerazione ed alla rete normativa applicata. Esempi di obiettivi di processi valutativi potrebbero essere: “tutti i fondi allocati dall'Unione Europea per l'America Latina dal 1998” o “la pianificazione delle azioni di sviluppo locale in Albania negli ultimi quattro anni”.

Un secondo perimetro dovrebbe chiarire le azioni connesse e gli elementi di contesto da prendere in considerazione, in particolare per l'analisi di coerenza esterna. Dalla metodologia di valutazione deve emergere il raggio, l'estensione della valutazione ai fini di identificare le aspettative degli stakeholder e di definire in modo chiaro le priorità del processo di valutazione, assicurandosi nello stesso tempo che i valutatori non sprecano le risorse in aree di interesse secondarie. Il raggio della valutazione deve contenere in termini di area di riferimento il perimetro, cioè una valutazione globale, di una regione, di un paese o di una o più aree all'interno di un paese; in termini di tempistica, si deve specificare il periodo per il quale la valutazione fa riferimento (valutazione ex-post o durante il secondo e terzo anno di implementazione di un intervento); inoltre si

dovrebbe fare riferimento anche al settore o settori nei quali la valutazione verrà realizzata.

La scelta di uno dei tre momenti della valutazione (ex-ante, in itinere o ex-post) oppure di realizzare tutti i tre momenti deve essere realizzata considerando le risorse a disposizione per realizzare il processo di valutazione ai fini di ottenere il maggiore valore aggiunto, assicurandosi che i risultati e gli impatti sono prevedibili e la raccolta dei dati da analizzare sarà utile ai fini proposti e che gli stakeholder possono essere interpellati durante il processo di valutazione.

In seguito si ritiene utile sottolineare alcune precisazioni nel contesto della domanda (perché valutare?”; le risposte è possibile indicarle su tre piani: per i fruitori della valutazione, i quali possono essere rappresentati dalle amministrazioni, dai manager incaricati con l'implementazione di un intervento, dai finanziatori, dalla società civile o altri esperti; una seconda risposta potrebbe essere rappresentata dallo scopo della valutazione che può indossare la forma di assistenza nel processo decisionale, assistenza in un altro processo di valutazione oppure per aumentare il livello di conoscenze o capire meglio i risultati di certe azioni; l'ultima risposta (alla quale anche l'Unione Europea attribuisce sempre più importanza; si veda la sezione External cooperation

programmes sul sito della Commissione Europea) e la disseminazione dei risultati

(aspetto già sottolineato anche nella parte del presente lavoro dove si presenta l'approccio OCSE alla valutazione).

Al livello europeo, per quanto riguarda il processo di valutazione riguardante un intervento finanziato con fondi UE, devono essere definiti anche i ruoli dei partecipanti al processo di valutazione; essi sono rappresentati dall'”evaluation manager” che dirige il processo di valutazione dall'inizio alla fine, dal “gruppo di riferimento” costituito dai membri della Commissione che in un secondo momento offrono assistenza e controllano il processo di valutazione; un altro gruppo di partecipanti è rappresentato dal gruppo di valutazione esterna, con i compiti di raccogliere i dati e analizzarli, nonché formulare giudizi; questo gruppo è responsabile della realizzazione del rapporto di valutazione e comunica regolarmente al gruppo di riferimento il loro lavoro di valutazione. Per quanto riguarda la qualità della valutazione, se il “evaluation manager” non ha sufficiente esperienza si può avvalere di un esperto esterno. Infine, la seguente considerazione è rappresentata dal gruppo costituito dagli stakeholder; alcuni di loro possono essere coinvolti nel “gruppo di riferimento”.

Infine, l'ultimo elemento considerato è rappresentato dal metodo di valutazione. Il metodo deve analizzare la strategia d'intervento in contesto razionale ed in contesto

logico; la razionalità dell'intervento deve stabilire le priorità delle politiche nelle quali l'intervento e collocato, stabilire i bisogni e gli obiettivi e giustificare le scelte in relazione alle alternative: la logica dell'intervento, invece deve spiegare come l'intervento raggiunge gli effetti desiderati. In seguito il metodo di valutazione deve considerare i riferimenti ed i criteri di giudizio, il disegno metodologico (la strategia per la raccolta dei dati, la selezione dell'area di riferimento, stabilire gli strumenti di valutazione, stabilire un piano di lavoro), la selezione e l'analisi degli indicatori ed infine il giudizio e l'analisi di qualità della valutazione.

Il processo di valutazione rappresenta un’attività di ricerca complessa ed i livelli di analisi, le metodologie ed i parametri considerati possono variare molto e pone il valutatore in situazioni spesso difficili, a partire dall’identificazione dell’oggetto da valutare, monitorare i cambiamenti, eventualmente utilizzare elementi di confronto, fino ad arrivare a analizzare l’effetto con la causa. Spetta al valutatore la scelta dei metodi e degli strumenti più idonei da utilizzare, collaborando nello stesso tempo con i principali stakeholder per conoscere il meglio possibile anche le loro aspettative ai fini di formulare il giudizio finale sulla possibilità dell’interventodi raggiungere i risultati previsti.

Nel presente capitolo vengono presentati i più diffusi strumenti di valutazione il cui uso è consolidato nella prassi. La tabella successiva li elenca specificando per ognuno di essi alcuni aspetti relativi al grado di complessità ed alle difficoltà appplicative, aspetti che possono agevolare il processo di identificazione delle metodologie da utilizzare, singolarmente o congiuntamente, nella valutazione dei progetti.

Tabella 6 - Metodologie di valutazione consolidate

Metodologia Fabbisogno di dati ed informazioni

Grado complessità

Durata del procedimento

SWOT Medio (dati; informazioni

qualitative anche soggettive)

Medio-Basso Medio-Basso

CBA Alto (richiede metodologie

complesse, tempi lunghi ed alti costi; difficoltà nelle stime)

VAI- VAS – VALSAT

Alto (richiede dati ambientali che richiedono rilevazione costose e tempi lunghi)

Alto Alta

RAM Medio (indagini ad hoc

relativamente economiche, consultazione di attori di diversa estrazione; tempi brevi, dati qualitativi)

Medio-Basso Medio-Basso