Tecniche di valutazione

Per arrivare ad individuare quale metodo sia più appropriato alla situazione in essere, utilizzeremo come base un documento delle Commissione Europea denominato "Evaluation Methods for the European Union's External Assistance - Evaluation Tool, vol. 4". L'obiettivo del metodo proposto dalla Commissione Europea è riassumibile in questo asserto: "l'obiettivo della valutazione è quello di produrre raccomandazioni operative

supportate da solide conclusioni che si basano su criteri di valutazione chiari, informazioni solide e concrete e argomentazioni razionali. Le conclusioni della

valutazione devono essere basate su una dimostrazione rigorosa. Mezzo essenziale è la creazione di un metodo ad hoc. Tale metodo deve consentire, nel contesto specifico del processo di valutazione, di raggiungere gli obiettivi della valutazione. Esso si basa sull'utilizzo di appropriati strumenti di valutazione". Tale asserto non può che essere

totalmente condiviso.

La Commissione svolge le valutazioni per diversi motivi: stabilire se sono stati realizzati gli obiettivi auspicati e analizzare i possibili effetti indesiderati, verificare che gli obiettivi siano stati realizzati usando solo le risorse strettamente necessarie, trarre lezione delle esperienze passate al fine di migliorare gli interventi futuri, accrescere la trasparenza e la responsabilità della UE e dei suoi operatori. Il documento citato individua diversi strumenti di valutazione (14) esaminandone vantaggi e svantaggi. L'elenco comprende:

1. Diagramma Obiettivi 2. Diagramma di Impatto 3. Diagramma Problemi 4. Diagramma Decisioni 5. Interviste/colloqui 6. Focus Group 7. Indagine/questionari 8. Caso studio 9. Analisi SWOT 10. Indicatori di contesto 11. Gruppo di esperti

12. Analisi culturale e sociale 13. Analisi multi-criterio 14. Analisi costi-benefici

I primi quattro strumenti vengono utilizzati in fase di impostazione di un nuovo progetto consentendo di definire obiettivi, strategie complesse e macro-attività. Sono strumenti di primo intervento, di alto livello, applicabili a grandi progetti internazionali in particolare ove il contesto sia poco conosciuto per mancanza di dati certi (tipico i paesi del Centro

Africa), hanno l'obiettivo di consentire di impostare una analisi, in particolare quando il progetto sia poco o affatto conosciuto o poco indagato.

L'intervista (di solito faccia a faccia, usualmente poco strutturata) è uno strumento semplice e veloce da utilizzare, serve a raccogliere un primo livello di informazioni: ha il difetto di dover essere controllato e di avere di solito poca rappresentatività (per il basso numero di intervistati).

Il focus group richiede di individuare un gruppo di persone (fra cui un moderatore) rappresentative del problema e con differenti punti di vista: strumento molto veloce da attuare ma che porta solo ad informazioni di tipo qualitativo e non quantitativo e quindi non si presta ad analisi statistiche.

Il sondaggio richiede la creazione di un questionario strutturato, consente di raggiungere un campione rappresentativo del contesto (quindi consente indagini statistiche) ma richiede tempo per la creazione del questionario e per la raccolta ed analisi dei dati.

Il gruppo di esperti (specialisti indipendenti e riconosciuti in almeno un campo in esame) presenta molto spesso il problema di essere influenzato da un esperto "dominante" e quasi sempre sottovaluta il punto di vista delle minoranze, spesso non o poco rappresentate. Il caso studio si applica ad uno o più esempi concreti. Risulta di grande efficacia in tutte le situazioni complesse, fornisce un quadro affidabile, basato su interviste, dati statistici, documenti e osservazioni sul campo. L'applicazione richiede personale esperto e un significativo investimento economico; le difficoltà risiedono nella generalizzazione (ad esempio all'intero Paese) e, non basandosi su dati numerici, sul corretto giudizio dei valutatori.

Gli indicatori di contesto (o di programma o di valutazione) sono tipici dei servizi statistici nazionali, forniscono informazioni sulla situazione di un parametro e la sua evoluzione in una Nazione: questi sono parametri standard, definiti a livello internazionale (ONU, Banca Mondiale, OCSE, ...) facili da confrontare anche in contesti differenti.

L'analisi SWOT è uno strumento di analisi strategica permettendo di valutare in un unico quadro sintetico i punti forti e deboli di una organizzazione, opportunità e minacce provenienti dal mondo esterno. Questo tipo di analisi consente, minimizzando i punti

deboli e massimizzando le opportunità, di formulare una o più strategie per lo sviluppo dell'organizzazione stessa.

Le analisi multi-criterio consentono invece di svolgere delle comparazioni fra progetti o di confrontare parametri eterogenei; usualmente è una analisi preventiva che consente quindi di valutare gli impatti relativi fra diversi programmi di intervento, permettendo di eseguire le scelte strategiche di intervento. Questo tipo di analisi è piuttosto complesso e richiede tempi di esecuzione decisamente importanti.

Le analisi costo-efficacia (o costi-benefici) consentono di valutare il metodo economicamente più efficiente per raggiungere un obiettivo; fornisce indicatori quantitativi utili per selezionare fra le diverse metodologie e offre il vantaggio di utilizzare un unico parametro (l'efficacia) per determinare gli interventi da attuare: in pratica è una metodologia di analisi economica, di non facile implementazione, che trascura risultati secondari, ma che offre una visibilità e misurabilità dell'intervento che non ha riscontro in tutte le altre metodologie esaminate.

Da questa sintetica analisi, necessitando il presente studio di dati quantitativi ovvero analizzabili statisticamente, risulta che gli strumenti a disposizione, nel contesto geografico in cui lo studio si muove, risultano essere tre:

 l'intervista, che consente di rilevare informazioni e parametri nelle situazioni in cui i metodi di analisi non sono ancora consolidati;

 il questionario, che consente di raggiungere potenzialmente un elevato numero di interlocutori (in particolare via web) e consente di attribuire ad ogni domanda dei punteggi, indagabili quindi con metodi statistici;

 la SWOT analysis che consente invece di avere il punto della situazione in un determinato momento in un determinato contesto, permettendo di individuare in quale direzione l'azione futura deve tendenzialmente muoversi.

Il presente lavoro così come è stato implementato, e descritto in seguito, utilizza principalmente un mix di due metodologie, l’intervista e il questionario (cap....); inoltre, al fine di tracciare possibili sviluppi del presente lavoro, viene riportato il risultato della applicazione di una analisi SWOT (cap....).