Al fine di consentire la valutazione degli outcome, la presente ricerca si avvale dell‟approccio Outcome Harvesting(da qui in poi OH) per mettere in risalto le dinamiche di cambiamento che consentono il funzionamento dei programmi oggetto di studio.
L‟OH si concentra sulla tracciabilità dei cambiamenti messi in atto dagli stakeholder177. Tale approccio è stato proposto nel 2012 da
Ricardo Wilson- Grau e Hearther Bitt per conto della Fondazione Ford per il Medio Oriente e il Nord Africa come uno sviluppo dell‟approccio valutativo dell‟Otucome Mapping178
.
Secondo una definizione offerta da Wilson- Grau , l‟OH si configura come un metodo che consente ai valutatori, di identificare,
formulare, verificare e rendere conto dei risultati di un programma179. Tale metodo intende l‟outcome come un cambiamento che si verifica nel comportamento, nelle relazioni, nelle azioni, nelle attività, nelle politiche o nelle pratiche di un individuo, di un gruppo, di una comunità di una organizzazione o di una istituzione180.
All‟interno dell‟ approccio OH gli otucome non sono valutati sulla base dei progressi messi in atto dal programma, ma delle capacità di attivazione dei partner; ne consegue, dunque, che è principalmente
177
G.TOMEI (2016), ibidem. p. 123.
178“L‟OM costituisce un metodo per programmare e valutare l‟attivazione dei partner
coinvolti nel programma di comportamenti responsabili e orientati al miglioramento del benessere umano ed ecologici del contesto di riferimento” G. Tomei (2016:65).
179
R. WILSON- GRAU and H.BRITT (2013), “Outcome Harvesting”, Ford Fondation, Cairo
http://www.managingforimpact.org/sites/default/files/resource/wilsongrau_en_outome_ harvesting_brief_revised_nov_2013.pdf.
99
importante concentrarsi sulle dinamiche che si sviluppano al di fuori della sfera di controllo181 del progetto.
Gli stessi ideatori dell‟OH paragonano il proprio metodo ad una scienza forense in quanto ci si concentra, in particolar modo, sui fattori di rilevanza che rispondono a specifiche domande di indagine (Che cosa è successo? Chi ha contribuito in questo? E in che modo? Perché è successo?).
L‟OH può essere utilizzato sia in fase di monitoraggio che di valutazione; in particolare si ricorre al metodo quando l‟obiettivo è cercare di capire come gli otucome individuali contribuiscono ad attuare modifiche più ampie all‟interno del sistema182.
Il lessico dell‟OH individua come harvester users i principali utilizzatori del programma, il change agent come l‟attore del cambiamento, l‟ audience in coloro che sono coinvolti in modo indiretto dai risultati della valutazione, mentre il ricercatore che svolge l‟indagine è l‟harvester183
.
Il metodo OH si conduce attraverso sei step principali184:
1) Disegno
2) Raccolta dei dati e prima descrizione degli outcome 3) Coinvolgimento degli attori
4) Convalida
181 “Il programma per sua natura può “controllare” direttamente solo il
comportamento del personale che contratta e quindi dirige attraverso la disposizione di regole, l‟allocazione di risorse, la previsione di sanzioni. Questa sfera di controllo non è in grado di garantire l‟efficacia di un programma, di cui tuttavia costituisce prerequisito necessario, derivando da questa la capacità di introdurre dei fattori di stimolo alla trasformazione del sistema sociale in cui il programma opera” (Tomei,
2016: 67)
182R. WILSON-GRAU (2013) , ibidem. 183
G. TOMEI (2016), ibidem, pp. 124-125.
100
5) Analisi e interpretazione 6) Supporto all’uso dei risultati
Nel primo step sono individuate le domande utili per la ricerca. Viene definito il fuoco di indagine concentrandosi direttamente sugli ipotetici otucome, sulla base di una ricerca preliminare guidata dallo studio di fonti documentali attendibili. L‟essenziale è garantire la credibilità dei dati, che devono essere estrapolati da fonti attendibili interne ed esterne al programma stesso.
Raccolti i dati , si procede ad una prima descrizione degli otucome sulla base delle fonti inizialmente individuate. In questa fase l‟harvester deve cercare di rispondere alle domande preliminari di ricerca e dovrà concentrarsi su tutti i cambiamenti individuati all‟interno delle relazioni e delle attività degli harvester users. La descrizione deve consentire agli otucome di possedere alcune caratteristiche, che il manuale sintetizza nell‟acronimo SMART: specifici, affidabili, rilevanti e tempestivi.
La terza fase prevede il coinvolgimento dei change agents per la precisazione delle descrizioni. La difficoltà di questa fase è che gli attori intervistati si concentrano più su quello che è stato prodotto dal programma e difficilmente sui cambiamenti che sono stati attuati all‟interno dello stesso. Per riuscire ad inquadrare meglio gli
outcome, è utile contestualizzare i processi di cambiamento e
costruire insieme agli attori una teoria del programma. In tal modo il fuoco della riflessività si concentra direttamente sulle azioni messe in atto per poter attivare tutti i processi di cambiamento del programma. Essenziale è la condivisione della visione degli outcome tra gli agenti di cambiamento e gli analisti, solo così è più facile inquadrare la logica di funzionamento degli outcome e il loro significato
101
all‟interno del programma. Il patto tra l‟harvester e i change agents è il mezzo essenziale per poter sviluppare l‟indagine. Durante questo
step bisogna stare attenti a non concentrarsi su outcome non
verificabili e che agiscono in modo deterministico sul programma- ricordiamo quanto sia essenziale in carattere di imprevedibilità dei
sistemi complessi nella lettura degli outcome!
L‟harvester si serve in questa fase della costruzione di una mappatura che viene continuamente aggiornata sulla base di quello che gli attori di cambiamento descrivono.
Dopo aver coinvolto gli agenti di cambiamento, l‟harvester continua la sua indagine al di fuori del contesto del programma; si avvia in questo modo la convalida degli outcome con un gruppo di esperti che sono esterni al programma. È importante verificare quindi la plausibilità degli outcome raccolti nello step precedente.
“ L‟obiettivo di questo step non è quello di negoziare una visione mediana tra le diverse opinioni raccolte, bensì quello di verificare gli outcome più credibili quanto comprovabili” (Tomei 2016:129).
La convalida dell‟outcome viene effettuata attraverso una procedura di validazione delle descrizioni: sulla base del maggior consenso tra i convalidatori, emergerà in gradi di plausibilità degli outcome. Il elevato grado di disaccordo non deve comunque escludere l‟outcome dall‟analisi di valutazione, in tal caso sarà richiesta dall‟harvester la formulazione di un giudizio da parte degli esperti in disaccordo.
L‟analisi e l‟interpretazione prevedono una operazione riflessiva da parte dell‟harvester, il quale cerca di connettere gli outcome e di spiegare quale cambiamento hanno comportato. Esistono tre modalità per analizzare gli otucome:
102
- Per singolo outcome, attraverso una narrazione dettagliata che racchiuda la storia, il contesto, il significato e gli attori influenzati nel processo;
- Per singolo agente, ovvero attraverso una descrizione riferita ad un gruppo di outcome riferiti ad uno specifico agente di cambiamento;
- Per programmi generali con agenti multipli, per cercare di capire quanto un insieme di outcome ,che si riferiscono ad un determinato agente di cambiamento, possano produrre dei profondi cambiamenti nel contesto di riferimento.
Conclusa l‟analisi gli harvester procedono all‟interpretazione della valutazione degli outcome; tale operazione può concludersi con l‟elaborazione di:
- Una teoria del cambiamento, ovvero una teorizzazione che spieghi il collegamento tra i comportamenti degli agenti e gli effetti che ne scaturiscono;
- Una rappresentazione degli spazi di cambiamento che inquadri gli outcome su due assi sulla base del loro livello di complessità e alla della loro formalizzazione. Nel primo caso gli otucome sono posizionati tenendo conto del cambiamento individuali e di sistema che sono riusciti a generale. Per quanto concerne la formalizzazione, gli otucome sono rappresentati rispetto al cambiamento formale o informale sono riusciti a produrre.
- Una visione fedele all‟approccio sistemico, ossia cercando di raggruppare gli outcome sulla base di quei meccanismi che hanno attivato il processo di cambiamento.
L‟ultimo step consente all‟harvester di riportare i risultati della valutazione agli osservatori, ciò consentirebbe da una parte di
103
comprendere le dinamiche di cambiamento e dall‟altra di orientare l‟operatività dei decisori del programma. È opportuno riconoscere il relativismo delle evidenze: i risultati della valutazione possono essere parziali, pertanto il compito dell‟harvester è quello di offrire spunti di riflessione più che offrire delle raccomandazioni ai decisori del programma.
Come ogni metodo, lo stesso Wilson-Grau riconosce punti di criticità e di forza all‟interno del suo approccio185
. Tra i punti di forza dell‟OH possiamo riferirci alla sua capacità di:
- Correggere il fallimento del programma attraverso l‟analisi dei comportamenti involontari dei suoi fruitori;
- Usare un approccio che coinvolga gli stessi informatori; - Impiegare vari mezzi per raccogliere informazioni (interviste
face to face, workshop, comunicazioni telefoniche e
telematiche e documentazioni scritte).
- Poter offrire, allo stesso tempo, una visione generica del funzionamento del programma e una lettura dettagliata dei processi di cambiamento attraverso la descrizione degli
outcome.
Al contrario, i limiti dell‟approccio possono individuarsi:
- Nel bisogno di molto tempo e di impegno per raggiungere una buona qualità descrittiva degli outcome;
- Nella individuazione solo degli otucome di cui l‟informatore è consapevole;
185
104
- Nel fatto che gli haverster users che richiedono i risultati di indagine per prendere le decisioni sono anche ingaggiati all‟interno del processo.