Tesi di Laurea Magistrale in
SOCIOLOGIA E MANAGEMENT DEI SERVIZI SOCIALI
Outcome Harvesting: una metodologia di valutazione per la CPC
Network
Candidato Relatore
Francesca Azzarà
Prof. Gabriele Tomei
Anno Accademico
2016/2017
Indice
Abstract ...I
Introduzione ... II
Capitolo 1. La valutazione degli outcome ……… 1
1.1. Cenni storici ... 1
1.2. La valutazione: confini e finalità ... 4
1.2.1. Confini ... 7
1.2.2. Finalità ... 9
1.3. La valutazione nei sistemi complessi ... 10
1.3.1. La complessità ... 11
1.3.2. Gli outcome ... 17
1.4. Approcci valutativi ... 20
1.4.1. Devolopmental Evaluation (DE) ... 21
1.4.2. Outcome Mapping (OM) ... 23
1.4.3. Rapid Outcome Mapping Approach (ROMA) ... 28
1.4.4. Outcome Harvesting (OH) ... 31
Capitolo 2. L’Outcome Harvesting ... 33
2.1. In che cosa consiste dell’Outcome Harvesting (OH)?... 34
2.2. La metodologia dell’OH ……… 36
2.2.1. Step 1: Disegno ……… 38
2.2.2. Step 2: Raccolta dei dati e prima descrizione degli outcome ……….. 39
2.2.3. Step 3: Coinvolgimento degli attori di cambiamento nella precisazione delle descrizioni ………. 41
2.2.4. Step 4: Convalidazione ………. 42
2.2.5. Step 5: Analisi e interpretazione ……….. 43
2.2.6. Step 6: Supporto all’uso dei risultati ………. 46
2.3. Punti di forza e limiti dell’Outcome Harvesting ……….. 47
2.4. Differenze tra approcci valutativi ……….. 49
2.5. Gli ambiti in cui viene utilizzato l’Outcome Harvesting ………… 54
Capitolo 3. La Child Protection in Crisis (CPC) Network ... 57
3.1. La rete d’apprendimento CPC ... 57
3.2. I partner coinvolti dalla rete CPC ... 61
3.2.1.1. Burkina Faso ….………….……… 63 3.2.1.2. Colombia ………. 65 3.2.1.3. Liberia ……….66 3.2.1.4. Sri Lanka ………. 67 3.2.1.5. Indonesia ……….68 3.2.1.6. Uganda ………..72 3.2.2. Task Force ………..74
3.3. I metodi che la CPC utilizza per realizzare cambiamenti ………….80
Capitolo 4. Evaluation Report: Outcome evaluation of the global Child Protection in Crisis (CPC) Network 2008-2011 ……… 83
4.1. Il Team di valutatori ………... 83
4.2. Obiettivo e scopo della valutazione ………. 85
4.3. Metodi utilizzati dalla valutazione ………. 87
4.3.1. Sfide e limiti del progetto ………. 90
4.4. Le domande di valutazione ……… 91
4.4.1. Prima domanda di valutazione ……… 93
4.4.2. Seconda domanda di valutazione ………. 94
4.4.3. Terza domanda di valutazione ……… 95
4.5. I risultati di 137 prove delle dichiarazioni brevi e in piena regola………. 97
4.6. Risultati ottenuti dalle tre domanda……….…. 100
4.7. Conclusioni generali……….. 106
Conclusioni ... 109
Bibliografia ... 110
I
Abstract
Il seguente elaborato tratta il tema dell’Outcome Harvesting, uno strumento di monitoraggio e valutazione, che a differenza degli approcci precedenti, Devolopmental Evaluation, Outcome Mapping, e il ROMA, valuta i risultati in modo retrospettivo, ovvero raccoglie le prove di ciò che è stato raggiunto attraverso un programma, esaminando i cambiamenti avvenuti tramite esso, in tal modo da determinare se e come questo, ha prodotto dei cambiamenti a lungo o breve termine. Lo scopo di tale metodologia, dunque è capire come i risultati individuali contribuiscono a modificare il più ampio sistema di cambiamento.
In particolare in questo elaborato, si esamina come l’Outcome Harvesting può essere una buona metodologia di valutazione, per analizzare gli aspetti di efficacia e di influenza della rete d’apprendimento Child Protection in Crisis (CPC) Network. Più nello specifico, tale tesi, studia, attraverso un Report di valutazione condotto da alcuni valutatori principali, come la CPC influenza la Child Protection (CP- una rete che lavoro in favore della protezione dei bambini in situazioni di crisi) e i partner coinvolti, le Task Force (TF) e i Paesi prioritari, i quali svolgono un ruolo principale con i loro PLG (Program Learning Group- impegnati nella ricerca e nello sviluppo di programmi strategici per la risoluzione dei problemi sociali che scaturiscono all’interno dei paesi del sud). Durante quest’analisi vengono poste delle domande di valutazione principali le quali sono volte a capire come le reti di riferimento, le TF e i paesi prioritari, concepiscono il lavoro della CPC, e in base ai mezzi agli strumenti e ai servizi, come essa influenza i programmi delle reti, apportando dei giusti cambiamenti per risolvere problematiche inerenti alla protezione dei bambini in situazioni di crisi, in particolar modo, studia i cambiamenti che sono avvenuti nei paesi dell’Indonesia e dell’Uganda.
II
Introduzione
Durante il corso di “Programmazione e valutazione dei servizi sociali”, il tema sulla metodologia dell’Outcome Harvesting, è stato l’argomento che più di ogni altro ha suscitato in me maggiore interesse, tanto da volerne approfondire il suo processo tramite il presente elaborato.
Il contenuto di tale elaborato, verte in particolar modo sulla valutazione dell’efficacia e dell’influenza che la rete d’apprendimento Child Protection in Crisis (CPC) Network, ha sviluppato nei confronti della rete Child Protection; tale valutazione sviluppa un’analisi, su come quest’ultima, utilizza la CPC per influenzare e migliorare i programmi sulla protezione dei bambini in situazioni di crisi, in contesti geografici con particolari situazioni di disagio sia economico che di benessere.
Il primo capitolo tratterà, in linee generali, il concetto di valutazione e come essa può essere utilizzata per esaminare i sistemi complessi sociali. Sempre in questo primo capitolo, inoltre, soffermerò la mia attenzione, anche sulle varie metodologie di valutazione che in questi anni si sono sviluppate, evidenziando gli aspetti principali che li differenziano.
Nel secondo capitolo, verrà presentata la metodologia, dell’Outcome Harvesting (OH); una metodologia di valutazione ispirata dalla definizione del risultato del cambiamento nel comportamento, nelle relazioni, nelle attività di individui o gruppi. Tale metodologia è stata utilizzata per valutare i risultati di centinaia di reti, organizzazioni non governative, centri di ricerca, in tutto il mondo.
L’OH, è un metodo utile per trattare i contesti di programmazione complessa, quando, nello specifico, le relazioni di causa/effetto pienamente capite, è proprio su questo punto che il suo scopo verte, ovvero valutare come i risultati individuali contribuiscono a modificare il comportamento.
Il terzo capitolo, introdurrà la rete d’apprendimento CPC, analizzando la sua struttura organizzativa, i partner coinvolti le Task Force (Mezzi di sostentamento e rafforzamento economico; Valutazione e misurazione; Riduzione dei rischi di potenziamento dei sistemi e dei disastri) e i paesi in cui è attivo un Program Learning Group (PLG), (Burkina Faso, Colombia, Liberia, Sri Lanka, Indonesia e Uganda), e i meccanismi che utilizza per influenzare i cambiamenti.
III
Nel quarto e ultimo capitolo, verrà trattata la valutazione svolta attraverso l’Outcome Harvesting, sviluppata nell’Evaluation Report: Outcome Evaluation of the global Child Protection in Crisis (CPC) Network condotta dal gennaio 2008 a ottobre 2011.
In questo capitolo verranno raccolti dati inerenti all’efficacia e l’influenza che tale rete esercita sui suoi partner e sulle reti/organizzazioni, in particolar modo sulla Child Protection (CP), una rete organizzativa che si focalizza sulla protezione dell’infanzia in contesti svantaggiati. Inoltre si evidenzierà come la rete d’apprendimento elabora, tramite i suoi strumenti e servizi, cambiamenti nei programmi che riguardano la protezione dei bambini in situazioni di crisi nei paesi dell’Uganda e dell’Indonesia.
1
Capitolo 1
La valutazione degli outcome
1.1. Cenni storiciIl termine valutazione in senso etimologico, è il processo mediante il quale si attribuisce “valore” ad un oggetto, un’azione o un evento. La valutazione non è altro che l’espressione di un giudizio riguardo ad un fatto rilevante e significativo da parte di persone, gruppi, comunità o istituzioni.
Sebbene la storia della valutazione inizia da molto lontano, essa si manifesta con la veloce crescita economica, che caratterizza il secondo dopoguerra coinvolgendo gli Stati Uniti, negli anni ’60, e successivamente l’Europa; questo sviluppo, porta entrambi i paesi verso la democrazia e verso la nascita di uno stato sociale moderno, diffondendo benessere all’interno dei paesi stessi.
In questo scenario storico, i paesi in questione, in particolare gli Stati Uniti visto che, fino ad allora non vi era stata una tradizione di intervento pubblico negli affari sociale, dovettero riformulare il welfare state prestando più attenzione ai problemi della società, acquisendo metodi, strumenti di raccolta e analisi delle informazioni, per un’efficiente valutazione.
“Esistono diversi approcci alla valutazione: nonostante siano nati in momenti particolari essi sono tuttora tra noi. Tale molteplicità è una ricchezza di strumenti di cui si può servire il valutatore, che dovrà esercitarsi nella scelta tra di essi”. (Stame 2001a, 21)
In L’esperienza della valutazione, Nicoletta Stame (1998) ha elaborato una cronologia che riconduce lo sviluppo della valutazione a domande cruciali poste sull’evoluzione del welfare state in tre grandi periodi:
Il primo viene identificato dalla Stame “ottimismo dei programmi e ottimismo della valutazione”, questo periodo storico va dagli anni ’60 a metà degli anni ’70; insieme ai grandi programmi di “guerra alla povertà” e alle grandi sperimentazioni sociali, nascono l’approccio
positivista-2
sperimentale e quello pragmatista, ideati per affrontare i gravi problemi sociali scaturiti dalla seconda guerra mondiale. Il primo programma era scaglionato in obiettivi da portare a termine e venivano assicurati i mezzi tramite cui raggiungerli. Il compito della valutazione consisteva nel misurare e verificare se gli obiettivi erano stati portati a termine, poiché il programma era formulato su un’ipotesi di cambiamento desiderato; in questo ambito la valutazione tende a verificare se tale cambiamento è avvenuto, e se quest’ultimo è avvenuto per via del programma. In altre termini, tale approccio è impegnato a rispondere alla domanda “What Work?” ovvero “cos’ha funzionato?”, verificando la relazione causale diretta tra programma e risultati.
Pioniere dell’approccio positivista-sperimentale fu Donald Campbell, il quale proponeva tale approccio negli Stati Uniti come esperimento pilota da sottoporre a valutazione, per verificare l’efficacia1. I modelli impegnati erano
prevalentemente di tipo quasi-sperimentale, e consistevano nell’osservazione prima/dopo di diversi gruppi equivalenti cui veniva somministrati gli input2, ma senza gruppo di controllo.
Successivamente si sono sviluppati metodi sperimentali basati sul confronto tra situazione con/senza intervento, ottenuto tramite osservazioni nel corso dell’attuazione di un intervento (Palumbo,2001). Tuttavia, questo metodo non era facilmente applicabile, in quanto si riscontravano delle difficoltà nel trovare dati, e controllare gli effetti di altre possibili cause esterne al programma.
Uno dei limiti principali di tale approccio, è quello di riuscire ad identificare perché tramite un determinato input, vi è una modifica nel cambiamento ma, non è in grado di dire perché ciò non avviene.
1 Tale termine viene utilizzato per mettere in luce se un programma formativo,
attraverso i suoi interventi e gli obiettivi che si è prefissato, ha ottenuto o meno risultati positivi.
3
Nonostante i suoi limiti, viene considerato, ancora oggi, l’approccio per eccellenza, sia in ambito sociale che in programmi pubblici.
Il secondo periodo a cui si riferisce la Stame è quello che va dalla metà degli anni ’70 a metà degli anni ’80, definito “pessimismo dei programmi e scontro sulla valutazione”. Nasce in questo periodo l’approccio costruttivista- del processo sociale, il quale non è altro che un rinnovo di quello precedente, in quanto in questo periodo viene fatta più attenzione al processo di implementazione e alle influenze del contesto. L’approccio costruttivista sostiene che non esiste realtà al di fuori delle rappresentazioni sociali degli attori. È un approccio ermeneutico che valorizza la qualità, e diventa un processo di negoziazione. Tale approccio si rifà a una serie di modelli (Palumbo,2001). I pionieri dell’approccio costruttivista sono da una parte, Guba e Lincoln (1992) i quali annunciano l’arrivo della “quarta generazione”, “una forma di valutazione in cui le dichiarazioni, le preoccupazioni e le questioni degli stakeholder fungono da fuochi organizzativi” (Guba, Lincoln, 1989). L’assunto di base di tale modello, consiste che tutti gli attori sono chiamati a co-costruire conoscenza; un altro modello è quello proposto da Fetterman et al. (1996) l’empowerment evalutation”3, e infine, quello proposto da Patton (1986) “la
valutazione orientata all’utilizzatore”4.
Al di là delle ovvie differenze, tutti questi modelli hanno in comune un’attenzione al contributo dei vari attori, e a cosa un programma diventa mentre viene attuato, molto più che a come è stato disegnato (Palumbo,2001: 32).
Il terzo periodo va dalla metà degli anni ’80 in poi, definito dalla Stame “scomposizione dei programmi e pluralismo della valutazione”. In questo scenario viene posta molta attenzione sull’utilizzazione delle valutazioni da parte degli stakeholder,
3 La sua finalità è quella di insegnare alle persone a condurre da sole la valutazione
dei programmi in cui sono coinvolti, in modo da renderli autosufficienti.
4 Il suo scopo è promuovere la democrazia deliberativa nelle società democratiche
4
amministratori e beneficiari. In questo caso l’approccio pragmatista viene integrato con l’attenzione alla qualità, mentre quello costruttivista dialoga con filone provenienti dall’implementazione delle politiche, nasce così l’approccio pragmatista-della qualità” il quale tende a giudicare un programma in base a un determinato valore. Il fondatore è Scriven5, il quale sostiene che il giudizio di valore si scompone
in due aspetti: merit, o valore intrinseco ad un’attività (ovvero, qualità dell’attività); worth, o valore estrinseco (incontra i bisogni dei destinatari) (Scriven,1992). Questi giudizi devono essere utilizzati all’interno della valutazione.
Ciascuno di questi approcci, qui sopra elencati, ha una propria logica e quindi richiede strumenti appropriati. Difatti ogni approccio utilizza i propri metodi ovvero quelli più opportuni per il proprio operato. “La pratica della valutazione si va diffondendo sempre più anche in Italia, grazie alla spinta convergente di numerosi fattori, che la rendono progressivamente autonoma dalle discipline accademiche e dagli ambiti professionali in cui era nata, assegnandole crescente peso e visibilità” (Palumbo,2001).
1.2. La valutazione: confini e finalità
In questa sede si cercherà di dare una definizione chiara al concetto di valutazione, e in particolar modo si cercherà di spiegare il perché si valuta, i suoi strumenti e i suoi limiti.
Nel corso degli anni, si sono susseguiti diversi autori che hanno dato una propria definizione al termine valutazione:
Patton (1986) definisce la valutazione “la raccolta sistematica di informazioni sull’insieme di attività, caratteristiche e risultati di determinati programmi ad uso di particolari pubblici, finalizzata alla riduzione del tasso d’incertezza, al miglioramento dell’efficacia e
5 Scriven chiama l’approccio pragmatista-della qualità: “prospettivista”,
5
all’assunzione di decisioni su quello che i programmi stanno facendo e ottenendo”.
Bezzi (2001) “La valutazione è principalmente (ma non esclusivamente) un’attività di ricerca sociale applicata, realizzata nell’ambito di un processo decisionale, in maniera integrata tra le fasi di programmazione, progettazione ed intervento, avente come scopo la riduzione della complessità decisionale, attraverso l’analisi degli effetti diretti e indiretti, attesi e non attesi, voluti e non voluti, dell’azione, compresi quelli non riconducibili ad aspetti materiali”.
Nicoletta Stame: “la valutazione è un’attività di ricerca sociale al servizio dell’interesse pubblico in vista di un processo decisionale consapevole; ricerca legata ad un’azione pianificata per un obiettivo di cambiamento e finalizzata al miglioramento di quell’azione”
Palumbo (2001) definisce la valutazione in modo ampio come “un complesso di attività coordinate, di carattere comparativo, basate su metodi e tecniche delle scienze umane realizzata mediante procedure rigorose e codificabili”. “La valutazione è un’attività cognitiva rivolta a fornire un giudizio su un’azione (o complesso di azioni coordinate) intenzionalmente svolta o che si intende svolgere, destinata a produrre effetti esterni che si fonde con un’attività di ricerca delle scienze sociali e che segue procedure rigorose e codificabili”
Quest’ultima definizione di Palumbo (2001), è quella secondo il mio avviso, più completa. Al fine di rendere più comprensibile il significato della valutazione, attraverso questa definizione, cerca di spiegare alcuni elementi molto importanti ovvero l’oggetto, le finalità e le procedure (Palumbo,2001):
1. L’oggetto: non esiste se non vi è un contesto decisionale6 che produce
un’azione, un intervento, o un complesso d’interventi7; questo contesto,
6 La decisione è la messa a punto di obiettivi, strategie e mezzi; si tratta di un
processo attraverso il quale si identificano obiettivi e indirizzi, si individuano le strategie attraverso le quali le organizzazioni che vengono gestite, devono raggiungere gli obiettivi prefissati e si allocano le risorse necessarie per poter proseguire quelle strategie.
7 La valutazione deve riguardare un intervento o complesso di interventi: 1)
6
viene identificato da molti autori nell’ambito pubblico8; ovviamente
l’oggetto sarà diverso in base al campo di valutazione e alle categorie di attori che verranno scelti.
2. La Finalità: caratterizza la valutazione in quanto dà un giudizio sul suo oggetto. Il giudizio deve rispettare e deve essere fondato su criteri coerenti all’oggetto9, al contesto ed elaborato attraverso procedure
scientifiche. In altre parole, la principale finalità della valutazione, non è altro che fornire un giudizio argomentato, riguardante l’oggetto in questione. La valutazione si caratterizza per il fatto di (Palumbo, 2001: 60):
a. Esprimere un giudizio;
b. Fondato su criteri e premesse di valore espliciti ed argomentati; c. Riferito a una o più caratteristiche o proprietà dell’oggetto;
3. Procedure: consistono in metodi, tecniche e strumenti di comparazione10
che vengono sviluppati all’interno di un processo coerente.
Nelle procedure possono essere inserite diverse serie di attività, tecniche e strategie, ciascuna con il proprio scopo, includendo, inoltre, attività che non sono strettamente collegate alla ricerca valutativa.
Rossi, Freeman e Lipsey (1999) hanno definito “la ricerca valutativa come l’applicazione sistemica delle procedure della ricerca sociale alla
esplicita o conoscibile dall’esterno; 2) volto ad incidere sull’esterno, quasi sempre su soggetti terzi rispetto a chi lo decide o attua; 3) che impieghi risorse e strumenti, di varia natura specificatamente ed esplicitamente destinati a realizzarlo e organizzati di conseguenza (Palumbo, 2001: 59, 60).
8 Dal livello istituzionale del Comune a quello dell’Unione Europea o delle Nazioni
Unite.
9 Utilizza il termine “coerenti” per evidenziare che ogni valutazione ha un proprio
scopo.
10 La valutazione si fonda su un robusto supporto scientifico, se non fosse così non si
distinguerebbe affatto dalla quotidianità che viviamo, visto che il comportamento umano intenzionale produce anch’esso dei giudizi, senza tener conto della scientificità. In altre parole, ciò che distingue il processo di valutazione e la quotidianità è il “rigore procedurale” (Palumbo, 2001: 51) il quale è assimilabile al procedimento scientifico. Per questo motivo si può sostenere che la valutazione si fonda su una logica di comparazione fra elementi (Palumbo,2001: 53). A questo punto, però, bisogna fare un’altra distinzione tra la “ricerca valutativa” e la “valutazione; rispettivamente, per “ricerca valutativa” si intende quella parte di raccolta e analisi delle informazioni utili per esprimere giudizi; mentre per “valutazione” si intende l’attività che può comprendere anche persone non preparate sul piano scientifico ma interessate ad esprimere giudizi utili per la valutazione finale (Palumbo, 2001: 51).
7
valutazione della concettualizzazione, del disegno, dell’implementazione, dell’utilità dei programmi d’intervento sociale”
Si può concludere sostenendo che: le procedure sono attività di comparazione, all’interno di un processo di ricerca sociale, e le azioni sono condotte tramite procedure previste dalla ricerca.
La valutazione è dunque un complesso di attività coordinate, di carattere comparativo, basate sulla ricerca delle scienze sociali e ispirate ai suoi metodi, che ha per oggetto interventi intenzionali e in quanto tali dotati di razionalità strumentale o sostantiva, con l’obiettivo di produrre un giudizio su di essi in relazione al loro svolgersi o ai loro effetti (Palumbo, 2001: 61).
1.2.1. Confini.
La valutazione è un giudizio basato sulla raccolta e sull’interpretazione11 di
informazioni, e si configura pertanto come un processo di ricerca. Per comprendere meglio la valutazione, bisogna fare alcune distinzioni tra monitoraggio, valutazione e audit in quanto sono attività complementari tra loro ma allo stesso tempo diversi. La valutazione, difatti, comprende al suo interno l’attività di monitoraggio. La Stame (1996) cerca di dare una propria definizione del termine monitoraggio, ovvero: “il monitoraggio è un sistema di raccolta di informazioni […] che possono essere utilizzate anche per la valutazione” (p.7, n. 10). Questa definizione, ci suggerisce che il sistema di monitoraggio sono strutturati in una prospettiva di valutazione, in particolare nella valutazione in itinere12.
Il monitoraggio è incentrato sugli aspetti che rappresentano la chiave per conoscere l’andamento dell’attività e dell’efficienza interna al progetto e al programma (Palumbo,2001), fornendo un controllo regolare e costante
11 Deve essere coerente, plausibile e deve essere formulata tramite una serie di
argomentazioni, le quali eventualmente potrebbero essere confutabili.
12 Il termine in itinere è uno dei processi attraverso il quale viene effettuata la
valutazione. Essa sviluppa in tre momenti: ex ante, è previsionale, si effettua una prima valutazione del programma (in linee general); in itinere, si effettua una valutazione durante una prima pianificazione del programma, in tal modo da capire se il programma in questione sta avendo i risultati attesi; ex post, ha un compito riepilogativo, capire quali effetti ha avuto, se gli obiettivi sono stati raggiunti o meno, e in tal modo da correggere eventuali errori.
8
dall’inizio alla fine. In sé il monitoraggio non implica funzioni critiche di analisi, riflessioni e interpretazioni, in quanto fanno a capo alla valutazione.
Il monitoraggio è importante all’interno della valutazione visto che contribuisce a facilitare il processo di gestione, rende comprensibile e rafforza la credibilità del progetto; tuttavia per far ciò, necessita di una serie di condizioni:
Deve essere delineato nella fase iniziale;
Deve essere strutturato attraverso indicatori controllabili in maniera oggettiva;
Deve garantire il controllo
Deve assicurare la partecipazione di tutti gli attori coinvolti. A questo punto è importante soffermarci sul termine “indicatore”. L’indicatore è una grandezza con la quale si decide convenzionalmente di misurare la presenza o il valore di una determinata qualità astratta del fenomeno osservato. Sono strumenti che vengono utilizzati all’interno dell’attività di monitoraggio, e successivamente dalla valutazione, per fornire dati utili per la gestione del progetto, permettendo di migliore il processo decisionale, promuovere una maggior efficienza e produrre risultati più rilevanti. Al fine di misurare e valutare ogni elemento inerente al progetto è bene fin da subito definire gli indicatori specifici e rilevanti.
Tornando al tema dei confini della valutazione, come detto in precedenza, oltre a fare una distinzione tra monitoraggio e valutazione, è bene farla anche tra audit e monitoraggio.
L’audit è un accertamento dei fatti e dei processi di base rispetto a livello di attività, e della spesa ad essa contrattualmente associata, nel corso dei singoli progetti (Palumbo,2001). In generale, si concentra solo su questioni normative (conformità a norme e regolamenti). È un’attività tipica del mondo aziendale, che istruisce una serie di verifiche in itinere, le quali influiscono sulla qualità di una determinata struttura.
Secondo Eleanor Celimsky (1985) la confusione che si avverte tra i tre termini è dovuto al fatto che la valutazione esamina tre quesiti (Palumbo,2001):
1) Descrittivo: relative non solo agli input e agli output del programma o dell’intervento, ma anche ai suoi risultati;
2) Normativo: se il servizio del programma viene svolto secondo gli standard, norme e regolamenti;
9
3) Causale: se il programma ha raggiunto gli obiettivi che si era prefissato.
Si può rafforzare la tesi, per cui, l’audit non implica questioni descrittive o causali, ma principalmente normative (Clarke, 1999). Mentre, per quanto riguarda il monitoraggio “è costituito da una rilevazione sistemica di dati su eventi rilevanti per il programma” (Phillips et al., 1994).
1.2.2. Finalità.
Nel paragrafo precedente ho esaminato le caratteristiche della valutazione, dando un breve accenno alle finalità. Qui verranno esaminate in maniera più dettagliata le diverse finalità della valutazione che esistono.
Le finalità sono strettamente collegate alle concezioni della stessa valutazione che sono state proposte nel tempo. In tal caso è molto importante la dimensione cronologica che viene data alla valutazione, come propone il MEANS13 (C.E. 1999, I), ogni concezione è caratterizzata dalla finalità che
assegna alla valutazione e dalle relazioni con i diversi attori implicati nel processo valutativo che da tale finalità derivano (Palumbo,2001).
Per comprendere meglio le finalità della valutazione, Martini e Cais (2000) hanno elaborato un saggio nel quale vengono organizzati i diversi significati assegnati al termine valutazione in relazione a 5 diversi tipi di fabbisogni informativi della pubblica amministrazione, caratterizzati da una raccolta di informazioni per i seguenti scopi (Martini e Cais, 2000: 407, tratto da Palumbo, 2001):
a) Complicance: per rispettare le regole;
b) Management controll: tenere sotto controllo l’organizzazione; c) Accountability: rendere conto dei risultati ottenuti;
d) Learning: capire come e se gli interventi funzionano;
e) Policy and program design: orientare le scelte tra alternative di policy.
13 Si tratta di un acronimo di Methods of Evaluating Structural Policies, nonché di
MEANS for Evaluating Actions of Structural Nature, progetto promosso e coordinato dalla D.G. XVI/G2.
10
Ad ognuna delle finalità evidenziate essi ritengono siano riconducibili tipi diversi di attività valutative che comportano in tutto o in parte la necessità di utilizzare strumenti, tecniche e strategie diverse.
Tra le finalità qui sopra elencate, quella di learning, è particolarmente importante per la valutazione in quanto non migliora solamente i programmi, ma orienta l’attività di valutazione ed è strettamente collegata al principio del miglioramento continuo.
Mentre la finalità di accontability, fa sue le esigenze di trasparenza e controllo nei confronti del valutatore il quale deve:
a) Essere responsabile dell’uso della valutazione, ovvero responsabile del risultato che sarà al suo lavoro;
b) Deve essere eticamente e deontologicamente impegnato a redigere rapporti comprensibili.
Una buona valutazione è in grado di documentare quanto è stato fatto e come; in più è in grado di evidenziare gli eventuali fallimenti nel corso del programma, i quali possono essere scaturiti sia dai decisori ma anche da fattori esterni. Difatti, la funzione di documentazione riguarda non solo la trasparenza del decisore e degli attori presenti al programma, ma anche la trasparenza dei processi decisionali e attuativi (Palumbo,2001).
1.3. La valutazione nei sistemi complessi.
Le tecniche identificabili nella valutazione degli outcome, stanno all’interno di una riflessione che è maturata a partire dagli anni ’90 per poi trovare una loro affermazione nel 2000. I discorsi avvenuti in questi anni partono da una diversa concettualizzazione del tema della “complessità”, ovvero comprendere come la complessità sia una sfida e come la valutazione deve essere strutturata in maniera diversa rispetto ai modi con cui era consuetudine strutturarla.
La logica della programmazione14 e della valutazione dovrebbero
caratterizzare i processi decisionali nell’ambito pubblico, ovvero da una
14 È un’organizzazione di risorse per poter realizzare attività che seguono quelle della
11
sostanziale coerenza tra finalità, obiettivi, mezzi impiegati e risultati attesi (Palumbo, 2001: 137).
1.3.1 La complessità
La complessità sociale caratterizza la realtà contemporanea, nella quale operano determinati processi (Palumbo,2001):
L’aumento delle variabili in gioco nel determinare i comportamenti degli attori sociali;
La corrispondente diminuzione della capacità euristica delle cosiddette variabili strutturali o di appartenenza sui comportamenti individuali;
L’aumento del numero degli operatori istituzionali che agiscono nella sfera sociale, economica e politica;
La velocità con cui si diffonde il cambiamento nelle diverse sfere di attività dell’uomo.
Comprendere in modo scientifico il cambiamento sociale e i suoi caratteri di complessità costituisce un terreno aperto e vasto di indagine (Tomei, 2016). Una prima indagine fondamentale fu quella proposta da Simon (1947) il quale ci parla di “razionalità limitata”, ovvero le decisioni che un individuo prende sono limitate e condizionate dai contesti strutturali e relazionali nei quali essi stessi prendono forma.
Una seconda indagine, viene proposta da Boundon (1984), la sua critica si basa sul “determinismo sociale”. Nel campo del mutamento organizzativo, ogni sistema sociale è soggetto a cambiamento in base all’azione dell’ambiente circostante, con il quale i membri dello stesso sistema sociale interagiscono. (Tomei,2016).
“La causa principale della complessità dei sistemi sociali risiede nella riflessività degli attori sociali, ovvero nel fatto che essi incorporano nella loro azione rappresentazioni dotate di senso delle ragioni e dei presumibili effetti dell’azione stessa e, sviluppano riflessioni attorno agli esiti delle azioni svolte in precedenza alla luce di tali riflessioni orientano il loro agire futuro” (Palumbo,2001: 139).
Una terza indagine che costituisce un contributo fondamentale, è quella proposta da Giddens (1984), che parte dalla constatazione secondo la quale
12
“il bandolo del problema, comunque, è che la natura riflessiva della vita sociale invalida ogni esplicazione del mutamento sociale in termini di insieme semplice e sovrano di meccanismi causali” (1984/90: 230) […] “non esiste un meccanismo di organizzazione o riproduzione sociale identificato dagli analisti sociali che anche gli attori non sociologi non possano arrivare a conoscere e ad incorporare attivamente nelle cose che fanno” (Ivi: 274). In altri termini Giddens, definisce la coscienza di sé come “il monitoraggio riflessivo dell’azione” (Giddens, 1984: 5), ovvero l’esperienza individuale che si consolida nella collettività attraverso la routinizzazione istituzionalizzata delle pratiche sociali. Tramite queste esperienze gli individui della società supportano la complessità che caratterizza i sistemi sociali nella modernità. Questo monitoraggio riflessivo dell’azione di Giddens, ricade in maniera diretta sulla pianificazione15 e sulla valutazione, in quanto legittima la
necessità sociale di un sistema di monitoraggio riflessivo delle pratiche organizzative, in più ridefinisce la pianificazione sociale16 e la ricerca
valutativa.
Le politiche pubbliche sono un negoziato, in quanto non esiste un’intenzione che si traduce immediatamente in determinazione (causa-effetto), ma vi sono soggetti, contesti, attori, conflitti etc. che animano il sistema sociale. Per comprendere le ragioni del mutamento in situazioni di complessità, non bisogna riferirsi al modello di razionalità sinottico-cartesiano, ma bisognerebbe evidenziare modelli alternativi. Ragion per cui, entrano in gioco due modelli alternativi:
1) Dimensione strategica: secondo Mintzberg questa elaborazione è una riflessione intorno alla quale sono i processi che impattano sulle strategie, inserendosi fra il momento in cui qualcuno decide di realizzare un intervento e il momento in cui questo intervento viene realizzato effettivamente. Tra la decisione e la realizzazione vi sono dei processi che si intrecciano e richiamano l’uno con l’altro; l’autore ne ha identificati tre:
15 Processo mediante il quale si fissano gli obiettivi, di medio lungo termine, gli
strumenti e i mezzi per portarli a termine.
16 La realizzazione di una serie di azioni tra loro connesse per perseguire un obiettivo
di cambiamento nel sistema sociale, con il fine di dare una soluzione ai problemi rilevati all’interno della società.
13
Strategie non realizzate Intenzioni dei decisori
(strategie pianificate)
Strategie implementate
Strategie realizzate Strategie emergenti
Fig. 1 – Il processo di sviluppo strategico di Mintzberg17
“Le strategie realizzate (dove si finisce dopo un certo periodo di tempo) iniziano sempre come strategie previste (pianificate), ma non tutto ciò che si era previsto si realizza, alcune cose si disperdono o di annullano, diventando strategie non realizzate. Ciò che rimane, le strategie deliberate, incontra la strategia emergente e si trasforma nella strategia realizzata. La strategia emergente proviene dalla individuazione di nuove opportunità, ragione per cui alcune delle cose che erano state pianificate si annullano mentre nuove e migliori opportunità emergono” (Mintzberg in Patton, 2011: 48- 49).
2) La matrice di incertezza/conflitto: è un contributo schematico promosso da Brenda Zimmerman. La matrice costituisce uno strumento attraverso il quale è possibile gestire i sistemi organizzativi complessi sulla base di due caratteristiche “l’incertezza” delle conoscenze, e il “conflitto” che vi è tra i vari stakeholder circa la desiderabilità dell’intervento proposto per affrontare il problema.
Questa matrice ci aiuta a suddividere i programmi e soprattutto distinguerli per il loro livello di complessità, utilizzando per ognuno di essi particolari programmi e strumenti.
17 Fonte: Patton (2015)
14 ZONE OF COMPLEXITY Socially complicated AGEREEMENT Simple technically Complicated CERTAINT
Fig.2- Matrice di incertezza/conflitto18. Seguendo lo schema della Zimmerman, l’asse verticale
(agreement) descrive la dimensione politica dell’intervento, ovvero quando i diversi soggetti che partecipano a un determinato intervento sono d’accordo sul programma da portare a termine; l’asse orizzontale (certainty) definisce il grado di consenso che si ha tra i soggetti stessi. Nell’area evidenziata e definita “Simple”, la Zimmerman ci suggerisce che siamo nel caso in cui gli esperti e i soggetti che prendono parte all’intervento sono in accordo tra loro; in questi contesti i problemi sono affrontati mediante l’applicazione di programmi lineari19.
È diverso quando uno dei due assi non trova sufficiente consenso, e aumenta il grado di incertezza “Technically complicated”, ci troviamo del caso che la studiosa identifica con “complicato”. In questa sezione, la gestione della soluzione sarà, di trovare una programmazione non lineare, e che abbia una strategia non tecnica.
18 Fonte: Patton (2015).
19 Per spiegare i programmi lineari la Zimmerman propone come esempio quello della
“ricetta”, ovvero una volta testata, quella stessa ricetta (o in questo caso soluzione) può essere ripetuta più volte, in quanto il procedimento è sempre lo stesso.
15
Nel caso opposto “Socially Complicated”, ci sarà un forte consenso tecnico ma non ci sarà l’ooportunita di agire, in determinate situazione vengono utilizzati programmi complicati20.
Il tratto comune dei sistemi organizzativi complicati è quello di poter essere sempre ridotti a componenti più semplici, che potranno quindi essere gestiti attraverso la pianificazione e l’implementazione di micro-strategie. La Zimmerman per distingue i sistemi organizzativi che risultano gestibili tradizionalmente, evidenzia una zona, definita dalla studiosa “Zone of Complexity”; tale zona è caratterizzata da sistemi organizzativi che hanno allo stesso tempo un elevato livello di incertezza e di conflitto, questo è il caso che si presenta maggiormente nel campo delle politiche pubbliche21.
Per semplificare quanto detto fino ora, la Zimmerman ci suggerisce che per definire la complessità bisogna prendere in considerazione la riflessività di coloro che compongono i sistemi organizzativi, la velocità del cambiamento, l’imprevedibilità e il carattere evolutivo delle dinamiche in atto.
Un’elaborazione successiva della matrice della Zimmerman, viene proposta da Patricia Rogers. Diversamente dalla prima studiosa, la Rogers ha attribuito alle tre categorie semplici, complicato, complesso, un’interpretazione specifica dei programmi e dei progetti:
20 In questo caso l’esempio che ci propone la Zimmerman è quello del “razzo
spaziale”, per quanto complicato sia una volta definite le strategie per potare a termine l’obiettivo, il sistema può essere gestito secondo procedure standard e quindi anche replicabili.
21 Per spiegare tale zona, la Zimmerman la esemplifica proponendo l’esempio “del
sistema educativo familiare”, ovvero aver un figlio non è sinonimo di avere le basi per poter educare il secondo, in quanto le esperienze pregresse no saranno come quelle future, semplicemente per il fatto che ogni figlio ha la sua unicità.
16
“non si tratta di decidere come categorizzare un programma o una politica […]. Qui intendiamo categorizzare le sue componenti. […]”
La Rogers ci suggerisce di attuare approcci gestionali e valutativi standard anche nel caso dei programmi complessi (Tomei,2016), in forza della possibilità di isolarne aspetti semplici o complicati da trattare secondo approcci tradizionali o mediante metodi misti. Inoltre, richiede la necessità di realizzare nuove strategie gestionali e valutative per i programmi che vengono considerati complessi.
Vi è ancora una riflessione per quanto riguarda la complessità e in particolare i programmi complessi. Tale riflessione è dettata da Patton, il quale delinea alcune caratteristiche dei programmi complessi, qualificati in 6 dimensioni: 1. Non linearità: i contesti sociali complessi sono estremamente sensibili alle
variazioni, e generano reazioni di vasta portata;
2. Emergenza: per Patton è la conseguenza che si produce in un programma tramite l’aggregazione dei comportamenti strategici individuali;
3. Adattabilità: gli attori decodificano le sfide poste in essere dagli equilibri del sistema;
4. Incertezza: è la conseguenza delle dimensioni precedenti, ovvero l’incertezza che producono i processi e gli esiti;
5. Dinamicità: le trasformazioni imprevedibili di cambiamento tra gli attori; 6. Coevoluzione: sono le dinamiche complesse di cambiamento del sistema.
Per concludere, si può ricondurre la complessità specifica dei sistemi sociali in una causa principale, che risiede nella riflessività degli attori sociali, in quanto, come aveva rilevato Weber, incorporano nelle loro azioni rappresentazioni dotare di senso e ragione, sviluppando riflessioni attorno agli esiti delle azioni svolte in precedenza e attraverso queste ultime orientano il loro agire futuro (Patton, 2001).
17
1.3.2. Gli Outcome
Strettamente collegato al concetto di complessità, definito nel paragrafo precedente, è il concetto di outcome.
Il termine inglese “Outcome”, rappresenta il processo di trasformazione dei comportamenti, delle relazioni, delle attività e delle azioni che le persone, i gruppi e le organizzazioni con cui un determinato progetto lavora direttamente avviano nella direzione indicata e sulla base di stimoli ricevuti dal progetto stesso.
Potremmo tradurre questa definizione, nei cambiamenti di comportamento di persone, gruppi, istituzioni in quanto sono il risultato dell’impatto del progetto stesso; in altre parole gli attori del progetto sviluppano dei cambiamenti in base a ciò che il progetto richiede.
Secondo la considerazione operata dal DAC22, l’outcome si qualifica come un
livello di risultato intermedio tra quello coincidente con le realizzazioni puntuali e immediate dell’intervento (output) e quello, relativo agli effetti che questo produce nel medio e nel lungo periodo sui beneficiari (impact) (Tomei, 2016). Per questo motivo l’outcome si contrappone all’impatto, in quanto sono due dimensioni che fanno parte della stessa famiglia dei risultai, ma osservano il risultato in due momenti diversi; l’outcome considera i cambiamenti attivati sugli attori per effetto del programma, mentre, l’impatto osserva le conseguenze di questi cambiamenti.
Per definire meglio il termine impatto e dare una chiara distinzione trai due termini, utilizzerò la definizione di Stern (2012:12) “effetti a lungo termine positivi e negativi, primari e secondari, sui beneficiari finali che derivano da un intervento di sviluppo; il contributo causale23 diretto o indiretto, sia
22 Acronimo: Development Assistance Committee presso Organizzazione per la
Cooperazione e lo Sviluppo Economico (OECD).
L’obiettivo per il periodo 2011-2015 è promuovere lo sviluppo e altre politiche in modo da contribuire allo sviluppo sostenibile, compresa la crescita economica a favore dei poveri, la riduzione della povertà, il miglioramento degli standard di vita nei paesi in via di sviluppo e verso un futuro in cui nessun paese dipenderà dagli aiuti. http://www.oecd.org/dac/thedevelopmentassistancecommitteesmandate.htm
23 La casualità si sviluppa in quattro modelli:
Regolarità: si rileva la presenza di un’associazione tra fenomeni, non rilevando l’evidenza necessaria ad una sua generalizzazione che trascenda i casi specificatamente osservati (Befani,2012:5)
Analisi controfattuale: ovvero capire se quella causa è il fattore che scatena quell’effetto.
18
previsto che non intenzionale, di questi rispetto a quegli effetti specialmente per i poveri”.
Tuttavia, se ci si concentra sugli effetti negativi e secondari, non vi è una casualità diretta, in questi casi la valutazione di impatto si arresta di fronte all’impossibilità di conoscere la forza e l’intensità con cui gli effetti osservati possono essere attributi all’intervento realizzato (Tomei, 2016). È in questi casi che entra in gioco la “valutazione degli outcome”, la quale contribuisce a esplorare come in un programma complesso, un determinato insieme di interventi aiuta a produrre cambiamenti che muovono gli attori nella direzione voluta dal programma.
La valutazione degli outcome fa parte dell’approccio Contribuzionale (Mayne,2011), interessato a capire qual è il contributo che il programma dato ha come risultato.
L’approccio contribuzionale pone in rilievo la convergenza di cause molteplici, ciascuna delle quali contribuisce al cambiamento, senza però che quest’ultimo sia attribuito a nessuna di esse in particolare (Tomei,2016).
La particolarità di tale approccio sta alla base di una “diversa concezione di inferenza causale di tipo argomentativo, utilizza la teoria del cambiamento24
come quadro esplicativo da costruire e perfezionare nel corso dell’indagine al fine di evidenziare gli attori, le ragioni e le modalità operative attraverso le quali l’intervento ha contribuito alla generazione dei risultati osservati” (Tomei,2016).
L’analisi contribuzionale costa di sette step (Mayne,2011:63):
1. il gruppo di ricerca identifica da un punto di vista meramente teorico-ipotetico e definisce in una prospettiva euristica i nessi causali verso i quali indirizzare l’analisi.
2. sviluppa una prima e preliminare teoria del cambiamento da utilizzare successivamente come bozza di lavoro.
3. procede ad un lavoro di indagine di terreno diretta a raccoglie dati e informazioni in grado di produrre evidenze a conferma (o meno) circa
Causazione multipla: si cerca di considerare non solo il rapporto della causa che si osserva e l’effetto, ma si inseriscono tuti gli altri fattori che hanno costituito le premesse che si potesse verificare quella causa, o gli elementi che hanno facilitato il risultato.
Casualità generativa: il “se” e l’“allora” sono consecutivi, ovvero se si attivano determinate azioni, allora come conseguenza avrò un determinato effetto.
19
i postulati e le connessioni logiche ipotizzate dalla teoria del cambiamento.
4. verifica le evidenze raccolte e le assembla in una serie di narrazioni coerenti che diano conto sia dei modi attraverso cui il progetto ha contribuito a generare i risultati, sia dellesfide esterne e delle tensioni interne che nel suo percorso ha dovuto affrontare.
5. torna sul campo per ricercare ulteriori e più specifiche evidenze. 6. revisiona e rafforza le narrazioni precedentemente costruite.
7. (laddove necessario) il gruppo di ricerca procede a combinare all’interno di un’unica narrazione complessa le diverse evidenze parziali raccolte.
Si può concludere, che comprendere il cambiamento significa sia individuare le connessioni causali, ma anche cogliere le tendenze e le trasformazioni emergenti, assimilare ciò che si è appreso durante il percorso, gestire gli attori e documentare ciò che è cambiato.
Fig.3- Influenza del progetto e degli attori nelle diverse fasi di implementazone25
Smutylo attraverso questo grafico ci spiega che ad un certo punto chi controlla il programma perde di vista cosa il programma sta producendo. Cercherò a questo punto di spiegare in maniera dettagliata la Fig.3; in ascissa
20
sono indicate le tappe del programma: risorse, attività, realizzazioni (output) outcome e impatti; in ordinata il livello di informazioni di controllo; la retta continua indica il controllo da parte del programma, l’opposta indica il controllo degli attori coinvolti in esso.
La retta continua ha un controllo diretto sulle risorse messe in campo e uno meno diretto sulle attività che si realizzano, progressivamente ha qualche controllo sugli outcome ma lo perde negli impatti. Inversamente, nella retta tratteggiata gli attori hanno scarso controllo delle risorse, hanno un controllo negoziale sulle attività e riscuotono maggiore controllo sull’outcome e sull’impatto.
“questo modello suggerisce che quanto più il programma è di successo, nel senso che procede verso le dimensioni dell’impatto, tanto più la sua capacità di influenza esogena viene soppiantata dalle attività e dalle istituzioni endogene. Perciò esiste un paradosso per le agenzie esterne che sono sotto pressione per accreditare i risultati relativi alle dimensioni dell’impatto; per questo, se il programma ha avuto successo, la loro influenza è bassa e decrescente in relazione a quella degli altri attori esterni”. (Earl, Carden e Smutylo,2001:9)
Per questo motivo per comprendere e governare il cambiamento è importante trovare dei nuovi metodi per due motivi: da un lato devono concentrarsi sui cambiamenti avvenuti prima degli impatti attesi; dall’altro l’osservatore deve cambiare posizionamento giocando un ruolo strategico di promotore del cambiamento insieme agli attori stessi.
1.3. Approcci valutativi
Come sostenuto precedentemente per concepire la complessità dei fenomeni, il carattere generativo dei nessi causali innescati dagli interventi e l’articolazione multi-causale del cambiamento è necessario modificare il ruolo del valutatore e il metodo di osservazione dei cambiamenti stessi.
21
Secondo questa nuova concezione di valutazione, quest’ultima non ha solo il compito di formulare un giudizio ma deve raccogliere le informazioni necessarie per costruire una visione più completa dei cambiamenti innescati dall’intervento sociale.
Nel corso del tempo sono stati sviluppati diversi approcci valutativi volti in questa direzione:
Development Evaluation (DE); Outcome Mapping (OM); ROMA;
Outcome Harvesting (OH).
Nei paragrafi successivi farò una breve introduzione sui vari approcci, concentrandomi in particolar modo, nel Capitolo successivo sull’Outcome Harvestig (OH).
1.4.1 Development Evaluation (DE).
Il fondatore della Development Evalutation è il sociologo Michael Quinn Patton, il quale la definì come:
“un modo di essere utili nei contesti di innovazione dove gli obiettivi sono emergenti e mutevoli invece che predefiniti e fissi, i tempi sono fluidi e orientati al futuro piuttosto che artificialmente imposti da scadenze esterne e i propositi sono l’innovazione, il cambiamento e l’apprendimento piuttosto che la rendicontazione verso l’esterno (valutazione riepilogativa) o la preparazione delle informazioni per la rendicontazione verso l’esterno (valutazione costruttiva)”. (Patton,1994:318)
“Developmental Evaluation (DE) è un approccio di valutazione che può aiutare gli innovatori sociali a sviluppare iniziative di cambiamento sociale in ambienti complessi o incerti. Gli ideatori di DE considerano il loro approccio al ruolo di ricerca e sviluppo nel processo di sviluppo del prodotto del settore privato
22
perché facilitano il feedback in tempo reale, o quasi in tempo reale, al personale del programma, facilitando così un ciclo di sviluppo continuo”26.
La caratteristica principale di tale approccio è, proprio, la ri-definizione dello scopo della valutazione. La DE si propone come supporto riflessivo allo sviluppo dei cambiamenti strategici dei contesti complessi. È particolarmente attenta a riconoscere il cambiamento, ma soprattutto a comprendere e sostenere la dinamica generativa attraverso l’attivazione di strategie cognitive e comunicative (Tomei,2016). Difatti, Patton concepisce la DE come una forma di “pensiero sistemico” a sostegno della capacità riflessiva dei contesti organizzativi. In altre parole, gli elementi cognitivi e comunicativi della DE sono diretti a potenziare la riflessività degli attori appartenenti a quel dato programma.
“la DE pone domande e cerca dati capaci di far luce su come le norme ed i messaggi organizzativi e sociali influenzano le decisioni individuali e gli outcome, fornendo con le proprie risposte delle retroazioni verso coloro che sono coinvolti in iniziative di cambiamento dei sistemi innovativi relativamente a come i loro sforzi sono stati recepiti, compresi e rilanciati a molteplici livelli.” (Patton,2011:121)
Tuttavia, tale approccio manca di un metodo, difatti Patton suggerisce il “non metodo” ovvero vi sono alcuni principi guida che si articolano in 4 macro-fasi, ma non vi è una metodologia. Per questo motivo si parla di sviluppo e non di un miglioramento del programma, in quanto quest’ultimo presuppone che ci sia uno schema a cui aderire.
Le 4 macro-fasi, citate precedente, sono codificabili in (Patton,2011: 265-269):
1. Gli attori coinvolti, mettono a fuoco l’oggetto di indagine27;
2. Gli attori condividono in gruppo le loro esperienze personali (repertorio condiviso);
26http://www.betterevaluation.org/en/plan/approach/developmental_evaluation 27 Nel primo step, vengono poste alcune domande base per provocare riflessioni e
23
3. È quello tipico della teorizzazione, ovvero a partire da alcune rilevazioni si prova a ricostruire un modello28 cha valga in quel contesto;
4. È la fase conclusiva del processo riflessivo, nella quale si valutano i modelli presentati nello step precedente, confermandoli o alle volte riaprire nuovi modelli.
Sulla base della DE, successivamente vengono formulati nuovi approcci valutati: Outcome Mapping, ROMA e Outcome Harvesting.
1.4.2 Outcome Mapping (OM).
Gli autori di riferimento sono Sarah Earl, Fred Carden e in particolar modo Terry Smutylo, i quali definiscono l’Outcome Mapping come “il cambiamento delle relazioni, attività o azioni delle persone, gruppi e organizzazioni con i quali il programma lavora direttamente” (Smutylo, et al. 2001).
L’OM è una metodologia di monitoraggio e valutazione, attraverso la quale cerca di calcolare i risultati di un programma attraverso i cambiamenti che esso stesso produce sul comportamento degli attori.
Gli approcci finora elencati, hanno focalizzato la loro attenzione sull’efficacia29
di un programma, ricercando in essa la spiegazione dei cambiamenti comportamentali degli attori coinvolti; l’OM va verso un’altra direzione, ovvero la sua attenzione è rivolta agli outcome i quali sono logicamente collegati all’intervento realizzato, anche se non sono necessariamente causati in modo diretto dal programma (Earl, Carden e Smutylo, 2001:1)
L’OM costituisce un metodo per programmare e valutare l’attivazione di comportamenti responsabili e orientati al benessere umano ed ecologico del contesto di riferimento (Tomei,2016). Ciò che l’approccio vuole, è fornire gli strumenti e le tecniche adatte agli attori coinvolti dal programma, in tal modo da valorizzare le loro capacità e contribuire al processo di sviluppo.
L’OM aiuta un progetto o programma a conoscere la sua influenza sulla progressione del cambiamento nei propri partner diretti, e quindi aiuta coloro che partecipano al processo di valutazione a pensare in modo più sistematico
28 Il termine “modello” si riferisce ai comportamenti comuni ai quali sia possibile
assegnare il valore di evidenza empirica (Tomei,2016).
24
e pragmatico a ciò che stanno facendo e a gestire in modo adattativo le variazioni nelle strategie per ottenere i risultati desiderati. L'OM mette le persone e l'apprendimento al centro dello sviluppo e accetta cambiamenti imprevisti come potenziale per l'innovazione30.
La procedura operativa dell’OM è suddivisa in 3 macro-fasi:
Fig. 4- Procedure operative dell’OM31
Dopo aver delineato in maniera generale che cos’è l’OM, di seguito tratterò le 3 macro-fasi del processo di OM, descrivendo brevemente i vari step che ne fanno parte:
Intentional design (Disegno intenzionale).
Questa macro-fase può essere realizzata solo nel momento in cui il programma, gli obiettivi, le strategie e i mezzi sono stati stabiliti. Difatti
30https://www.outcomemapping.ca/resource/start-here 31 Fonte: Earl, Carden e Smutylo (2001: 4)
25
questa fase serve tanto ai partecipanti quanto ai valutatori, in quanto vengono stabiliti i vari passaggi del programma. Per poter attuare questa fase, i partecipanti sono chiamati a rispondere a 4 domande chiave: “Why?”, qual è la visione alla quale il progetto intende portare un contributo? “Who?”, chi sono i partner di confine strategici del progetto? “What?”, quali sono i cambiamenti che verranno ricercati? “How?”, come il programma contribuisce al processo di cambiamento in atto?
Dalla Fig. 4 si può costatare che ogni fase dell’OM è suddivisa in step, e quelli che fanno parte dell’Intenzional design sono:
1. Visione (Vision): questo primo passaggio risponde alla domanda “perché facciamo ciò?”, per cui è rivolto ai partecipanti al progetto, restituendo alla fine una visione comune su cosa fare. Descrive cambiamenti sociali, politici, economici o ambientali che il programma spera di realizzare. La visione rappresenta l’idea che il programma vuole supportare, per rimanere rilevante nel tempo. Qualora il valutatore deciderà che sia importante, potrà tornare alla visione durante il corso di pianificazione, in tal modo da garantire la coerenza delle attività del programma (Earl, Carden, Smutylo,2001).
2. Missione (Mission): a differenza della visione, la quale si prospetta come un costrutto ideale, la missione diventa un costrutto concreto (Tomei,2016); ciò significa, che successivamente alla visione, vengono descritte in questa fa le varie strategie da mettere in atto per soddisfare gli obiettivi del programma. Viene redatta, infatti, una lista di attività con le quali il programma si impegnerà per supportare il raggiungimento della visione (Earl, Carden, Smutylo,2001).
3. Partner di confine (Boundary Partners): durante il corso di lavoro (di circa 1 ora), il gruppo appartenente al programma ha il compito di individuare i partner di confine i quali sono identificati come individui che interagiscono in modo diretto con il programma in tal modo da facilitare il cambiamento voluto da quest’ultimo. Per individuali il facilitatore pone due quesiti al gruppo: “chi sono i soggetti più importanti con cui il programma lavora e dalle cui azioni il suo successo dipende in modo significati?” consentendo di costruire la lista dei soggetti; “tra quali attori il programma intende promuovere cambiamenti tali da contribuire alla realizzazione della visione? Quali
26
partner possono essere influenzati più direttamente dal programma e per questo aiutare maggiormente il suo corso?” mirando ad evidenziare i partner scaturiti dalla domanda precedente (Tomei,2016). Vengono chiamati partner di confine in quanto, nonostante il fatto che interagiscono con il programma stesso, quest’ultimo non ha la capacità di controllarne le loro azioni ma solo di stimolare il loro orientamento fornendo risorse, idee ed opportunità (Tomei,2016).
4. Sfide di cambiamento (Outcome Challenge): una volta identificati i partner di confine, l’OM assegna a ciascuno di loro un obiettivo da portare a termine, dando ad essi la responsabilità ed il potere di cambiare.
Una sfida di cambiamento descrive come verranno cambiati i comportamenti, le relazioni le attività o gli attori, di un gruppo o istituzione se il programma è estremamente di successo (Earl, Carden, Smutylo,2001:47).
5. Marcatori di avanzamento (Progress Markers): per ciascuna sfida proposta nello step precedente, il programma ad ogni singolo partener di confine identifica i marcatori di avanzamento, in tal modo da monitorare e verificare i relativi cambiamenti che si realizzano nel corso dell’opera.
6. Mappa delle strategie (Strategy Maps): durante il corso del programma, dopo aver identificato i partner di confine, le sfide di cambiamento e i marcatori di avanzamento, vengono mappate le strategie che il programma utilizzerà per portare a termine i propri obiettivi.
7. Pratiche organizzative (Organizational Practies): nell’ultimo step di questa macro-fase, prendono forma le pratiche organizzative le quali rendono il programma aperto, ovvero capace di riflettere su di esse e di conseguenza, qualora sia necessario, cambiarle in base all’apprendimento che avviene durante il percorso.
Monitoraggio della performance e dell’outcome.
La seconda macro-fase del processo di OM equivale al monitoraggio della performance e dell’outcome. In questa fase, vengono sviluppate strutture di
27
monitoraggio per quanto attiene ai partner di confine, le strategie di programma che vengono utilizzate e le pratiche organizzative in uso; in altri termini, viene monitorato tutto ciò che si è fatto nella prima fase di disegno intenzionale.
Il monitoraggio ha la funzione di uno stimolo offerto agli utilizzatori per garantire sistematicità alla riflessione intorno all’andamento del programma e ai cambiamenti che questo contribuisce a stimolare.
Come il disegno intenzionale, anche questa fase è costituita da 4 step: 8. Identificazione delle priorità di monitoraggio (Monitoring priorities): il
primo step equivale ad identificare le priorità di monitoraggio le quali si devono distinguere da un monitoraggio in itinere e quelli la cui valutazione dovrà invece essere rinviata ad uno specifico esercizio futuro (Tomei,2016: 81).
In tale fase vengono evidenziate le pratiche attraverso le quali i partecipanti dovranno sviluppare l’attività di monitoraggio (Tomei,2016:81):
a) I progressi verso l’outcome che sono stati compiuti dai partner di confine;
b) Le strategie che il programma impiega per incoraggiare il cambiamento nei suoi partner di confine;
c) Le pratiche organizzative che il programma ha messo in atto per adattarsi e rimanere innovativo.
9. Outcome Journal: è il primo strumento di monitoraggio previsto dall’OM. Serve a delineare gli avanzamenti dei partner di confine nel loro percorso di avvicinamento all’outcome che il programma gli ha posto come sfide. Propone ai partner di confine del programma indicare il livello di raggiungimento di ciascun marcatore di progresso precedentemente definito, tenendo presente tutte le informazioni che hanno delineato quel cambiamento.
10.Strategy journal: è il secondo strumento di monitoraggio, dà la possibilità al programma di sviluppare delle riflessioni relative all’efficace delle strategie messe in atto durante il percorso, in tal modo da rilevare e tracciare le azioni che promuove per influenzare i cambiamenti dei partner di confine.
28
11.Performance journal: il terzo strumento di monitoraggio permette di analizzare le pratiche organizzative dello step 7; lo scopo di tale strumento permette di evidenziare e qualora servisse di implementare le pratiche che il programma utilizza.
La valutazione.
L’ultima macro-fase del processo dell’OM è la valutazione. In questa fase l’OM fornisce un metodo al programma di identificare le sue priorità di valutazione e allo stesso tempo di sviluppare un piano di valutazione. Nel condurre una valutazione, il programma può scegliere una strategia, un problema o una relazione da valutare in profondità, in quanto non vi è sufficiente tempo e risorse per predisporre una valutazione di ogni cosa (Earl, Carden, Smutylo,2001: 114). Il programma deve definire in maniera chiara chi inserire nel processo di valutazione, così da garantire la loro partecipazione.
Anche questa fase offre uno step, come già accennato in precedenza: 12.Piano di valutazione (Evaluation plan): provvede a sviluppare una
piccola descrizione dei principali elementi di valutazione che vengono sviluppati dal programma. La valutazione andrà ad analizzare: le questioni valutative da affrontare; le domande valutative; le fonti di informazione; i metodi di valutazione; il team di ricerca; i dati e i costi approssimativi.
Definiti i primi elementi di valutazione, il programma dovrà garantire che è rilevante per i suoi bisogni, per non sprecare risorse umane e finanziarie (Earl, Carden, Smutylo,2001: 115).
1.4.3. Rapid Outcome Mapping Approach (ROMA).
Vi sono delle innovazioni teoriche e metodologiche introdotte dagli approcci valutativi degli outcome, uno di questi è il ROMA acronimo di RAPID Outcome Mapping Approach; come suggerisce l’acronimo tale approccio ha una conoscenza di base dell’OM; tuttavia il termine RAPID, non sta a significare la rapidità con la quale viene messo a punto l’approccio ma deriva dal gruppo
29
di ricerca Reasearch and Policy in Development (RAPID) dell’ODI di Londra del 2014.
ROMA si è evoluto per un lungo periodo e attraverso la documentazione di più di 100 casi studiati. Il programma di lavoro è iniziato nel 2004 con l’idea di “politica imprenditrice”, ovvero l’idea che la ricerca poteva andare oltre la semplice produzione e diffusione della conoscenza coinvolgendo direttamente i responsabili delle politiche fin dalle prime fasi della ricerca in ordine di influenza delle loro decisioni (Young et. al., 2014).
In questo programma di lavoro si erano evidenziati 3 fattori ritenuti strategici per l’assorbimento e l’utilizzo di prove basate sulla ricerca nella politica: 1. Il contesto politico;
2. I collegamenti tra la comunità politica e il gruppo di ricerca; 3. La formalizzazione delle evidenze.
ROMA è un approccio basato per migliorare il modo in cui ci si impegna con una politica in tal modo da influenzare il cambiamento. Per cui si può sostenere che ROMA è una metodologia riflessiva.
Esso comprende una serie di strumenti che devono essere utilizzati con i partner e gli stakeholder per sviluppare una comprensione condivisa di quali sono gli obiettivi e cosa deve essere fatto. ROMA consiste in tre attività principali, ognuna delle quali è scomposta in una serie di step, ai quali vengono associati i vari strumenti per i diversi livelli di coinvolgimento (Young et. Al.,2014).
I tre assi di attività sono:
Identificazione del problema: articolata riflessione sulle dinamiche causali che generano il problema da affrontare. In questa attività si definiscono gli strumenti, la complessità del problema e gli attori che influenzano le dinamiche.
È suddivisa in step, e sono:
1) Definizione del problema: viene stimolata un’attenta discussione sul perché vi è un determinato problema, ricercando anche le eventuali cause che l’hanno scatenato;
2) Diagnosi del livello di complessità e di incertezza: si analizza il contesto politico-strategico e la sua complessità, in quanto in base al livello di complessità vengono assegnati diversi strumenti;
