La disciplina della valutazione nasce negli anni Sessanta del secolo scorso negli Stati Uniti, diffondendosi progressivamente nelle prassi tecnico-politiche di tutto il mondo occidentale (Moro, 2005). Tale diffusione è stata spinta in Europa ed in Italia nell'ambito della diffusione dei modelli di New Pubblic Management, specialmente orientati alla promozione di sistemi di valutazione della performance delle pubbliche amministrazioni (Ongaro, Valotti, 2008; Valotti et al, 2010; Newman, Clarke, 2013) nonché dalle richieste della Commissione Europea in merito alla valutazione dei programmi di sviluppo regionale (Riché, 2012).
La definizione di che tipo di disciplina sia la valutazione, quale sia il suo oggetto e quali le sue finalità, differiscono in funzione delle epoche, dei differenti approcci e differenti autori (Palumbo, 2001; Moro, 2005; Stame, 2016).
In linea generale la valutazione può essere definita come un'insieme di pratiche che attraverso l'utilizzo di tecniche di raccolta ed analisi di dati (quantitativi e/o qualitativi) permette l'elaborazione di un giudizio di valore su una policy o su un programma, principalmente delle istituzioni pubbliche (Moro, 2005; Stame, 2016).
Carol Weiss definisce la valutazione come: “the systematic assesment of the operation and/or the outcomes of a program or policy, compared to a set of explicit or implicit standards, as means of contributing to the improvement of the program or policy” (Weiss, 1998, p.4)(N.R. le parti in grassetto sono in corsivo nel testo originale).
La definizione della Weiss coglie alcuni aspetti cruciali (“key elements” idem, p.4-5) della pratica della valutazione (non solo di quella riconducibile al suo specifico approccio).
Il concetto di systematic assesment rileva l'enfasi sulla sistematicità e sul rigore della pratica della valutazione, che deve avere uno sguardo aperto (sistemico) ad ogni aspetto del programma, e organizzato rispettando i canoni epistemologici della ricerca sociale.
Il riferimento all'operation e agli outcomes descrive quelli che sono i due principali focus e/o momenti della valutazione, da cui discendono due tipologie principali, ovvero la valutazione del processo di funzionamento del programma (operation) e la valutazione degli effetti del programma (outcomes)4 per i beneficiari. Tali tipologie di valutazioni sono legate alle modalità formative (process) e summative (outcomes) di valutazione, per quanto riguarda i momenti/fasi in cui avviene la valutazione, ma quest'ultime si distinguono in quanto incamerano gli obbiettivi stessi della 4 Nella definizione Weiss parla di outcomes ed effects. Per una trattazione più estesa del concetto
di outcomes, e della differenza dello stesso con quelli di output e impact si rimanda a Tomei (2016)
valutazione (valutare cosa avviene, valutare i risultati), mentre il riferimento a process e outcomes, in questa prospettiva, si attiene solo all'individuazione della phase oggetto di valutazione (idem, p. 31-33).
Il concetto di explicit or implicit standards rimanda alla necessità, per elaborare un giudizio (merit) di comparare le evidenze ricavabili dal programma con una qualche aspettativa e/o standard di riferimento (qui sta la differenza fra i vari approcci, come verrà descritto più avanti). Weiss individua, fra gli altri, vari criteri di valutazione, come gli obbiettivi specifici del programma, le aspettative e i desideri di beneficiari e stakeholders, ed eventuali effetti positivi emergenti (Weiss, 1998, p.5).
Infine l'ultimo concetto evidenziato, quello di improvement, esprime quella che per Weiss è la finalità fondamentale della valutazione, ovvero costituirsi come supporto a decisori ed attuatori, al fine di aumentare le conoscenze che permettono ai programmi di lavorare meglio (più efficacemente), e supportare il processo di allocazione delle risorse pubbliche, attraverso la valutazione di quali programmi sono migliori di altri.
Le possibili finalità della valutazione elencate dalla Weiss sono tra quelle verso cui vi è maggiore consenso in letteratura e maggior ricorrenza nelle richieste de decisori politici e dei committenti (Weiss, 1998; Moro, 2005; Stame 2016).
La valutazione è un'insieme di pratiche che permette di stabilire il valore di un programma, supportando così le decisioni su avviare, confermare, modificare o terminare un programma (o testare un programma sperimentale). Inserendosi dunque nelle fasi ex-ante, in itinere, e finale della policy, supportando le decisioni di policy makers e dirigenti, nonché come strumento di accountability delle pubbliche istituzioni verso la cittadinanza.
Nel versante più legato al funzionamento, al processo, del programma, la valutazione permette di accrescere le conoscenze su ciò che realmente avviene nel programma in funzione di interventi di miglioramento o riprogettazione e analizzare eventuali effetti/conseguenze positive/negative inattese. In questo modo la valutazione può essere anche occasione di produzione di conoscenza emergente sulla realtà sociale.
Infine le pratiche di valutazione sono utili a predisporre occasioni di auto-riflessione ed apprendimento organizzativo degli attori sociali implicati nel programma.
Una questione dirimente, accennata nella definizione della Weiss, riguarda i criteri di assegnazione del merit del programma.
nonché i metodi ritenuti più adeguati per formularlo, cambiano in funzione dei differenti approcci alla valutazione progressivamente sviluppatisi all'interno della disciplina. Col passare degli anni il confronto ideologico sulla supremazia di un metodo rispetto agli altri si è via via attenuato (Weiss, 1998, p.10-15), con il progressivo riconoscimento, pur non unanime (Stame, 2016) nella comunità dei valutatori della pari dignità delle differenti metodologie, grazie all'affermazione del principio “pluralistico” alla valutazione (Stame, 2016, p.10). Secondo tale principio, che si rifà all'idea di situational responsiveness di Patton (Patton, 1986, cit. in Stame, 2016, p.14) che mette in primo piano le domande conoscitive e le caratteristiche del programma da valutare, rispetto a cui operare una scelta dei metodi più adeguati (Weiss, 1998), in opposizione a una presunta maggiore validità di un metodo rispetto ad un altro.
Nella diversità degli approcci alla valutazione, suddivisibili in base non solo alle differenti epoche di nascita, ma anche in base alle differenze nei criteri di determinazione del valore del programma, è possibile individuare tre approcci o modelli principali (Stame, 2001; Moro, 2005; Stame, 2016). Per il modello sperimentale il compito della valutazione è quello di verificare se i programmi hanno prodotto i risultati attesi e/o realizzato gli obbiettivi stabiliti (Moro, 2005, p.46-48). Per tale modello la pietra di paragone è data dagli obbiettivi del programma, rispetto al cui raggiungimento dipende il giudizio di valore sul programma stesso.
Tale modello è definito anche positivista (Stame, 2016, p.29) perché, nelle sue impostazioni condivide i principi di razionalità, regolarità, oggettività, avalutatività propri del metodo sperimentale. Condivide ugualmente una visione dei programmi basata sul modello sinottico (Merlo, 2014, p.99-104) della programmazione, che presuppone una linearità d'azione (e di causalità) fra obbiettivi da raggiungere, mezzi con cui raggiungerli, e risultati attesi (Stame, 2016, p.30).
L'attribuzione dell'effettivo rapporto causale fra programma ed effetti attesi è un problema dirimente per questo modello, nella logica della trasferibilità e generalizzabilità dei risultati del programma in altri contesti (Moro, 2005), detto anche problema della validità esterna (Stame, 2016, p.31) . Per garantire la validità esterna è necessario stabilire con certezza l'attribuzione causale dei risultati verso il programma, che in questo modello si attua con l'esperimento controfattuale, mettendo a confronto gruppo sperimentale e gruppo di controllo, eliminando ipotesi rivali di spiegazione attraverso la ripetizione dell'esperimento e la regolarità dei risultati.
Gli approcci pragmatisti (Moro, 2005; Stame, 2016) al contrario si configurano come valutazioni dichiaratamente goal-free, indipendenti dagli obbiettivi prestabiliti. Il focus in questo caso si sposta da una logica descrittiva del cambiamento avvenuto, ad una logica prettamente valutativa, in cui lo
scopo non è stabilire l'efficacia (raggiungimento degli obbiettivi), bensì il valore o merito di un programma. Il valore di riferimento può derivare dal punto di vista degli attori interni al programma, che ne valutano l'utilità e la potenzialità di soddisfare le aspettative (come nel modello Utilization Focused di Patton)(Moro, 2005, p.57-59). L'attenzione alla capacità del programma di soddisfare i bisogni degli stakeholders, detta worth o valore estrinseco si ritrova anche nell'approccio di Scriven (Goal Free Evaluation) (in Moro, 2005, p.55-57). In questo approccio, oltre al worth, il valore del programma è valutabile anche attraverso il merit, o valore intrinseco, quantificabile attraverso la comparazione con standard esterni al programma, come operazioni di benchmarking con altri programmi simili o con criteri di qualità stabiliti da esperti e/o organizzazioni.
I modelli costruttivisti della valutazione pongono il loro focus sui contributi, e le autovalutazioni, degli attori che compongono il programma, ovvero decisori, esecutori e beneficiari (Moro, 2005, p.59-62).
I costruttivisti oppongono al modello sperimentale un modello naturalistico e relativistico, secondo cui non esiste una realtà unica ed oggettiva, bensì realtà sociali e conoscenze embedded, situate negli specifici contesti sociali di attuazione dei programmi (Stame, 2016, p.38-40). In questo approccio dunque cadono le pretese positiviste di oggettività, avalutabilità e generalizzabilità (attraverso il contesto sperimentale e la ripetizione dei risultati), verso la produzione di conoscenza situata, co-costruita nell'interazione degli attori dello specifico contesto, non trasferibile tout-court in altri contesti, ma che può offrire spunti di riflessione per produrre conoscenza sui meccanismi (in primis legate alle differenze nei contesti) che producono i fenomeni sociali.
La pietra di paragone in questo caso sono le interpretazioni e le valutazioni che le persone che compongono il programma danno dello stesso (Moro, 2005, p.60)
Tali conoscenze possono essere utilizzate per comprendere meglio i contesti in cui inserire i programmi (calibrandoli al contesto), capire cosa realmente ci si può aspettare, in termini di risultati possibili, e favorire processi di apprendimento che potenzino le capacità dei beneficiari di utilizzare il programma per migliorare le proprie condizioni (Stame, 2001; Stame, 2016, p.40). Tutti questi approcci presentano ovviamente ciascuno dei punti di forza e di debolezza.
L'approccio costruttivista, proprio per la sua impostazione improntata alla negoziazione di conoscenze situate, e la preferenza per strategie valutative come lo studio di caso, ha come principale problema la scarsa capacità di fornire conoscenze che siano generalizzabili ed utilizzabili in altri contesti (Stame, 2007, p.147-153)
svolgimento del programma, concentrandosi sull'attribuzione valoriale per i modelli pragmatisti e sulla differenza fra il pre- e il post-intervento per quelli sperimentali. Tale difetto rende difficile rispondere con certezza sull'effettiva attribuzione causale degli effetti al programma (Moro, 2005; Stame, 2016), e dunque sulla generalizzabilità dei risultati in altri contesti, in quanto non si possono con certezza identificare dei processi causali se non si ha conoscenza di cosa avviene nel processo (il cd. problema della “black box” del programma)(Stame, 2004).
La valutazione basata sulla teoria, nelle sue varie manifestazioni (Stame, 2004), è un modello di valutazione che nasce in seno all'approccio positivista-sperimentale (Stame, 2016 p.42 & p.46-47; Moro 2005, p.49). Tale modello si prefigge, attraverso il superamento di alcune rigidità epistemologiche e metodologiche dello sperimentalismo, di dare una risposta al problema di cosa succeda nella black box dei programmi, e dunque di rispondere non solo alla domanda se il programma “did work?” ma anche a quelle “what made it work?”, “why was it successful or unsuccessful?” e “how we can make it better?” (Weiss, 1998, p.55)
3.2 - La valutazione basata sulla teoria
Il termine valutazione orientata dalla teoria (o theory-oriented evaluation) è un termine ombrello proposto da Nicoletta Stame (Stame, 2004) nel tentativo di accomunare vari filoni di ricerca in valutazione (fra i più importanti: Theory-Based Evaluation di Weiss, 1998; Theory-Driven Evaluation, Chen, Rossi, 1989, cit. in Stame, 2004) che condividono varie premesse teoriche, strumenti e obbiettivi di valutazione comuni (Coryn et al, 2011).
Le differenze più importanti fra le due principali correnti riguardano l'atteggiamento con cui approcciarsi al problema della black box dei programmi, e la definizione del ruolo della teoria nei programmi (Stame, 2004; Stame, 2016).
Nella prospettiva di Chen e Rossi i programmi sono “black box programmes”(Stame, 2004) proprio perché non hanno una teoria di fondo, la loro scatola nera è vuota, quindi sono caratterizzati da approssimazione e scarsa chiarezza del rapporto fra azioni e risultati attesi. Lo scopo della valutazione è dunque quello di “fornire la teoria che manca al programma”(Stame, 2016, p.48), attraverso un utilizzo coerente delle conoscenze delle scienze sociali, in modo da dare suggerimenti ai policy makers per raggiungere più efficacemente gli obbiettivi individuati.
Per Weiss invece la scatola nera è “piena di teorie” (Stame, 2016, p.49). Il rapporto fra le teorie, le azioni e gli effetti previsti del programma sono confusi in quanto i processi di programmazione sono caratterizzati dalla molteplicità di fattori che incidono sui processi decisionali nelle organizzazioni umane (Stame, 2004). I programmi nascono dall'incontro fra le esperienze e le
professionalità dei programmatori, che si interfacciano con la dimensione politica. Ciascuno di noi si forma un'opinione, ovvero una teoria, su un problema e sulle possibili soluzioni basandosi sulle nostre esperienze personali e professionali e su quelle riferite dagli altri, sulle conoscenze acquisite durante il proprio percorso formativo, e talvolta basandosi sulle conoscenze tecniche e scientifiche delle varie categorie professionali di appartenenza, nonché sulle scienze sociali (Weiss, 1998, p.55). Le teorie dunque possono essere viste come insiemi di ipotesi interconnesse, attraverso cui le persone interpretano le situazioni e pianificano l'azione (idem, p.55).
Qui si pone l'altro punto di differenza fra le varie prospettive, riguardo l'interazione fra la concezione della teoria in rapporto ai programmi e gli obbiettivi della valutazione. Per Chen e Rossi la valutazione si occupa di formulare teorie che indirizzino i programmi verso gli scopi immaginati, per Weiss teorie migliori, più adeguate, devono sostituire teorie parziali e confuse (Stame, 2004). In un'altra prospettiva legata alla Theory-Based, quella di Pawson e Tilley, le teorie diventano valide quando attivano negli attori quei meccanismi che possono produrre gli effetti attesi (Torrigiani, 2014).
Gli aspetti in comune di questi differenti approcci riguardano ovviamente l'interesse verso le teorie causali che legano azioni e risultati. Valutabili con l'analisi di cosa succede effettivamente nello svolgimento del programma (la black box). Possibile tenendo in considerazione le interpretazioni degli attori e le caratteristiche intervenienti del contesto in cui il programma interviene (Stame, 2004; Moro, 2005; Coryn et al, 2011; Mayne, 2012).
Inoltre vi è la constatazione della necessità di pluralismo metodologico (Weiss, 1998; Coryn et al, 2011), che vede il metodo subordinato alle esigenze date dalle domande di ricerca specifiche della situazione. Caratterizzando la valutazione basata sulla teoria come una “logica di ricerca” piuttosto che un metodo specifico (Mayne, 2012)
Come sostenuto da alcuni autori, le similarità presenti nelle diverse impostazioni, soprattutto a livello di prassi nel disegno della valutazione (Moro, 2005, p.73), rendono poco stringenti, a livello non accademico, una netta distinzione fra i diversi approcci (Rogers et al, 2000; Rogers, 2008; Coryn et al, 2011), per cui da qui in avanti verrà utilizzata genericamente l'etichetta di valutazione basata sulla teoria, in quanto ritenuta la più diffusa nella comunità della valutazione (Stame, 2016) La valutazione basata sulla teoria quindi considera le policy come strumenti composti da insiemi di più teorie interconnesse che legano azioni e risultati (Sidani, Sechrest, 1999; Coryn et al, 2011). Tali teorie sono basate sulla: “presunzione, implicita o esplicita, fondata sulla scienza o sul senso comune, che all’attuazione di un intervento o all’erogazione di un servizio siano connessi determinati effetti, che giustificano l’investimento di tempo e risorse in quell’intervento o servizio”
(Palumbo, 2001, p. 228).
Prima ancora che si iniziasse a parlare di valutazione basata sulla teoria, M.Rein, nel 1981, scriveva che “a program is a theory and an evaluation is a test” (Rein, 1981, cit. in Weiss, 1998, p.55). Lo scopo principale della valutazione basata sulla teoria è dunque quello di individuare le teorie, esplicite e/o implicite, presenti nei programmi, e testarne la validità, al fine di poter valutare la riuscita di un programma, capire cosa ha funzionato e perché, date le circostanze specifiche, e nel caso guidare il processo di re-ingegnerizzazione, in funzione della definizione di programmi progressivamente migliori (Weiss, 1998). Testare la validità di una teoria significa valutare quanto di quello che sta realmente accadendo è spiegabile dalla teoria (Weiss, 1998, p.66), in modo da ricostruire teorie migliori e conseguentemente programmi più efficaci.
La valutazione basata sulla teoria dunque, come modello essenziale, si occupa di esplicitare le assunzioni (implicite e/o esplicite) per cui un programma dovrebbe funzionare, definendole nei suoi passaggi causali necessari. Utilizzare tali teorie per raccogliere ed analizzare i dati propedeutici alla validazione delle teorie confrontandole con le osservazioni sul campo, in modo da valutare l'effettivo manifestarsi dei risultati previsti, tenendo inoltre in considerazione eventuali effetti emergenti (Torrigiani, 2014).
Già Suchman nel 1967 (cit. in Weiss, 2007) distingueva due ragioni per il fallimento dei programmi, come la commissione di errori nello svolgimento delle attività (implementation failure), e/o l'inadeguatezza delle attività a portare ai risultati desiderati (theory failure).
Questa distinzione è ripresa dagli autori contemporanei della valutazione basata sulla teoria, che parlano di Teoria dell'implementazione, e Teoria del Programma (fra i tanti: Weiss, 1998; Stame, 2004; Mayne, 2012; Torrigiani, 2014; Stame, 2016).
La teoria dell'implementazione descrive i differenti step e le differenti azioni necessarie all'implementazione del programma in funzione degli obbiettivi (Weiss, 1998, p.57-58), mentre la teoria del programma (anche programmatic theory)(Stame, 2004), che verrà trattata maggiormente nel prossimo paragrafo, si configura come una ricostruzione dei meccanismi di processo che il programma ipotizza di attivare, e che sono necessari per far sì che le azioni portino ai risultati previsti (Weiss, 1998, p.57-58).
Il concetto di meccanismo, descrive le risposte dirette o indirette, in termini di comportamenti, che le persone interessate dal programma sviluppano in relazione alle attività e alle risorse implementate dallo stesso (Weiss, 2007), e che rappresentano il concreto meccanismo operativo che conduce ai risultati del programma, piuttosto che le attività del programma di per sé (Weiss, 1998, p.57).
La distinzione fra teorie dell'implementazione e teorie del programma è simile infatti alla distinzione fra elementi moderatori e mediatori5 di un processo (Weiss 2007). Il concetto di moderatore identifica le condizioni (persone, azioni, situazioni, etc), in questo caso a livello di gestione di una serie di azioni, che hanno una relazione più forte con il manifestarsi di un determinato outcome, mentre il concetto di mediatore descrive i meccanismi che permettono al processo di portare all'outcome ipotizzato. La teoria dell'implementazione descriverebbe una funzione moderatrice delle modalità di implementazione, mentre la teoria del programma l'effetto di mediatore del processo, nella relazione fra input e outcome.
Torrigiani, riprendendo autori legati alla prospettiva theory-oriented (Rossi, Lipsey, Freeman, 2004, cit. in Torrigiani, 2014) distingue due componenti del programma da considerare nella distinzione fra azioni, implementazione e processo trasformativo. La Program process theory è un costrutto che si connette al concetto di implementation theory visto che descrive i vari aspetti del processo di funzionamento del programma, dal punto di vista organizzativo-strutturale, attraverso l'Organizational Plan, che descrive l'insieme dei modelli organizzativi, delle strutture e delle risorse (economiche, personali, professionali) istituzionalizzate al fine di permettere l'erogazione del programma o del servizio, e dal punto di vista operativo con il Service utilization plan, rappresentante le modalità con cui il programma si interfaccia con la popolazione target (Torrigiani, 2014).
Più legato alla program theory di impostazione Weissiana è la program impact theory (Moro, 2005; Torrigiani, 2014), che descrive le sequenze causa-effetto attivanti i processi trasformativi necessari a provocare il cambiamento desiderato nel contesto (persone ed ambiente sociale) in cui il programma si inserisce.
L'interazione fra le azioni, l'implementazione effettiva ed i processi trasformativi da attivare rappresenta l'effettiva Theory Of Change del programma (Weiss, 1998, p.338), costituita da una sequenza di passaggi necessari, dove l'interazione fra le azioni, le precise modalità di implementazione, il contesto interno del programma ed eventuali variabili esterne intervenienti, deve portare all'attivazione di meccanismi trasformativi, realizzanti determinati effetti intermedi, e propedeutici, la cui concatenazione riesce a produrre gli effetti finali ipotizzati (Weiss, 1998; Mayne, 2012; Taplin et al, 2013).
5 “ (…) la moderazione esprime una relazione condizionata in quanto concerne il «quando e in quali circostanze» si verifica le relazione originaria fra indipendente e dipendente, mentre la mediazione è una variabile esplicativa in quanto concerne il «come e perché» di questa relazione.” (Pietrantoni, Prati, 2008)
Tra gli elementi più importanti che distinguono la valutazione basata sulla teoria da altri modelli di valutazione, specialmente da quelli sperimentali, figura l'attenzione al contesto specifico del programma come fattore interveniente dirimente rispetto ai risultati del programma (Mayne, 2012). L'efficacia dei programmi è determinata da meccanismi che dipendono dalle specifiche azioni implementate, inserite nel quadro organizzativo del sistema dei servizi istituzionali, ma anche dalle caratteristiche, e dalle risposte, del target di riferimento, che a sua volta si muove nel più ampio contesto socio-culturale e socio-economico (Weiss, 1998, p.132-136; Torrigiani, 2014). Tutti questi fattori possono costituirsi come fattori che facilitano od ostacolano il conseguimento dei risultati previsti (Mayne, 2012).
I programmi sono dunque embedded in specifici contesti (Torrigiani, 2014), la cui complessità è data non solo dalla moltitudine e dalla differenziazione degli attori, ma anche dai rapporti di interazione ed influenza reciproca fra differenti organizzazioni, differenti interessi, diverse mission, spesso legate da orizzonti spazio-temporali orizzontali e verticali differenti, talvolta gerarchizzati (Stame, 2004). E' il caso, ormai tipico di politiche ed organizzazioni pubbliche, dunque anche programmi, che operano in territori diversi (es. zone-distretto), dove i processi decisionali, programmatori e attuativi sono diffusi a vari livelli gerarchici (es. stato, regioni, ASL), e dove anche a livello di implementazione è necessaria la cooperazione fra servizi e figure professionali differenti, costituendosi inevitabilmente come contesti complessi (Stame, 2004; Rogers, 2008; Torrigiani, 2014).
Tale ruolo giocato dal contesto deve essere tenuto in considerazione nell'atto di ricostruzione di