2. Il quadro di riferimento
2.1. Gli aspetti di indirizzo
2.1.3. Excursus storico Paesi Anglosassoni
La digressione storica sullo sviluppo della valutazione delle politiche nei paesi anglosassoni che verrà affrontata in questo paragrafo è necessaria per sostenere alcune argomentazioni di fondo per il percorso di ricerca. Nello specifico si concentrerà l'attenzione sui seguenti elementi:
l‘attuale concezione della valutazione è frutto di un complesso processo che ne determina le principali linee di impiego odierne;
le differenti fasi di diffusione della valutazione sono incardinate in mutamenti strutturali complessivi ancora più grandi che ne influenzano le caratteristiche costitutive;
Questi punti sono strettamente collegati tra loro. L‘odierno utilizzo della valutazione delle politiche, infatti, presenta un‘eterogeneità di approcci che derivano dagli esiti delle precedenti applicazioni, ma che di volta in volta sono associati ad un più grande obbiettivo sociale, economico, o scientifico che ne determina l‘orientamento e la struttura74. Conferme sull‘opportunità di questa
74 Su questo punto già Weber aveva sottolineato come le categorie e i modelli adottati possano essere più o meno validi in base, secondo la sua terminologia, ad un ―orientamento concettuale della realtà empirica‖. ―Non c‘è nessuna analisi scientifica puramente ―oggettiva‖ della vita culturale o (ciò che forse è più ristretto, ma che non vuol dire di certo nient‘altro per il nostro scopo) dei ―fenomeni sociali‖, indipendentemente dai punti di vista specifici e ―unilaterali‖, secondo cui essi (espressamente o tacitamente, consapevolmente o inconsapevolmente) sono scelti come oggetti di ricerca, analizzati e organizzati nell‘esposizione Il fondamento di ciò sta nel carattere specifico del fine conoscitivo di ogni lavoro di scienza sociale, che voglia procedere oltre una considerazione
della formazione della conoscenza come outcome delle politiche socio-educative.
riflessione si possono ritrovare nella ricostruzione della disseminazione della valutazione proposta da Vedung. Vi sono diverse storiografie della valutazione molto dettagliate75, ma questa in particolare descrive le diverse fasi come ―ondate‖ successive che hanno depositato i sedimenti che formano le attività valutative odierne76. La metafora è adatta all'obiettivo di dimostrare che le diverse coincidenze temporali di fattori socio-economici, legate ad un solo fattore principale come ad esempio la crisi finanziaria del 2008 o endemiche come la crisi dei sistemi di Welfare causati da fattori biologici, demografici, socio-culturali etc., determina un'attenzione diversa verso il processo valutativo che quindi si struttura di conseguenza. Le caratteristiche delle quattro ondate successive sono condivise dai paesi dell'area nord-atlantica, naturalmente con le specifiche singole accezioni. La prima ondata "guidata dalla scienza" (science-driven wave), inizia sul finire degli anni cinquanta e si consolida nella metà degli anni sessanta, basandosi sulla convinzione che il capitalismo e l'economia di mercato potevano essere imbrigliati da azioni di pianificazione politica e interventi pubblici appropriati. Per ottenere il loro obiettivo i decisori politici si trovano obbligati ad interagire con la comunità scientifica dei valutatori che in quel periodo è affascinata dal cosiddetto modello ingegneristico (engineering model). L'unione del radicalismo razionale dei decision maker con l'empirismo strumentale dei valutatori devono quindi assicurare la determinazione della migliore modalità di azione prima che l'intervento venga implementato su larga scala. Gli obiettivi, decisi a livello esterno, vengono consegnati ai ricercatori professionisti che ne controllano le modalità di implementazione attraverso sperimentazioni con gruppi di controllo.
A partire dalla fine degli anni sessanta il sistema del General Accounting Office (GAO), al cui interno è prosperata una Program Evaluation Methodology Division, è stato uno dei centri propulsori della pratica e della metodologia della valutazione dei programmi pubblici federali negli Stati Uniti. Il GAO non è un organo di magistratura, come nel caso della Corte dei Conti italiana, bensì un organizzazione del Congresso, che lavora in modo bipartisan per tutti coloro che chiedono valutazioni (partiti, singoli deputati, dipartimenti etc.), e che contribuisce alla funzione di controllo sull‘esecutivo svolta dal Congresso. Questo tema è stato molto dibattuto nell‘analisi comparativa dei sistemi nazionali di valutazione, perché la maggior parte dei sistemi nati negli anni ‘80 con il New Public Management, la terza ondata, sono invece legati all‘esecutivo, o addirittura ad un Ministero, solitamente quello delle Finanze77.
puramente formale delle norme (giuridiche o convenzionali) della sussistenza sociale‖. WEBER M., Il metodo delle scienze storico-sociali, Torino, Einaudi, 1974, p. 84.
75 Cfr. C
IUCCI F., La valutazione delle politiche e dei servizi sociali. Partecipazione, metodo, qualità,
Milano, Franco Angeli, 2008; DE AMBROGIO U. (a cura di), Valutare gli interventi e le politiche
sociali, Carocci, Roma 2007; STAME N., L‘esperienza della valutazione, Roma, Ed. Seam, 1998. 76 VEDUNG E., Four Waves of Evaluation Diffusion, Evaluation, SAGE Publications, 16(2010)3 pp. 263 - 277.
77 STAME N., Valutazione, controlli e pubblica amministrazione, in Rassegna Italiana di Valutazione, Milano, Franco Angeli, 12(2008)40, 49.
La seconda fase, ondata orientata al dialogo, La seconda fase, ondata orientata al
dialogo, si avvia nei primi anni '70, quando inizia a mancare la fiducia nella
valutazione sperimentale e le aspettative di un governo guidato dai metodi scientifici di ricerca vengono meno. L'assessment si trasforma divenendo pluralistico a causa del crescente rilievo dei grandi stakeholder (ad esempio i rappresentanti del settore pubblico ospedaliero). L'ideologia alla base di questo movimento di partecipazione democratica, in questo caso chiaramente di sinistra, si trova però ad affrontare una deriva elitista e centralista che controbilancia la spinta verso un democrazia deliberativa ancora più rappresentativa.Le tecniche di pianificazione e programmazione che si sviluppano in queste prime due fasi vengono quindi mobilitate per migliorare politiche pubbliche in un contesto di relativa stabilità di bilancio supportato da politiche economiche di stampo
keynesiano78.
Le credenze ideologiche, le tattiche partitiche e le conoscenze aneddotiche sono proprio le cause dei fallimenti politici e valutativi addossati dalla terza ondata
neoliberista alle due precedenti. Le pratiche dialogiche con gli stakeholder ormai
incorporate nella prassi e nella logica valutativa sono promosse a tutt'oggi. Tuttavia la nuova fase si presenta come una frattura, uno scostamento netto dalle esperienze precedenti; la locuzione più ripetuta di questa nuova fase è New Public
Management79, mentre gli obiettivi chiave sono la deregolamentazione, la
privatizzazione, l'efficienza e la disposizione verso il cliente. In pratica gli elementi
precedenti sono riassunti sinteticamente nell'"orientamento al mercato" che si esplica in tre fattori principali: la fiducia nella leadership che genera organizzazioni orientate al raggiungimento dei risultati; il controllo statale indiretto attraverso le privatizzazioni; il customer focus per riformare le organizzazioni in base ai bisogni e alle preferenze dei clienti/utenti. Il processo valutativo diviene, quindi, il semplice mezzo per controllare il flusso delle informazioni che si instaura tra gli utenti e il
management (accountability, misurazione delle performance e consumer satisfaction).
78 M
AIRATE A., Quale futuro della valutazione in Europa, in Rassegna Italiana di Valutazione,
10(2006)34, 75-80.
della formazione della conoscenza come outcome delle politiche socio-educative.
Figura 2.1.3 Gerarchia delle evidenze nella Meta-analisi80
L'ultima onda basata sulle evidenze riguarda il nostro specifico campo di ricerca. Si sviluppa alla fine degli anni '90 e si diffonde in tutta l'area dei paesi nord- atlantici molto velocemente, sebbene tutt'ora la sua popolarità non sia ai livelli della prima e della terza. I grandi enti internazionali di cooperazione sono tra gli artefici di questa svolta, perché introducono la revisione sistematica delle evidenze degli interventi in tutti i settori in cui operano: servizi sociali, salute pubblica,
education, prevenzione del crimine, progetti interculturali. Questo approccio che si
diffonde anche a livello della governance nazionale viene interpretato come la rinascita del metodo sperimentale e dell'esperimento attraverso gruppi di controllo casuali. i sostenitori di questo movimento si ispirano allo slogan "Quello che conta
è cosa funziona" (What matters is what works), che modifica anche il ruolo della valutazione in due modi: si apre il campo della ricerca valutativa anche per le università e altre organizzazioni al di fuori della commissione pubblica o privata; i policy maker del settore pubblico devono condurre studi all'interno del proprio
lavoro clinico.
In realtà, nel campo delle politiche sociali, a livello internazionale, si registra una lunga storia di disaffezione pubblica verso gli esperti e verso gli approcci non sistematici alle evidenze delle ricerche, soprattutto in campo medico, ma gradualmente anche negli altri ambiti. Per questo motivo a partire dagli anni sessanta i ricercatori americani hanno già sviluppato strumenti di sintesi delle ricerche. Da ricordare in questo senso gli sforzi dello psicologo educativo Gene Glass e di sua moglie, la psicoterapista Mary Lee Smith, che raccolsero 833 indicatori di effetto derivanti da 375 studi ottenuti da più 1000 citazioni per scoprire se la psicoterapia fosse o non fosse efficace81. La loro conclusione sulla validità della psicoterapia rassicurò i psicoterapeuti molto più di quanto non fece la ricerca di Fisher del 1973 in campo degli interventi sociali, a conclusione della quale
80 Adattamento di Vendung 2010; Cfr PAWSON R., Evidence-Based Policy: A Realist Perspective, London, Sage, 2006, p.49.
81 Cfr OAKLEY A., Social Science and Evidence-based Everything: The case of education, Educational Review 54, 11(2002)3, 277-286
risultò evidente come i soggetti non aiutati non peggioravano, e talvolta ottenevano risultati migliori, rispetto ai beneficiari dei programmi82. Un altro esempio di programmi rivelatisi inefficaci o dannosi ad una valutazione rigorosa, ma ritenuti utili inizialmente rispetto all'osservazione empirica, è la revisione sistematica del programma "scared straight" per la prevenzione del crimine.
Tabella 2.1.3 Ricerca sistematica sulla prevenzione del crimine: logica della ricerca e efficacia dichiarata Interventi efficaci Interventi inefficaci Logan 1972 (N= 100 studi)
Gruppi di controllo casuali 27% 73%
Gruppi di controllo non
casuali 50% 50%
Nessun gruppo di controllo 69% 31%
Wright & Dixon 1977 (N= 96 studi)
Gruppi di controllo
casuali/corrispondenti83 25% 75%
Altri gruppi di controllo 51% 49%
Questo tipo di scoperte derivanti da rapporti sintetici delle ricerche sono molto rilevanti negli ambiti, come quello educativo e formativo, in cui la gran parte dei "risultati" derivano da ricerche qualitative su piccola-scala (microanalisi), e sono fortemente dipendenti dal giudizio dei ricercatori sulle proprie azioni, e/o provengono da interventi inadeguatamente valutati.
In conclusione di questa breve disamina storica è utile richiamare un'altra metafora, quella generazionale84, che offre una visione ancora più chiara della sovrapposizione di queste quattro fasi sulla linea temporale. Come le generazioni umane, svariate filosofie valutative possono esistere contemporaneamente e addirittura coesistere. Se la valutazione è comune prassi in tutto il mondo è comunque sempre importante ricordare che il suo sviluppo è rimasto fortemente
82 OAKLEY A., Social science 277
83 La corrispondenza è una tecnica statica che viene usata per valutare gli effetti di un trattamento comparando i soggetti partecipanti con quelli del gruppo di controllo con una logica non sperimentale (quando il trattamento non è assegnato aleatoriamente). Gli studiosi utilizzano questa tecnica nelle osservazioni sperimentali. L'idea di fondo è trovare per ogni unità sottoposta al trattamento una unità non trattata con caratteristiche osservabili simili. Accoppiandole (matching) e osservando le loro differenze medie, si possono valutare, in alcune condizioni, l'effetto puro del
trattamento. Traduzione propria da fonte Wikipedia:
http://en.wikipedia.org/wiki/Matching_(statistics)
della formazione della conoscenza come outcome delle politiche socio-educative.
differenziato sotto il profilo temporale e dei modelli di riferimento e che quindi il confronto tra sistemi è .
Queste argomentazioni dimostrano, innanzitutto, come vi sia l‘opportunità di elaborare strumenti di analisi specifici per oggetti di studio storicamente situati e come le teorizzazioni e i metodi determinino l‘impianto di tali dispositivi.
In secondo luogo diventa necessario saper comprendere le tendenze a livello economico strutturale e politico per riuscire ad interagire. Infine, proprio in base a queste ultime riflessioni, vale la pena di cogliere l'occasione di prevedere una quinta ondata. L'imprevedibile aumento delle risorse tecnologiche e conoscitive spinge la valutazione ad ampliare i propri orizzonti conoscitivi integrando ed adattandosi alle opportunità offerte dai differenti saperi disciplinari. Allo stesso tempo l'impulso alla riduzione della spesa di welfare ritenuta inefficiente non accenna a ridursi richiedendo sempre maggiori evidenze empiriche come protasi del successo del finanziamento85. Pertanto anche l'approccio evidence-based dovrà aprirsi ad ottiche di ricerca di lungo periodo che colgano il valore del capitale sociale e della social cognition in termini di abbattimento della spesa pubblica (salute, educazione, previdenza etc.).