Domande I risultati corrispondono
2.8 Metodi per la valutazione di una politica sociale: elementi di criticità
L’insieme dei metodi principalmente utilizzati nella pratica valutativa contribuiscono, ognuno con le proprie peculiarità, a migliorare e semplificare lo studio delle misure, delle azioni e degli interventi che le politiche attuano per la risoluzione di uno o più problemi collettivi. Ognuno di essi, nelle diverse fasi del ciclo di vita di una politica, permette di fare assunzioni e dare spiegazioni di quello che potrebbe accadere, che sta accadendo o che è
61 accaduto con la messa in opera di politiche di intervento.
Se da un lato, quindi, tali metodi risultano vantaggiosi, dall’altro devono fare i conti con una serie di elementi di criticità legati al metodo stesso e al contesto in cui trovano applicazione.
Nell’ambito delle politiche sociali, tali criticità si legano in particolar modo alla difficoltà di quantificare l’esito o il risultato di un intervento. Ciò riguarda tutti quei metodi che vengono utilizzati per rispondere a questo tipo di domanda valutativa (tabella 2.4).
Tutte le tecniche che vanno sotto il nome di analisi di efficienza stimano separatamente gli effetti degli interventi sugli individui, guardano cioè alle modalità con cui aumenta il benessere del singolo soggetto in conseguenza delle misure di politica sociale adottate. Nelle politiche sociali, per la quasi totalità dei casi, le azioni non sono rivolte solo a singole unità di analisi, ma all’insieme di soggetti inseriti in particolari contesti sociali. Il presupposto per l’attuazione delle misure dovrebbe, infatti, tener conto delle diverse interazioni tra gli attori coinvolti.
I metodi previsionali basati sulla costruzione del giudizio da parte degli stakeholder, la tecnica Delphi, la Nominal Group Technique (NGT) e l’analisi multicriteriale (AMC), hanno sicuramente il vantaggio dei ridotti tempi di esecuzione a cui si aggiungono costi molto contenuti. Si tratta, inoltre, di tecniche molto flessibili ed elastiche nelle loro modalità applicative che, rispetto ad altre tecniche, coinvolgono attori rilevanti nel processo di costruzione e attivazione degli interventi, favorendo l’interazione tra di essi e aggiungendo valore all’analisi. Nonostante tanti vantaggi, tali tecniche presentano notevoli criticità dovute, innanzitutto, alla scarsa validità esterna, ossia alla difficile generalizzabilità dei risultati. Inoltre, possono intervenire una serie di problemi di setting che riguardano, da un lato la composizione del gruppo di stakeholder (Quanto deve essere ampio il gruppo? E’ meglio un gruppo omogeneo o composto di persone con competenze ed esperienze diversificate?), dall’altro il tipo di argomentazioni da sottoporre al gruppo di esperti (E’ meglio utilizzare temi astratti che potrebbero condurre ad una dispersione delle informazioni nelle risposte date, o temi più concreti con il rischio di ottenere, invece, risposte limitate?).
Le distorsioni riguardano non solo la scelta degli esperti, ma anche la qualità delle relazioni fra di essi, nonchè le problematiche legate all’interazione dialogica e allo scambio verbale. Si potrebbe verificare un fraintendimento di risposte non sufficientemente chiare (ad esempio nella tecnica Delphi una sintesi mal eseguita sul primo questionario può produrre dei fraintendimenti nei questionari successivi), oppure gli esperti potrebbero avere proprie ragioni per distorcere più o meno consapevolmente l’informazione fornita.
62
Il metodo sperimentale appare come il disegno più solido per valutare l’impatto di un intervento attraverso una stima, quanto più vicina alla realtà, dell’effetto di una politica sui suoi destinatari. Nonostante ciò, anche questo metodo presenta non poche difficoltà di applicazione legate sia al processo di randomizzazione dei destinatari, che appare non sempre semplice, sia alla lunghezza dei tempi di realizzazione. Per l’applicazione di tale metodo il valutatore deve attendere quei risultati fruibili solo al termine di una politica di intervento.
Relativamente alla prima difficoltà, legata alla randomizzazione, Rossi et al (1999) sottolineano quanto tale metodo risulti inapplicabile alle “politiche universali”, ossia a tutte quelle politiche dove non è possibile individuare i singoli individui che usufruiscono di un servizio (gli interventi di tutela dell’ambiente, di circolazione stradale, ecc.). Un limite si evidenzia anche nelle valutazioni in campo medico (clinical trials), dove emergono problemi etici e morali: con quale criterio, che non ledi il diritto di salute del malato, si può decidere quali soggetti includere nel gruppo sperimentale e quali nel gruppo di controllo?
Un altro problema che emerge è quello dell’affidabilità dei risultati: una stima degli effetti sarà sicuramente corretta se si guarda alla validità interna (cioè alla possibilità di ottenere delle stime che effettivamente si riferiscono al contributo netto che un determinato intervento ha prodotto), ma sarà distorta nel caso in cui si vogliano generalizzare i dati ed implementare la politica su vasta scala, dove intervengono una serie di variabili macro economiche difficili da scorporare dall’intera analisi (validità esterna). Un altro limite del metodo sperimentale è legato alla difficoltà di mantenere l’integrità dell’esperimento, ossia la separazione netta fra gruppo di controllo e gruppo sperimentale. Bisogna evitare che i membri del gruppo sperimentale smettano di ricevere il trattamento e che i membri del gruppo di controllo ricevano qualsiasi forma di intervento da cui sono stati esclusi (la figura del cross-over). Esistono, poi, una serie di problemi legati alla mancata o incompleta partecipazione da parte di coloro che sono stati assegnati al gruppo di controllo: le figure del no-show e del drop-out (descritti in nota 29).
I metodi quasi sperimentali tentano di superare i limiti di quelli sperimentali e di estendere l’applicabilità a più situazioni, grazie al fatto che non necessitano sempre di dati sul gruppo di controllo. Il controfattuale viene espresso attraverso informazioni pre intervento sul gruppo dei trattati. Tali informazioni risultano, quindi, più facili da ottenere, interpellando direttamente i beneficiari in un periodo precedente l’intervento, ma si tratta pur sempre di percezioni dei soggetti interpellati che potrebbero risultare più o meno distorte. Inoltre tali metodi partono da un assunto molto forte che produce una certa arbitrarietà nella formulazione delle conclusioni di un processo valutativo. Tale assunto si riferisce
63 all’inesistenza di differenze tra il gruppo dei trattati e quello dei non trattati.
Per quanto riguarda l’approccio realista, l’approccio basato sulla teoria e quello partecipativo, le criticità sono legate alla discrezionalità nelle modalità con cui è condotta la valutazione e alla difficoltà di individuare chi è in possesso delle informazioni giuste. La ricchezza dell’analisi è conseguenza della capacità del valutatore di coinvolgere gli attori giusti, cioè quelli che sono in possesso delle informazioni maggiormente attendibili sui meccanismi che hanno condotto ad un particolare risultato. Inoltre, tali approcci risultano, ognuno nella sua specificità, adatti ad essere utilizzati in modo particolare in quei contesti di cambiamento sociale, tipici delle politiche ed in particolare delle politiche sociali, in cui le azioni sono diverse, mutevoli e reiterate e in cui è difficile isolare i fattori che conducono ad un determinato esito. Si tratta di tutte quelle situazioni in cui la complessità dei bisogni sociali spinge i governi a pianificare strategicamente gli interventi coinvolgendo tutti quegli attori sociali, che pur non avendo potere decisionale, possono condizionare e modificare scelte e atteggiamenti in fase di programmazione, implementazione e valutazione delle politiche.
64
APPROCCIO/METODO
VALUTAZIONE VANTAGGI SVANTAGGI
Analisi di efficienza -Utilizzabile in diversi campi -Stima precisa degli effetti mediante un calcolo economico
Difficile applicazione nel sociale (individuazione quantitativa di costi e benefici)
Tecniche basate sul consenso degli esperti
-Tempi e costi ridotti -Scambio dialogico e negoziazione tra gli attori
-Scarsa generalizzabilità dei risultati
-Problemi di setting/selezione degli esperti
Approccio controfattuale (metodo sperimentale)
-Disegno più solido per valutare l’impatto degli interventi
-Tempi di realizzazione molto lunghi
-Limitata applicabilità -Ostacoli di tipo etico -Scarsa generalizzabilità dei risultati
-Difficoltà nel mantenere l’integrità dell’esperimento Approccio controfattuale (metodo non sperimentale) -Applicabilità a diverse situazioni
-Nessun bisogno del gruppo di controllo
-Nessuna misura precisa della variabile risultato -Facile ottenimento dei dati necessari
-Scarsa validità delle stime dell’effetto della politica
-Non sempre disponibilità di dati pre-intervento
-Dati con poco potere informativo
Valutazione basata sulla teoria e valutazione realista
-Ottenere informazioni sul meccanismo intermedio che produce l’esito
-Far emergere la
complessità piuttosto che ridurla
-Discrezionalità delle modalità con cui è condotta la valutazione -Difficoltà di individuare chi è in possesso delle informazioni giuste
Approccio partecipativo Particolarmente adatto in interventi complessi
-Discrezionalità delle modalità con cui è condotta la valutazione -Difficoltà di individuare chi è in possesso delle informazioni giuste
Tabella 2.4 Principali vantaggi e svantaggi dei metodi tradizionali di valutazione delle politiche
65