Le tipologie della valutazione

Al fine di delineare gli obiettivi e le metodologie della valutazione si proporre una classificazione tipologica, in due grandi categorie, degli approcci valutativi utilizzati operativamente: la prima che fa riferimento alla normativa europea e la seconda che fa riferimento alla derivazione economica input-output.

Di seguito si riassumono le caratterizzazioni delle due categorie.

2.5.3.1 La valutazione come azioni indipendenti collegate

La prima categoria di valutazione fa riferimento alla normativa europea, la quale con il Regolamento CE 1083/2006 specifica all‘art. 47 che le valutazioni sono volte a migliorare la qualità, l‘efficacia e la coerenza degli interventi delle politiche. Le indicazioni della normativa europea precisano, peraltro, come il processo di valutazione debba essere caratterizzato da una natura strategica (nel caso in cui si analizza l‘evoluzione di un intervento) e da una natura operativa al fine di contribuire alla sorveglianza di un programma o di un intervento. Successivamente viene spiegato che queste valutazioni devono essere realizzate necessariamente sia prima che durante e dopo il periodo di programmazione. Inoltre il regolamento già citato stabilisce all‘art.48, in riferimento alla valutazione ex-ante, che essa è volta ad ottimizzare l‘attribuzione delle risorse ed a migliorare la qualità della programmazione dei programmi operativi. In seguito si determina che la valutazione deve identificare le disuguaglianze esistenti, prevedere i risultati e gli scopi da raggiungere. In seguito, lo stesso documento precisa che dopo la conclusione dell‘intervento si deve realizzare una valutazione ex-post ai fini di analizzare il grado di utilizzazione delle risorse impegnate, l‘efficienza e l‘efficacia dell‘intervento, nonché l‘impatto socioeconomico.

della formazione della conoscenza come outcome delle politiche socio-educative.

La normativa europea quindi identifica per la valutazione tre tipologie: ex ante, in

itinere, ex post, ovvero prima, durante e dopo l‘attuazione di un progetto sociale.

La valutazione ex ante precede l‘avvio del progetto, e deve riassumerne le finalità generali e gli obiettivi specifici; deve comprendere inoltre i dati sull‘utilizzo delle risorse del territorio, le modalità di selezione del target di intervento e gli strumenti di valutazione in itinere ed ex post. Questa prima fase è destinata ad assicurare la coerenza e la trasparenza dell‘intero programma. La valutazione in itinere (chiamata anche ―intermedia‖ nei manuali della Commissione Europea) ha lo scopo di monitorare l‘intero processo, esaminando di volta in volta i primi risultati al fine di provvedere ad eventuali aggiustamenti in corso d‘opera. Nel procedere degli interventi infatti possono venire alla luce alcuni aspetti, favorenti od ostacolanti, non considerati prima, e si può rendere utile modificare quanto preventivato. Nella pratica, la valutazione in itinere è estremamente importante, in quanto raramente si riesce ad applicare in tutto e per tutto quanto previsto. La valutazione ex post è la valutazione come solitamente viene intesa: si tratta di considerare i risultati dell‘intero programma, analizzandone i costi sostenuti e i benefici ricevuti anche in termini di impatto sul bisogno iniziale. Essendo perciò una sorta di giudizio finale sull‘intera esperienza, abbisogna di un tempo lungo di elaborazione e stesura finale: nelle sue linee guida, la Commissione Europea (1999, volume I) indica un tempo variabile dai dodici ai diciotto mesi, precisando che sarebbe utile produrre, poco dopo la conclusione, un primo rapporto provvisorio che orienti nelle prese di decisione per il futuro.

Queste tre forme sono considerate, da alcuni autori284 troppo generiche; infatti Bezzi propone una sua classificazione, definita non in contrasto con le precedenti, ma integrante le stesse. Palumbo parte dalla classica tripartizione (ex ante, in itinere, ex post) e specifica, per ognuna di esse, alcuni punti a cui prestare attenzione, riepilogandoli in schemi distinti; per tale autore la valutazione ex ante mira a conoscere:

1. l‘efficacia esterna, ovvero il grado di copertura del bisogno assicurato dal progetto;

2. l‘efficacia interna, data dalla relazione fra obiettivi e risultati attesi;

3. l‘efficienza (che ritornerà anche nelle altre due fasi);

4. la coerenza interna al programma, ovvero determinare se tutti gli obiettivi parziali sono coerenti con le finalità generali, o esterna, che riguarda il grado di concordanza fra obiettivi generali e finalità del decisore tecnico e/o politico;

5. adeguatezza delle procedure per raggiungere gli obiettivi.

Nella valutazione in itinere, invece, bisogna prestare attenzione a: a) efficienza; b)

efficacia. In sostanza, la valutazione in itinere cerca di rispondere a due domande

284 _{Cfr B}

EZZI C., Il disegno della ricerca valutativa, Milano, Franco Angeli, 2001; Cfr.PALUMBO M., Il

processo di valutazione. Decidere, programmare, valutare. Teoria, metodologia e ricerca, Associazione Italiana di Valutazione, Milano, Franco Angeli, 2001 p. 205 e ss.

fondamentali: ―l‘intervento sta funzionando come previsto?‖ e ―l‘intervento sta realizzando i risultati per cui è stato attivato?‖.

Infine, la valutazione ex post, costituita da una serie di elementi:

a) utilità del programma (definita anche come ―efficacia esterna ex post‖ da Palumbo), ossia il grado in cui i risultati hanno influito sui bisogni. Si tratta quindi della valutazione di outcome;

b) efficacia interna ex post, paragonando risultati attesi e ottenuti;

c) efficienza, che può dare indicazioni importanti sulla corretta allocazione delle risorse e sul suo utilizzo in programmi futuri.

In aggiunta, gli autori ricordati, introducono un elemento molto importante, utile alla strutturazione del framework di questa Tesi, cioè la valutazione relativa alla

trasferibilità e alla riproducibilità degli interventi negli stessi o in altri contesti, al

fine di definire delle buone pratiche; questo aspetto è diventato cruciale negli ultimi anni, in quanto la riduzione delle risorse a disposizione ha portato i decisori ad essere sempre meno disponibili ad azioni sperimentali pilota, per investire più a vantaggio di interventi che abbiano già manifestato la loro efficacia. Per gli scopi di questa Tesi, la riproducibilità e la trasferibilità rappresentano il mezzo per stabilizzare e migliorare la conoscenza sulle tematiche delle politiche e quindi sulla facilitazione che possono apportare allo sviluppo delle politiche stesse.

2.5.3.2 La valutazione come processo di trasformazione

La seconda categoria raccoglie tutte le istanze degli approcci che riguardano la struttura del processo di valutazione composto da contesto, struttura, processo ed

esito.

Tramite la valutazione di contesto si viene a conoscere la realtà sociale, politica ed economica all‘interno della quale si inserisce una politica socio educativa e i suoi interventi. In questo tipo di analisi, che dovrebbe essere fatta in buona parte in sede di progettazione, ricoprono particolare importanza le risorse (e le carenze) della comunità che potrebbero facilitare (o ostacolare) il progetto stesso, oltre che i bisogni del territorio. È utile pertanto identificare i servizi, le istituzioni, le associazioni che potrebbero essere interessate allo sviluppo dell‘intervento, prendere contatto con i leader di comunità (formali e informali) e prevedere momenti di incontro. Particolare attenzione va posta al problema della legittimità dell‘intervento: ovvero, il progetto si sovrappone a qualche altra realtà già esistente? Se si, come sono i rapporti con essa, e come si prevede possano cambiare? Ci sono istituzioni pubbliche pronte a riconoscere l‘intervento? Il termine di ―valutazione di contesto‖ non è molto usato in letteratura, probabilmente perché solitamente si intende la valutazione come un‘attività da mettere in pratica

ex post, mentre in questo caso siamo ancora nella fase ex ante; inoltre, spesso

molte informazioni si pensa di conoscerle, o non ci si pone affatto il problema. È indubbio però che una buona valutazione di contesto sia estremamente importante, in quanto aumenta le probabilità di successo e limita i fallimenti.

della formazione della conoscenza come outcome delle politiche socio-educative.

La valutazione di struttura esamina la costruzione stessa del progetto: partendo dall‘analisi dei bisogni che hanno fatto nascere l‘esigenza di intervento, si verifica che le azioni pensate vadano nell‘effettiva direzione della risposta al bisogno. Si dovrebbe partire, quindi, dalla procedura utilizzata per conoscere i bisogni, ovvero: da cosa si è partiti per dire che c‘era un bisogno sul territorio (da dati epidemiologici, da reclami degli utenti, dalla consapevolezza della mancanza di alcuni servizi,….)? Nel progettare un intervento, bisogna in questa fase distinguere fra ―finalità‖ (anche dette ―scopi‖ o ―obiettivi generali‖) e ―obiettivi‖ specifici285: i primi si riferiscono alle aspirazioni generali di un progetto (ad esempio, ―contribuire alla riduzione delle disuguaglianze sociali‖) e difficilmente sono quantificabili, mentre per ―obiettivi‖ si intendono le azioni da portare a termine, i passi da fare concretamente. Sapere preliminarmente quali sono le aspirazioni generali e gli obiettivi concreti, indirizzerà gli sforzi in direzioni ben precise durante la fase di raccolta dati.

La valutazione di processo ha l‘obiettivo di monitorare il percorso di un intervento, dall‘inizio alla conclusione; essa dovrebbe garantire che le diverse azioni prestabilite siano messe in pratica nella maniera più corretta. La valutazione di processo si rende necessaria in quanto è molto difficile che un intervento segua fedelmente le tappe pensate in precedenza: il più delle volte si ha invece a che fare con intoppi più o meno importanti. Per esempio, basta che slittino i tempi di approvazione di un intervento, che le azioni pianificate subiscano un ritardo che causerà a sua volta uno slittamento delle azioni, o un loro concentramento in un lasso di tempo inferiore, con tutte le difficoltà connesse. Valutare il processo significa, anche, verificare la corrispondenza fra quanto teorizzato e quanto realizzato, prendendo in considerazione anche le risorse impiegate e il target di popolazione raggiunto. Si otterranno in questo modo indicazioni sulle parti dell‘intervento più critiche, quelle di più facile o difficile applicazione; l‘analisi di questi aspetti si rifà alla valutazione del contesto, in quanto si tratta di accertare che gli ostacoli o le facilitazioni previste si siano rilevati tali. In alcuni casi, la presentazione dei risultati di un intervento non fornisce indicazioni sufficienti su cosa abbia funzionato e cosa no: la valutazione di processo allora diventa fondamentale. Ad esempio, volendo organizzare un ciclo di conferenze riguardanti un certo argomento educativo, e aspettandosi un certo numero di presenze alla fine delle conferenze, oltre al numero degli intervenuti, si potrebbe interrogarsi sui modi in cui le conferenze sono state pubblicizzate: l‘informazione è stata sufficiente? È stata fatta nei modi adeguati, nei posti giusti e nei tempi giusti? Valutare bene il processo, quindi, significa costruire le condizioni per il successo, perché è da questa fase che emergono le condizioni favorenti od ostacolanti; inoltre, una buona valutazione di processo è preliminare ad una possibile disseminazione dell‘esperienza; allora, sono possibili tre le domande: 1) l‘intervento raggiunge tutta la popolazione beneficiaria? 2) L‘intervento è accettato

dalla popolazione beneficiaria? 3) L‘intervento è implementato come era stato pianificato?

La valutazione di esito o di risultato presuppone la verifica del lavoro svolto e la conoscenza dei fattori che hanno favorito o ostacolato il processo. Ci sono due parametri fondamentali da tenere in considerazione: l‘efficacia, che misura il grado di raggiungimento di un obiettivo e che valuta gli effetti di un intervento, e l‘efficienza, che misura il rapporto costi – benefici, ovvero il rapporto fra quanto si è speso (non soltanto in termini economici, ma anche di risorse umane) e i risultati ottenuti. In breve, l‘efficacia cerca di rispondere alla domanda: si è ottenuto quello che si era preventivato di ottenere? L‘efficienza invece cerca di rispondere alla domanda: quello che si è ottenuto, lo si poteva ottenere con costi minori? (oppure, con gli stessi costi si potevano ottenere risultati migliori?) La valutazione non si esaurisce però con la stima di questi due parametri: bisogna considerare gli

outputs e gli outcomes: la traduzione dall‘inglese dei due termini è praticamente la

stessa (―risultato‖), ma con una differenza sostanziale: l‘output è il prodotto del progetto, quello che si è realizzato concretamente, mentre l‘outcome rappresenta l‘impatto dei risultati del progetto sui bisogni iniziali, e come questi si siano ridotti grazie all‘intervento messo in campo. Dall'insufficienza dei soli indicatori di primo tipo, pertanto, si può affermare che "quando si considerano come risultati di una politica pubblica gli indicatori di un output non si fa valutazione in senso stretto"286. Ad esempio, si decide di attuare un intervento per la riduzione degli incidenti stradali in una determinata strada e di voler costruire a questo scopo una rotatoria. La costruzione della rotatoria sarà l‘output, ovvero il risultato finale, concreto dell‘intervento; l‘outcome è in questo caso l‘effettiva riduzione del numero di incidenti stradali. Da questo semplice esempio si capisce come, in molti casi, valutare l‘output è abbastanza semplice (è sufficiente controllare che la rotonda sia stata costruita), e sia invece più complicato valutare l‘outcome, perché per farlo occorre misurare il traffico e il numero di incidenti prima e dopo la rotatoria in un certo lasso di tempo; in questo caso l‘outcome è ancora abbastanza semplice da valutare, ma in altri casi la situazione si può complicare. Secondo Green e Kreuter287, gli outcome possono essere distribuiti temporalmente in breve, medio e

lungo termine; a breve termine vengono indicati l‘incremento delle conoscenze, il

cambiamento delle norme sociali, il cambiamento di atteggiamenti, credenze e comportamenti, la creazione di politiche supportive e il miglior accesso alle risorse. Gli outcome a medio termine riguardano l‘empowerment (individuale e sociale), la riduzione dei fattori di rischio, l‘aumento della soddisfazione di vita, l‘aumento del benessere, l‘uso appropriato delle risorse, il miglioramento dell‘immagine dei servizi, l‘aumento del senso di comunità . Gli outcome a lungo termine a livello generale consistono nell‘espansione della consapevolezza della salute nella

286 _{RADAELLI C.M., Valutare le politiche pubbliche. Metodologia e cultura di un approccio di ricerca,} in Censis, Speciale valutazione.Note e commenti, (1991)1/2, p. 29

287 _{Cfr. G}

REEN L.W.-KREUTER M.W., Health promotion planning: An educational and ecological

approach, Mountain View, Mayfield Publishing, 1999. Vedi Terzo e Quarto Capitolo in riferimento al frame work di valutazione.

della formazione della conoscenza come outcome delle politiche socio-educative.

società, e si traducono in un aumento della qualità della vita, in una riduzione della morbilità, nell‘aumento della competenza dei servizi e della competenza della comunità.

Figura 2.2.2.3 - Le fasi di un intervento e le tipologie di valutazione associate