Il cosa della valutazione

La valutazione coinvolge diversi evaluandi, come azione, processo, progetto, programma, politica273, ecc., e tempi diversi, come iniziale, in itinere, finale e

272 _{Cfr. ROSSI P.H. - FREEMAN H.E. - LIPSEY M.W., Evaluation – A systematic approach, SAGE} Pubblication, Housand Oaks, 1999, VI Ed, pp12-17.

273 _{In questa considerazione rientrano tutte le azioni di carattere sociale. Assumono particolare rilevanza le} “politiche educative”, a cui le altre tipologie di evaluandi sono corrispondenti (ad esempio lo studente, il processo di insegnamento-apprendimento, la programmazione scolastica, la politica della riduzione di orario

susseguente. Ogni evaluando richiede una particolare attenzione e l‘uso di metodi e tecniche appropriati. L‘azione individuale o collettiva, in termini valutativi, rappresenta la determinazione deliberativa che innesta una decisione o a livello di singola persona o a livello di collettivo. In quest‘ultimo caso rientra in un ambito disciplinare e si collega agli aspetti della valutazione come o ricerca o valutazione di di programma/politica.

Il progetto valutativo è da considerare come un‘azione composita non divisibile (insieme stabilito di fasi di e attività) dotata di un modello organizzativo, gestionale, una pianificazione e un budget. Il programma valutativo, invece, si presenta generalmente come un insieme coordinato di azioni i cui obiettivi operativi sono dettagliati, con vincoli temporali e di bilancio. In genere, un programma è multisettoriale e multi obiettivo e può comprendere anche diversi progetti valutativi integrati tra di loro274.

La politica può essere intesa come un insieme di interventi o misure che condividono lo stesso obiettivo generale, ma con obiettivi specifici, pianificazioni e modelli organizzativi e gestionali distinti. In questo caso la valutazione è condizionata dal ruolo giocato dagli attori, dalle risorse disponibili (finanziarie, politiche, organizzative, di conoscenza), da condizioni ambientali (turbolenze, congiunture), da poste in gioco e regole di interazione. La valutazione in questo caso è organizzata secondo una delle struttura composite già indicate, come il programma o il progetto. Il successo della valutazione, in questo caso, dipende dalla sua capacità di generare ―feed-back‖ utilizzabili all‘interno del processo di formulazione e di attuazione delle politiche.

Rispetto agli evaluandi concretamente ciò che si valuta dipende dagli obiettivi posti: ad esempio, si valuta per rendere conto di ciò che è stato fatto? Si valuta per sapere se ciò che è stato fatto soddisfa i beneficiari diretti? Si valuta per intraprendere dei miglioramenti e come attuarli? Si valuta per sapere quale è stato il costo? Si valuta per sapere cosa si è prodotto? Si valuta per sapere se un intervento è fattibile, se è accettabile (grado di condivisione), se è appropriato (grado di utilità dell‘intervento rispetto al problema/domanda da affrontare), se è efficiente (capacità di raggiungere i risultati attesi con il minor costo possibile), se è efficace ( capacità di un intervento di raggiungere i risultati attesi), se è gradito, e così via.

In particolare considerando per un evaluando composito la sua struttura, il processo che compie, gli esiti della sua azione e il contesto in cui e con cui opera, la valutazione costruisce un impianto che ritiene più adeguato per soddisfare gli scopi stabiliti. Specificatamente l‘impianto può contenere:

scolastico). Per le politiche educative, nazionali e territoriali, si approfondiscono l‟istruzione e la formazione, formale e non formale, lungo l‟arco della vita, ovvero il lifelong learning.

274 _{Nell‟accezione, ad esempio, dell‟Unione Europea un Programma è composto da misure e ogni misura da} un insieme di progetti selezionati con criteri definiti a livello di programma. La valutazione di un programma è più complessa della valutazione di un progetto, soprattutto perché non sono sempre chiare le connessioni fra le parti, non è agevole scoprirne la teoria, seguirne lo sviluppo, costruire plausibili funzioni valutative di effetti ed impatti sinergici.

della formazione della conoscenza come outcome delle politiche socio-educative.

 le domande valutative: è dalla formulazione dei quesiti valutativi che prende forma la funzione valutativa, ovvero la mappa (quasi sempre incompiuta e mutabile) delle relazioni complesse che unisce gli obiettivi valutativi, ognuno dei quali comprendente proprietà sottoposte a criteri e opzioni, che si vengono a configurare durante il processo decisionale. Le domande valutative permettono di riconoscere e individuare le dimensioni

valutative rilevanti da cui derivano variabili e indicatori. Ogni domanda

stimola decisioni e giudizi variamente ispirati. Il ciclo di progetto valutativo e la sua struttura logica aiutano la formulazione di giudizi, a riconoscere i criteri di giudizio, a nominarli, a dar loro forma operativa, a seguirne l‘evoluzione di significato. Ad esempio, i criteri valutativi275 più ricorrenti sono: a) criteri per la formulazione delle domande valutative; b) criteri per

l‘analisi dello sviluppo o attuazione della valutazione; c) criteri per l‘analisi valutativa retrospettiva;d) criteri per l‘analisi valutativa previsiva o proiettiva.

 la struttura valutativa: riguarda il progetto valutativo. Partendo dall‘analisi di un intervento sociale che fa nascere l‘esigenza di un‘indagine valutativa, si costruisce un progetto valutativo che sia conforme e coerente con il programma sociale stesso. Nella fase di progettazione, occorre distinguere fra obiettivi generali e obiettivi specifici276: i primi si riferiscono alle

aspirazioni generali di un progetto sociale (ad esempio, ―contribuire alla

riduzione delle disuguaglianze sociali‖) e difficilmente sono quantificabili, mentre per obiettivi specifici si intendono le azioni da portare a termine, i passi da fare concretamente. Sapere preliminarmente quali sono le aspirazioni generali, e gli obiettivi concreti, permetterà di indirizzare gli sforzi di precisazione del progetto valutativo nella direzione che soddisfi gli aspetti proposti dalle domande valutative.

 il processo valutativo: riguarda lo svolgimento delle azioni valutative. I risultati che si rilevano durante lo svolgimento delle azioni valutative sono utilizzate sia per fare proseguire i percorsi dell‘intervento sociale (decisioni) sia per costituire gli stati del processo valutativo. L‘obiettivo principale che si consegue con la valutazione del processo è quello di verificare la corrispondenza fra quanto pianificato, nell‘intervento sociale, e quanto realizzato, prendendo in considerazione anche le risorse impiegate e il target di popolazione raggiunto. Si otterranno in questo modo indicazioni sulle parti più critiche dell‘intervento sociale, quelle di più facile o difficile

275 _{Un criterio valutativo, descritto tramite una enunciazione, presuppone una semantica (significati} e utilità ), una metrica (scala di misura), una funzione di risposta (struttura di preferenza e giudizio). La semantica definisce le modalità con cui il criterio propone una o più dimensioni operative. La metrica indica la scala di misura (nominale, ordinale, intervallare, rapporto): rappresenta, in modo coerente all‘informazione, effetti, performance, impatti, li connette a scale di preferenze e richiama propri metodi di standardizzazione. Perché l‘enunciato che presenti un‘espressione quantitativa o qualitativa, anche solo verbale, - di un punto di vista di obiettivi, attitudini o vincoli- diventi un criterio è necessario che si dimostri utile e attendibile per il problema trattato. Cfr. ROSSI.-FREEMAN

-LIPSEY, Evaluation 12-17.

applicazione; la riflessione sui risultati della valutazione di questi aspetti consente anche di esaminare il contesto in cui l‘intervento sociale si applica. Valutare bene il processo significa costruire le condizioni per il successo, perché è da questa fase che emergono le condizioni favorenti od ostacolanti; inoltre, una buona valutazione di processo è preliminare ad una possibile disseminazione dell‘esperienza. Per questa valutazione, sono tre le domande a cui rispondere: 1) il progetto valutativo ha seguito tutte le fasi del corrispondente programma sociale? 2) Il progetto valutativo ha verificato l‘accettazione da parte della popolazione target del programma sociale? 3) Il progetto valutativo è stato realizzato secondo la pianificazione stabilita?

 Il risultato: dal punto di vista della valutazione riguarda la verifica del lavoro svolto e la conoscenza dei fattori che hanno favorito o ostacolato il processo valutativo. Il risultato o output è il prodotto dell‘intervento sociale, cioè quello che si è realizzato concretamente, da una parte, e ciò che si stabilisce al termine di un‘azione di valutazione, cioè una decisone o un giudizio o ambedue, dall‘altra parte. Ci sono due parametri fondamentali da tenere in considerazione: l‘efficacia, che misura il grado di raggiungimento di un obiettivo e che riguarda anche gli effetti di un programma sociale, e l‘efficienza, che misura il rapporto costi – benefici, ovvero il rapporto fra quanto si è speso (non soltanto in termini economici, ma anche di risorse umane) e i risultati ottenuti sia per il progetto valutativo sia per il programma sociale. L‘efficacia cerca di rispondere alla domanda: la valutazione ha accertato che il programma valutativo ha ottenuto quello che era stato stabilito? L‘efficienza invece cerca di rispondere alla domanda: quello che è stato ottenuto dall‘intervento sociale, lo si poteva ottenere con costi minori? (oppure, con gli stessi costi si potevano ottenere risultati migliori?).

 gli esiti: i risultati non esauriscono la valutazione. Infatti occorre anche considerare ciò che permane nel tempo e che può essere attribuito all‘intervento sociale realizzato; in questo caso si tratta degli esiti (outcome) , cioè di conseguenze durevoli nel tempo. Essi si distinguono in a breve,

medio e lungo termine; a breve termine sono indicati ad esempio,

l‘incremento delle conoscenze, il cambiamento delle norme sociali, il cambiamento di atteggiamenti, credenze e comportamenti, il miglior accesso alle risorse. Gli esiti a medio termine riguardano ad esempio l‘empowerment (individuale e sociale), la riduzione dei fattori di rischio, l‘aumento della soddisfazione di vita, l‘aumento del benessere, l‘uso appropriato delle risorse, l‘aumento del senso di comunità . Gli esiti a lungo termine consistono, ad esempio, nell‘espansione della consapevolezza dell‘educazione nella società, e si traducono in un aumento della qualità della vita, nell‘aumento della competenza dei servizi e della competenza della comunità. Per gli esiti si può rispondere alla domanda: se non ci fosse stato il programma sociale (analisi controfattuale), quali effetti si sarebbero

della formazione della conoscenza come outcome delle politiche socio-educative.

evidenziati? Per il lungo periodo una risposta definitiva non è facile da stabilire.

 il contesto: riguarda la struttura dell‘ambito territoriale, sociale, politico ed economico all‘interno della quale è inserito un intervento sociale. In questo tipo di analisi, che dovrebbe essere fatta in buona parte in sede di programmazione del programma sociale stesso277, ricoprono particolare importanza le condizioni e le risorse (e le carenze) della comunità che potrebbero facilitare (o ostacolare) il programma stesso, oltre che i fabbisogni del territorio. È utile pertanto identificare i servizi, le istituzioni, le associazioni che potrebbero essere interessate allo sviluppo del programma sociale, prendere contatto con i leader di comunità (formali e informali). Particolare attenzione in questa sede va posta al problema della legittimità dell‘intervento sociale: ovvero, l‘intervento si sovrappone a qualche altra iniziativa o locale o nazionale? Se si, che tipo di rapporti instaurare con essa, e come si prevede possano uniformarsi e non sovrapporsi?

Dal punto di vista dell‘evaluando complesso si possono distinguere due tipologie di valutazione, cioè: la valutazione di organizzazioni/servizi, che significa verificare in modo sistematico come tali unità utilizzano le risorse loro assegnate, che risultati ottengono, con quali costi; di che livello qualitativo sono i servizi e con quale grado di soddisfazione dell‘utenza. La seconda riguarda la valutazione di un programma/intervento/politica, che significa giudicare il successo dell‘intervento nel raggiungere gli obiettivi che la politica si prefiggeva in termini di effetti prodotti e di interazione con le politiche già in atto.