Valutazione: Una definizione

Definire il concetto di Valutazione significa innanzitutto distinguere la valutazione come attività generale e quotidiana dalla valutazione “istituzionalizzata” o formale, ovvero la valutazione che interessa le politiche sociali. Nella prima accezione, la valutazione è intesa come un'azione che attribuisce un valore, il quale prende di norma la forma di un giudizio più o meno articolato. Nell'accezione istituzionalizzata o formale, il significato si definisce a partire dal rigore metodologico con cui si esercita l'azione di giudizio.

Il concetto di valutazione che qui ci interessa è quello che Bezzi definisce 'competente' oppure 'esperta' ovvero quella per la quale «il valutatore conosce il metodo, ha competenze tecniche ed esperienza ma conosce anche l'oggetto o il processo che deve valutare»38_{. Questa valutazione “esperta”, presenta tra le sue} caratteristiche distintive proprio l'essere solida e rigorosa sia nel procedimento attraverso il quale «vengono raccolte ed elaborate le informazioni che supportano il giudizio» (Palumbo 2001, pag.51) sia nel processo di lavoro valutativo complessiva mente inteso: per questa ragione essa viene anche denominata

'ricerca valutativa', ed è un punto centrale in relazione al suo rapporto con le scienze sociali in generale e la sociologia in particolare.39

In questa accezione la valutazione, come “insieme di attività di ricerca atte a formulare un giudizio su politiche”, assume carattere scientifico ma fatica a trovare un’autonomia scientifica e disciplinare specifica a causa della sua intrinseca complessità. Complessità che si esplicita sia nel suo oggetto di giudizio, ossia “cosa” si valuta, sia nella varietà delle procedure utilizzate ai fini della formulazione del giudizio stesso, ovvero “come” si valuta (disegno della ricerca, strumenti utilizzati, metodi e tecniche), sia nella finalità stessa della valutazione che risponde alla domanda: “perché si valuta?”. A questi elementi va aggiunto il rapporto con gli attori implicati (committenza, esecutori, destinatari, steakholders,..) e il contesto sociale di riferimento. Tale complessità si rispecchia nelle varietà delle esperienze di valutazione e nella sua interdisciplinarità (dagli approcci di economia aziendale, alla Policy Analysis, agli approcci più strettamente sociologici). Da qui la difficoltà di definizione della pratica valutativa in senso unitario.40 _{In questo complesso} panorama, in cui i confini teorici della valutazione risultano sfumati, il tema della ricerca valutativa si lega fortemente alla ricerca sociologica, di cui assume i paradigmi teorici e le metodologie di intervento.

Bertin identifica alcuni elementi chiave che hanno contribuito a rendere la valutazione un tema dibattuto dalla sociologia ma anche dai diversi attori che occupano il campo politico, amministrativo ed economico: “la crisi del sistema di welfare state, centrato solo sullo Stato e basato sulla presunta inesauribilità delle risorse disponibili; la crisi dei modelli organizzativi burocratici, centrati sul controllo delle prestazioni; la crisi delle ideologie professionali che hanno caratterizzato il confronto interno ad alcune professionalità sociali”41_.

39 _{Vergani A., Valutazione e sociologia: qualche nota introduttiva , Studi di Sociologia, Anno 43, Fasc. 3}

Luglio-Settembre 2005, pp. 211-236

40 _{Maretti M.,Valutazione e politiche sociali, Ed. Aracne Roma 2006}

41 _{Bertin G., Valutazione e sapere sociologico. Metodi e tecniche di gestione dei processi decisionali,}

La sociologia guarda alla valutazione intendendola come un fenomeno sociale o come un sistema di relazioni sociali che coinvolgono allo stesso tempo l'atto valutativo in quanto tale, 1'evaluando e i rispettivi contesti pertinenti di riferimento (micro o macro). Eppure proprio la relazione tra valutaszione e sociologia mette in evidenza il mancato riconoscimento reciproco: come nota De Sandre nella metà degli anni Novanta “la sociologia avrebbe molte cose da dire sul problema complessivo della valutazione rispetto al quale invece, partendo dal punto di vista statistico, si trova sempre confinata al margine, a fare osservazioni, o critiche, a quello che fanno gli statistici e partendo dalla matrice sperimentale o quasi- sperimentale statistica, come se non ci fosse un punto di vista proprio, come se la sociologia fosse soltanto di complemento, utile ma tutt'altro che necessaria”42

A ben guardare infatti, a fronte dello sviluppo di un articolato dibattito sugli approcci teorico-metodologici messi in campo dal mondo accademico e di fondo recepiti dalle istanze programmatorie dell'Unione Europea, il sistema di valutazione nella programmazione sociale risente del divario tra impostazioni teoriche e le loro conseguenze metodologiche. Al mutato modo di guardare al ruolo dei meccanismi sottesi ai programmi, ai legami tra contesti, modalità implementative ed effetti osservati, si rileva una non sufficiente attenzione riservata alla adeguata ridefinizione dei processi e degli strumenti che permetterebbero questo tipo di analisi valutativa43_{. In sostanza si resta ancorati} metodologicamente all'approccio sperimentale anche se si cerca il fondamento teorico allo sviluppo di approcci orientati alla teoria; in molti casi questo si traduce tutt'oggi in uno “schiacciamento” della dimensione valutativa su quella del monitoraggio, per cui il moltiplicarsi di “indicatori” non risolve a monte la questione dell'interpretazione del “perché” determinati cambiamenti avvengono in un determinato contesto.

42 _{Vergani A., Valutazione e sociologia: qualche nota introduttiva, in Studi di Sociologia, Anno 43, Fasc. 3}

(Luglio-Settembre 2005), pp. 211-236

43 _{Mazzeo Rinaldi F., Il monitoraggio per la valutazione. Concetti, metodi, strumenti, Franco Angeli,}

All'interno del dibattito sociologico, le definizioni della valutazione contengono tutte elementi che ci informano anche delle posizioni di coloro che le esprimono. Ai fini di questo lavoro e quale sintesi degli apporti di diversi studiosi della valutazione, analizziamo qui la definizione che ci propone Bezzi:

La valutazione è “l'insieme delle attività collegate, utili per esprimere un giudizio per un fine; giudizio argomentato tramite un processo di ricerca valutativa che ne costituisce l'elemento essenziale ed imprescindibile di affidabilità delle procedure e fedeltà delle informazioni, utilizzate per esprimere quel giudizio.”44

La definizione di Bezzi introduce gli elementi fondamentali della valutazione: giudizio, fine, processo di ricerca, affidabilità. Queste sono le parole chiave che delineano un'idea di valutazione come attività di ricerca tesa ad individuare un giudizio, attraverso un processo “affidabile”, utilizzabile per un fine: da un lato l'importanza dell'affidabilità del processo conoscitivo, dall'altro la funzione utilitaristica del giudizio.

L'affidabilità dei dati e del processo che conduce alla loro interpretazione, e quindi in fondo del giudizio espresso, ci rimanda alla riflessione sul concetto di “affidabilità” del processo di ricerca e al rapporto tra ricerca valutativa e “veridicità del giudizio”. In questo senso la ricerca valutativa rimanda alla domanda più generale se alla scienza sociale sia richiesto il compito di attribuire valori di verità alla realtà sociale, o di stabilire affidabili ipotesi di giudizio. Stabilire infatti un giudizio certo rispetto alla realtà sociale, sia essa espressa in programmi o in politiche, rimanda alla visione che abbiamo della realtà sociale stessa: la realtà sociale ha una sua verità intrinseca che può essere studiata e definita in maniera inequivocabile? O questa realtà può contenere molti modi di leggerla e si presta a molte interpretazioni di verità? E il ruolo del ricercatore e del valutatore sociale può

distaccarsi da questa realtà, sufficientemente da saperla leggere nella sua verità, o piuttosto ne è immerso dentro e quindi è solo uno degli attori che contribuisce a definirla? Su questi interrogativi essenzialmente si sviluppano nel tempo diverse scuole di pensiero nel contesto delle scienze sociali (psicologia, sociologia, filosofia,..) che si riflettono nel contesto degli studi sulla ricerca valutativa e ne influenzano approcci e strumenti.

Ma la valutazione ha anche una dimensione “utilitaristica”, per cui quella conoscenza della realtà che mira a perseguire è “utile”, inserita in un processo decisionale e politico di cui è parte determinante.

Secondo Bezzi:

“La valutazione è principalmente (ma non esclusivamente) un’attività di ricerca sociale applicata e realizzata - nell’ambito di un processo decisionale - in maniera integrata con le fasi di programmazione, progettazione e intervento, avente come scopo la riduzione della complessità decisionale attraverso l’analisi degli effetti diretti e indiretti, attesi e non attesi, voluti e non voluti, dell’azione, compresi quelli non riconducibili ad aspetti materiali. In questo contesto la valutazione assume il ruolo peculiare di strumento partecipato di giudizio di azioni socialmente rilevanti, accettandone necessariamente le conseguenze operative relative al rapporto fra decisori, operatori e beneficiari dell’azione”45_.

Per Stame invece:

“valutare significa analizzare se una azione intrapresa per uno scopo corrispondente ad un interesse collettivo abbia ottenuto gli effetti desiderati o altri, ed esprimere un giudizio sullo scostamento che normalmente si verifica, per proporre eventuali modifiche che tengano

conto delle potenzialità manifestatesi. La valutazione è quindi una attività di ricerca sociale al servizio dell'interesse pubblico, in vista di un processo decisionale consapevole: si valuta per sapere non solo se l'azione e stata conforme a un programma esistente ma anche se il programma e buono”46

Il fine della valutazione cioè è sì la conoscenza ma una conoscenza utile, che servirà per progettare, ordinare, attuare politiche, per finanziare programmi, per togliere fondi ad attività o organismi. La valutazione può avere la funzione, oltreché di orientamento delle politiche, di legittimazione delle stesse, per dirla con Palumbo: “la valutazione assume un ruolo determinante nel permettere ai decisori di legittimare, attraverso la misurazione dei risultati, la bontà delle scelte.”47

La valutazione partecipa del processo decisionale politico, oltreché del processo di attuazione, e questa sua dimensione “utilitaristica” incide fortemente anche sulle dimensioni dell'affidabilità del giudizio e sul processo stesso di ricerca. Per Bertin “la valutazione non è una tecnica di ricerca ma una fase del processo decisionale di una organizzazione.. Valutare significa giudicare ed il giudizio può essere realizzato attraverso una raccolta sistematica di informazioni che consentono di aumentare la capacita di giudizio”48_.

Un giudizio che tende all'orientamento delle politiche infatti mette in gioco altri fattori oltre all'affidabilità dei dati su cui è costruito, ed è inserito in un processo che non è puramente scientifico, ma spinto da interessi, contingenze, equilibri che non hanno a che vedere con la ricerca valutativa, o forse sì, come alcuni approcci sostengono. Del resto anche la stessa teoria valutativa si sviluppa su spinta “politica”: l'esigenza valutativa nella realtà sociale nasce con l'evolversi dei processi democratici nel nord America e in Europa, e si sviluppa come esigenza

46 _{Stame N., L'esperienza della valutazione, Seam Roma 1998}

47 _{Palumbo M., Valutazione di efficacia e indagini di customer satisfaction Istat 2011}

48 _{Vergani A., Valutazione e sociologia: qualche nota introduttiva , Studi di Sociologia, Anno 43, Fasc. 3}

della stessa politica sulla spinta di processi di sviluppo del welfare state le sulla spinta crescente di maggiore partecipazione da parte dei cittadini-consumatori.

A chiarire che non è un passaggio di poco conto per l'esito della ricerca valutativa il legame tra questa e il potere, Weiss si è interrogato sulle ragioni per le quali la valutazione incontra numerosi ostacoli sia in fase realizzativa sia - soprattutto - in sede di ricaduta sui processi decisionali e sui programmi. Per questa ragione Stame suggerisce di approfondire lo studio e la considerazione sia dei «contesti politici» nei quali avviene la valutazione sia dei «contesti di programma» oggetto di valutazione e giunge cosi alla conclusione che il «vero problema» è quello «dell'uso della valutazione che può fare il committente» (Stame 1998: 92).

La riflessione sull'utilità e l'utilizzo della valutazione, sul suo rapporto con la scienza sociale e con la politica, tornerà nel corso di questo testo a proposito dei legami e delle funzioni che queste dimensioni hanno assunto nello svilupparsi del piano di valutazione del Progetto di Inclusione dei bambini rom sinti e caminanti nella città di Napoli.

Prima di andare a presentare una panoramica dei diversi approcci valutativi, è utile soffermarsi sull'oggetto del giudizio valutativo: cosa valutiamo attraverso il processo di ricerca, o meglio quale aspetto andiamo a verificare del nostro oggetto di ricerca (ovvero dell'evaluando inteso come il progetto, programma, servizio,..)? Nel caso delle politiche sociali andiamo genericamente a valutare il risultato delle azioni del dato progetto o programma, il cambiamento che abbiamo prodotto attraverso il programma. Ma scendendo meglio nel significato di quel “risultato” scopriamo che possiamo valutare il risultato da molti punti di osservazione: possiamo valutare l'effetto immediato delle azioni realizzate, l'effetto su medio o lungo periodo, possiamo valutare l'effetto che le azioni hanno prodotto sui soggetti destinatari, o sui partners o gli steakholders di progetto, o sulla società in generale. Il “cosa valutiamo”, come vedremo poi, è correlato con l'approccio che scegliamo per realizzare la ricerca valutativa, ma non sempre le definizioni dei

diversi “cambiamenti” osservati è univoca. Riportiamo perciò alcune definizioni di output, risultati, outcomes e impatti tratte da Palumbo, da Tomei, e da Bezzi:

Secondo Palumbo Output (Realizzazione) è “il prodotto delle attività degli operatori,ottenuto in contropartita del finanziamento erogato; Risultati sono i vantaggi immediati che hanno tratto i destinatari dal programma, ossia i mutamenti che riguardano direttamente gli interessati; o l'effetto di un’azione sui beneficiari (letto in rapporto agli effetti attesi dal programma, ove gli obiettivi sono tradotti in risultati attesi); gli Outcomes (Effetti) sono le conseguenze che si manifestano nel breve e medio periodo tra i destinatari diretti; o qualunque modifica del comportamento dei soggetti destinatari della politica; gli Impatti sono le conseguenze che si manifestano, nel breve e medio periodo, nelle persone e organizzazioni che non sono state interessate dal programma; o qualunque effetto ottenuto dalla politica in esame, sia che riguardi i destinatari che altri soggetti. Include effetti inattesi e non previsti. Per semplificare: "le realizzazioni o output di una politica formativa sono costituite dalle ore di formazione erogate, i risultati dal numero di allievi formati, gli impatti specifici (Outcomes) dalle modifiche alla loro condizione e al loro comportamento (attribuibili alla politica esaminata), quindi non solo l'occupazione trovata a seguito del corso, ma anche i mutamenti nelle motivazioni, nella socializzazione, nell'autostima, ecc., gli impatti generali dall'effetto della formazione sui livelli occupazionali e sulla qualità dei posti di lavoro, dalla variazione nei tassi di disoccupazione, ecc."49

Un'altra definizione, coerente con la prima, è presentata da Tomei, per il quale “output è definito il cambiamento connesso direttamente con l'implementazione del programma, outcome come cambiamento riferibile alle condizioni generate dalla dinamica del programma, e impatti come cambiamenti connessi con gli effetti positivi e negativi che il programma produce nel lungo periodo all'interno del contesto in cui opera.”50

49 _{Palumbo M., Il processo di valutazione. Decidere, programmare, valutare, Milano, Franco Angeli 2002} 50 _{Tomei G., Valutare gli outcome dei programmi complessi. Approcci, metodologie, tecniche , Milano,}

Infine Bezzi definisce gli outputs come il prodotto immediato di un’azione, programma o servizio; outcomes sono le conseguenze successive ed esterne generate da quel “prodotto”; gli impacts le “conseguenze di secondo livello”: conseguenze delle conseguenze, che agiscono e sono osservabili dopo un tempo ancora maggiore, proprio come sorta di conseguenza di un'onda lunga51_.

Oltre al “cosa valutiamo” possiamo fare delle distinzioni anche sul ”perché valutiamo”: lo scopo della valutazione, l'utilità che vogliamo attribuirgli. Possiamo distinguere la valutazione anche in base alla sua funzione: di Rendicontazione (accountability), di Apprendimento (learning), di sostegno alla Riflessività (developmental).

La funzione rendicontativa è legata all'obbiettivo di rendere conto: supportare il processo decisionale fornendo indicazioni precise circa la qualità o il valore complessivo di un programma, un progetto, un servizio, o per renderne conto ad una platea esterna. E' la funzione “summative” della valutazione. A questo obiettivo si rivolgono i filoni valutativi del management control e dell' accountability. La funzione summative dunque è rivolta non soltanto agli attori di progetto, per accompagnarli nell'osservazione dell'efficacia del progetto attraverso l'osservazione dei risultati raggiunti, ma è rivolta anche all'esterno, per dimostrare che quel dato programma ha funzionato (o meno).

La funzione “formative” (o learning) è legata all'apprendimento per il miglioramento: essa aiuta ad orientare e sviluppare nuovi prodotti, servizi o programmi o a perfezionare i programmi maturi, ed aiuta gli attori coinvolti a procedere nel modo migliore, apprendendo dal programma stesso. E' dunque una funzione rivolta agli attori di progetto, essa sostiene la progettazione e la programmazione allo scopo di migliorarne l'efficacia ma anche allo scopo di produrre una riflessione che sia di supporto al gruppo progettuale per apprendere dai propri errori.

Per dirla con Robert Stake: Quando il cuoco assaggia sta facendo valutazione formativa; quando assaggi l’ospite è valutazione sommativa (“When the cook tastes the soup, that’s formative. When the guests taste the soup, that’s summative”)52

La funzione “developmental” è legata alla funzione riflessiva della valutazione, che sostiene gli attori di progetto nell'analisi dei processi di cambiamento interni ai sistemi complessi. E' dunque una sorta di accompagnamento riflessivo, rivolto e realizzato dagli attori di progetto, generativo di cambiamenti. La funzione di riflessività, o developmental, è tipica degli approcci basati sulla teoria, dei modelli partecipativi di valutazione sociale.

Ma per comprendere la portata delle distinzioni su oggetto e funzione della valutazione, occorre addentrarsi nella disanima delle principali correnti del pensiero valutativo sviluppatesi negli anni.