La goal-free evaluation di Scriven

Il significato di goal-free è nella logica con cui il valutatore procede nel suo lavoro: non si tratta di vedere se un programma si è sviluppato come doveva, se gli obiettivi sono stati realizzati, ma di scoprire se il programma in sé (e il suo impatto complessivo) è buono o meno. Dal Glossario elaborato dall‟Evaluation Centre166(di cui Scriven è Co- Direttore), si legge che “evaluation is the systematic assessment of the worth or merit of something”: l‟intento è dunque quello di trovare dei criteri di qualità, di attribuire un valore ai programmi, di contribuire insieme alle persone coinvolte a dare un valore agli interventi. Valore nel senso duplice stabilito da Scriven: merit (the excellence of an object as assessed by its intrinsic qualities or performance) dato dalle caratteristiche intrinseche dell‟oggetto valutato, e worth (the value of an object in relationship to a purpose) che deriva da una corrispondenza tra i bisogni dei destinatari e gli effetti dell‟intervento. In tale prospettiva assume fondamentale importanza, in questo tipo di modello, l‟analisi e la rilevazione dei bisogni, che deve rappresentare una fase parallela a tutto il processo di raccolta dei dati.

Gli “oggetti” della valutazione includono le istituzioni, i programmi, i progetti, i servizi, il personale, gli studenti, i materiali, etc., e sono effettuate non solo per individuare i punti di forza e di debolezza, ma anche per fornire: supporto in vista del miglioramento, documentazione necessaria per l‟accountability, e informazioni utili ad accrescere la comprensione dei processi valutati.

Da questi molteplici obiettivi discende la natura complessa del percorso valutativo, costituito dalle seguenti fasi:

1. definizione dei criteri di valutazione; 2. identificazione delle questioni chiave;

3. raccolta e analisi delle informazioni rilevanti;

4. formulazione di un giudizio sul merit e/o sul worth dell‟oggetto;

166

L‟Evaluation Centre (http://www.wmich.edu/evalctr/ ) ha sede presso la Michigan University e offre, insieme ad altre risorse, un Glossario dei termini più utilizzati in campo valutativo, disponibile nella sezione Tools and resources.

5. descrizione dei risultati;

6. promozione di un uso efficace degli stessi.

Nel febbraio del 2007 Scriven ha proposto una versione aggiornata della sua Key Evaluation Checklist167, uno strumento creato per essere utilizzato come guida nella scrittura di report valutativi riferiti alla progettazione e valutazione di programmi, progetti, politiche, etc., e al processo metavalutativo. La checklist è suddivisa in quattro parti: una parte A, che è costituita dalle premesse; una parte B, riguardante i fondamenti; una parte C formata dalle sottovalutazioni; e una parte D, contenente le implicazioni e le conclusioni. Attraverso l‟analisi delle parti costitutive della checklist, è possibile ricostruire tutto il percorso valutativo, e le premesse teoriche che ne rappresentano il presupposto.

Parte A. È a sua volta suddivisa in tre sottoparti: il riassunto dei risultati, la premessa (in cui si descrive il cliente e tutti gli stakeholders, la natura e i dettagli dell‟azione valutativa richiesta), la metodologia utilizzata.

Parte B. È a sua volta suddivisa in cinque sottoparti: il background e il contesto (comprende tutti i fattori contestuali che possono essere rilevanti ai fini della valutazione); le descrizioni e le definizioni (descrizioni dettagliate del programma e di tutte le sue componenti, compresi gli obiettivi, e definizioni esplicative dei termini tecnici); gli effetti (a livello dei diretti utilizzatori dei servizi/prodotti, e a livello di coloro i quali subiscono indirettamente gli effetti del programma); le risorse finanziarie, fisiche, e le forze intellettuali, sociali e relazionali a disposizione del programma (le conoscenze e le competenze dello staff, la disponibilità di volontari, di membri della comunità e di altri supporters, tutto ciò che può essere definito come lo spazio delle possibilità (possibility space); l‟analisi dei valori (a partire dai valori generali o “dimensioni di merito”, ritenuti fondamentali per valutare l‟oggetto in esame, fino agli standard specifici di qualità; in questa fase compito del valutatore è l‟elaborazione di una scala graduata per ciascuna dimensione in riferimento ad ogni scopo valutativo, e l‟identificazione di tre componenti, che sono i pesi, cioè l‟importanza delle

167

dimensioni di merito, gli standard minimi di accettabilità, e gli intervalli in cui i pesi cambiano)168.

Parte C. È a sua volta suddivisa in cinque sottoparti: il processo (la valutazione della progettazione e pianificazione del programma, dalle premesse giustificative alla gestione di tutte le attività e procedure); i risultati (la valutazione degli effetti positivi e negativi del programma sui destinatari e sul contesto in generale, inclusi gli effetti diretti e indiretti, attesi e non attesi, immediati, a breve e a lungo termine); i costi (sia in termini di denaro sia di spazio, tempo, expertise); i confronti con modi alternativi di raggiungere gli stessi benefici con le stesse risorse (questo significa trovare i “critical competitors”); infine, la generalizzabilità (riguarda la possibilità di applicare il programma e ottenere gli stessi risultati se utilizzato con altri contenuti e con un altro staff in altri contesti socio-politici, ma anche la generalizzabilità in tempi successivi, in questo caso si parla di longevità del programma, oppure la capacità di reggere anche in condizioni avverse e in presenza di grandi cambiamenti di qualsiasi genere , in tal caso si parla di sostenibilità ).

Parte D. Rappresenta la valutazione complessiva derivante dalla sintesi delle parti B e C, focalizzata sull‟impatto presente e futuro del programma sui destinatari e sulla comunità in generale, e contenente anche conclusioni sui bisogni del cliente e degli stakeholders.

Infine, un processo che deve accompagnare tutto il percorso fin qui descritto è costituito dalla metavalutazione, che deve essere condotta dal valutatore alla fine di ogni passaggio valutativo, e, se possibile, anche da un valutatore esterno. I criteri di merito sono i seguenti: validità, utilità, credibilità, efficacia dal punto di vista dei costi, legalità (correlata alle norme etiche).

168

Scriven identifica 21 valori da analizzare, determinando per ciascuno le rispettive dimensioni e valutandole sulla rispettiva scala. Tra gli altri, vi sono i valori che derivano dall‟analisi iniziale dei bisogni, quelli etici relativi ad esempio alla privacy, quelli culturali, i valori legati agli standard professionali, o alle tradizioni storiche, i valori che discendono da un merito scientifico o politico, e quelli legati alla disponibilità di risorse di qualsiasi genere.