1. Riferimenti e approcci teorici
1.4 Michael Scriven: la goal-free evaluation
Goal-free evaluation significa: valutazione indipendente dagli scopi; infatti Scriven sostiene che meno il valutatore esterno viene a conoscenza degli scopi del progetto, meno la sua visione sarà ristretta e più ci sarà attenzione alla ricerca degli effetti reali112. Il valutatore non dovrebbe, addirittura, neanche conoscere gli obiettivi di una progettazione perché la sua valutazione dovrebbe essere orientata ad indagare gli esiti effettivi del processo, non quelli previsti113.
Si tratta, dunque, di una logica valutativa in cui non si verifica se un programma si è sviluppato in base agli obiettivi prestabiliti, ma si cerca di scoprire se il programma in sé (e il suo impatto complessivo) è efficace. Di conseguenza, la finalità della valutazione non è solo quella di individuare i punti di forza e di debolezza, ma anche quella di innescare processi di miglioramento e di comprensione e di attribuire un valore ai programmi. Ricordiamo che per Scriven il concetto di valore è inteso in un duplice senso: merit, dato dalle caratteristiche intrinseche dell‟oggetto valutato e worth, dato dalla corrispondenza tra i bisogni dei destinatari e gli effetti dell‟intervento.
In tal senso, Lichtner114 afferma che l‟approccio goal-free è un invito di Scriven ad una riflessione su quello che si fa e si ottiene in un‟impresa
112 Scriven M., Evaluation Perspectives and Procedures, in “Evaluation in Education”,
Berkeley, n.3, 1974.
113
Cfr. Perla Loredana, op. cit.
82
Luisa Pandolfi, La valutazione della didattica universitaria: orientamenti istituzionali e sviluppi pedagogici. Tesi di dottorato in Pedagogia Sperimentale - Università degli Studi di Sassari.educativa, da un punto di vista meno tecnico-procedurale e più sostanziale.
Alla luce di tali considerazioni, assume una rilevanza cruciale la “Key Evaluation Checklist”115, elaborata ed aggiornata da Scriven nel 2007, al fine di comprendere come si costruisce il processo valutativo nell‟ambito di questo modello.
La Checklist è suddivisa in quattro parti:
1) Parte A (Preliminaries), costituita dalla parte introduttiva e, a sua volta, suddivisa in tre sottoparti: Executive Summary, cioè il riassunto dei risultati; Preface, ossia la premessa (in cui si descrive il cliente e tutti gli stakeholders, la natura e i dettagli dell‟azione valutativa richiesta); Methodology, la metodologia utilizzata;
2) Parte B (Foundations), costituita dallo spazio di indagine che concerne il contesto, la natura e i bisogni alla base dell‟inizio di uno specifico programma. A sua volta, è suddivisa in cinque sottoparti: Background and Context (che comprende tutti i fattori contestuali rilevanti ai fini della valutazione); Descriptions and Definitions (ossia le descrizioni e le definizioni dettagliate del programma e di tutte le sue componenti); Consumers (Impactees) (cioè gli effetti, sia a livello dei fruitori diretti del programma, sia a livello di coloro che subiscono in modo indiretto gli effetti del programma); Resources (le risorse finanziarie, intellettuali, sociali e relazionali a disposizione del programma, che comprendono anche le competenze e le conoscenze dello staff, la disponibilità di volontari e di altri membri della comunità; tutto ciò che può essere definito come “the possibilità space”, lo spazio delle possibilità); Values (i
115
Documento reperibile nel sito: http://www.wmich.edu/evalctr/checklist/evaluation- models/
83
Luisa Pandolfi, La valutazione della didattica universitaria: orientamenti istituzionali e sviluppi pedagogici. Tesi di dottorato in Pedagogia Sperimentale - Università degli Studi di Sassari.valori che vengono analizzati partendo da valori generali, fondamentali per valutare l‟oggetto in esame, fino ad arrivare agli standard specifici di qualità; in questa fase è prevista l‟elaborazione di una scala graduata per ciascuna dimensione, in riferimento ai diversi scopi valutativi);
3) Parte C (Sub-evaluations), è composta da cinque sottoparti: Process (il processo della valutazione che include la progettazione e la pianificazione del programma, che parte dalle premesse giustificative alla gestione di tutte le attività e procedure); Outcomes (ossia la valutazione dei risultati positivi e negativi del programma sui destinatari e sul contesto generale, inclusi gli effetti diretti ed indiretti, attesi e non attesi, immediati, a breve e a lungo termine); Costs (i costi, sia in termini economici, che di spazio, tempo, ecc..); Comparisons (i confronti con modi alternativi di raggiungere gli stessi benefici con le stesse risorse); Generalizability (cioè la generalizzabilità, che concerne la possibilità di applicare il programma e ottenere gli stessi risultati, anche con uno staff diverso e in contesti socio-politici differenti; si parla anche di generalizzabilità in tempi successivi – dunque la longevità del programma, longevity – e la capacità di reggere anche in condizioni avverse e in presenza di grandi cambiamenti – dunque la sostenibilità, sustainability);
4) Parte D (Conclusion and Implications), che deriva dalla sintesi delle parti B e C e riguarda la valutazione complessiva del programma, focalizzata sull‟impatto attuale, ma anche futuro, sui destinatari e sulla comunità in generale, con un‟attenzione particolare ai bisogni degli stakeholders.
84
Luisa Pandolfi, La valutazione della didattica universitaria: orientamenti istituzionali e sviluppi pedagogici. Tesi di dottorato in Pedagogia Sperimentale - Università degli Studi di Sassari.Infine, sempre all‟interno della checklist, Scriven parla di Metavalutazione (Metaevaluation), ossia un processo di “valutazione della valutazione” (“evaluation of an evaluation”) che deve accompagnare tutto il percorso descritto fin qui e che deve essere condotta dal valutatore alla fine di ogni passaggio valutativo e, se possibile, anche da un valutatore esterno (definito metaevaluator). I criteri di merito della meta valutazione sono i seguenti: validità (validity), utilità (utility), credibilità (credibility), efficacia legata ai costi (cost-effectiveness), legalità, correlata alle norme etiche e alla tutela dei diritti umani dei soggetti (ethicality/legality)116.
Si evince come nel modello proposto le procedure di valutazione abbiano un carattere discensionale, correlabili con logiche top-down, infatti: “la proposta di Scriven sembra supportare un‟idea di valutazione di tipo esterno, intesa più come certificazione di una qualità di prodotto che dovrebbe rispondere a precise specifiche che come processo interno di costruzione del giudizio valutativo..l‟impianto valutativo evidenzia in modo rilevante il momento della verifica e della rilevazione dei giudizi di valore che possano contribuire ad innescare dinamiche migliorative della qualità del processo/prodotto offerto”117.
116Cfr. Scriven M., Key Evaluation Checklist, 2007, pag. 20. Documento reperibile nel sito: http://www.wmich.edu/evalctr/checklist/evaluation-models/