1. Riferimenti e approcci teorici
1.5 Daniel L Stufflebeam: CIPP Evaluation Model Checklist
Stufflebeam118 definisce la valutazione come: “the process of delineating, obtaining and providing useful information for judging decision alternatives”119. In tal senso lo scopo della valutazione non è quello di provare (testing), ma quello di migliorare (not to prove, but to improve), infatti la valutazione viene intesa come un processo teso a delineare, ottenere e fornire informazioni utilizzabili al fine di giudicare le alternative di decisione120. In tal senso, oltre ad essere definito goal-free, questo modello valutativo è anche decision-oriented (come abbiamo visto negli approcci proposti da Madaus, Haney e Kreitzer), in quanto il focus principale è il supporto al soggetto nella presa di decisioni, prendendo in considerazione diversi elementi.
Nel 1967 Stufflebeam ha disegnato e successivamente perfezionato, un modello di valutazione chiamato CIPP (acronimo di Context, Input, Process, Product), che comprende quattro differenti tipologie di valutazione e ciascuna di esse deve servire a specifiche prese di decisione121.
Questo modello si basa su tre convinzioni di fondo: la valutazione deve comprendere tutti gli elementi di un contesto di formazione; gli approcci centrati sul rapporto obiettivi-risultati sono insufficienti per valutare la qualità di oggetti/soggetti formativi; una “buona valutazione” deve aiutare a prendere “buone decisioni”.
I quattro aspetti presi in considerazione sono:
118 Professore presso la Western Michigan University.
119 Cfr. Stufflebeam D.L., Paper presentato all‟”Annual Meeting of the American
Association of School Administrators”, Atlantic City, N.J., 1971, pag. 3. Documento reperibile nel sito: http://www.eric.ed.gov/
120 Cfr. Tessaro F., La valutazione dei processi formativi, Armando Editore, Roma, 2000. 121
Cfr. Stufflebeam D., The CIPP Model, in “Evaluation in Education and Human Services”, Volume 49, 2002, pagg. 279-317.
86
Luisa Pandolfi, La valutazione della didattica universitaria: orientamenti istituzionali e sviluppi pedagogici. Tesi di dottorato in Pedagogia Sperimentale - Università degli Studi di Sassari. Contesto: Quali sono i bisogni?
Input: Quali sono le possibilità iniziali e in che modo è possibile procedere?
Processo: Si sta rispondendo ai bisogni iniziali? Prodotto: Si è riusciti a rispondere?
Stufflebeam mette in relazione questi quattro aspetti con i diversi tipi di decisioni che la valutazione dovrebbe sostenere, precisando che:
1. La valutazione del contesto porta a decisioni relative alla pianificazione (planning decisions), infatti lo scopo è quello di fornire informazioni che possono essere utilizzate per prendere delle decisioni che riguardano la definizione di nuovi obiettivi, la modificazione o la conferma degli obiettivi esistenti;
2. La valutazione dell‟input conduce a decisioni riguardanti la strutturazione del programma (structuring decisions), lo scopo è quello di identificare e valutare delle strategie e procedure alternative;
3. La valutazione del processo concerne le decisioni connesse alla realizzazione del programma e all‟implementazione delle diverse fasi di cui si compone;
4. La valutazione del prodotto (in termini di effetti e risultati) è utile per prendere delle decisioni che riguardano il cambiamento.
Partendo da tali considerazioni, è importante fare riferimento alla “CIPP Evaluation Model Checklist”122, elaborata dall‟autore nel marzo del 2007 e concepita come uno strumento di applicazione del modello CIPP, in particolare come supporto nella valutazione di programmi con obiettivi a
122
Cfr. Stufflebeam D.L., CIPP Evaluation Model Checklist, 2007. Documento reperibile nel sito: http://www.wmich.edu/evalctr/checklist/evaluation-models/
87
Luisa Pandolfi, La valutazione della didattica universitaria: orientamenti istituzionali e sviluppi pedagogici. Tesi di dottorato in Pedagogia Sperimentale - Università degli Studi di Sassari.lungo termine. Le due funzioni principali della checklist sono sia quella di guidare i valutatori nella elaborazione di report periodici corrispondenti ad ogni fase valutativa, sia quella di sviluppare una storia del programma per giungere ad una valutazione sommativa sul merit e worth (valore, con lo stesso significato attribuito da Scriven), sulla probity (integrità morale, onestà) e significance (l‟importanza, al di là del contesto specifico e del tempo) del programma nel suo complesso.
In tale direzione, possiamo approfondire le quattro dimensioni principali del modello CIPP, mediante l‟analisi degli elementi contenuti nella checklist:
1) Valutazione del contesto (Context Evaluation)123: consiste nella valutazione dei bisogni, delle risorse e dei problemi all‟interno di un contesto definito.
In questa fase, le attività del valutatore (Evaluator Activities) sono le seguenti: raccogliere informazioni sui bisogni dei destinatari del programma e sulle risorse attraverso più fonti; intervistare i responsabili del programma per discutere insieme a loro le prospettive sui bisogni dei destinatari e per identificare eventuali problemi che si intende risolvere attraverso il programma; intervistare altri stakeholders per analizzare meglio i bisogni, le risorse e i potenziali problemi legati al programma; valutare gli obiettivi del programma alla luce dei bisogni dei destinatari emersi durante le fasi precedenti; incaricare un membro del gruppo di valutazione di monitorare e registrare le informazioni raccolte sul contesto, come bisogni, problemi, risorse e dinamiche politiche; richiedere allo staff del programma valutato di rendere costantemente disponibili le informazioni di cui i valutatori hanno
88
Luisa Pandolfi, La valutazione della didattica universitaria: orientamenti istituzionali e sviluppi pedagogici. Tesi di dottorato in Pedagogia Sperimentale - Università degli Studi di Sassari.bisogno; preparare e consegnare al cliente dei report periodici di riepilogo dell‟attività svolta e delle informazioni raccolte; organizzare incontri periodici di discussione dei risultati della valutazione del contesto (feed-back, sessions); terminare il lavoro e consegnare al cliente tutti i report riassuntivi di questa fase.
2) Valutazione dell‟input (Input Evaluation)124: comprende la valutazione delle strategie e delle risorse iniziali e potenziali, del piano di lavoro e delle risorse economiche. In questa fase le attività del valutatore (Evaluator Activities) sono le seguenti: individuare eventuali programmi che possano fungere da modello per il programma in oggetto; valutare se le strategie proposte sono adeguate ai bisogni analizzati nella fase precedente; valutare se il budget è sufficiente a finanziare il lavoro necessario; valutare la strategia scelta in riferimento alla letteratura e alla ricerca scientifica più recente; confrontare le strategie scelte con strategie alternative utilizzate in programmi simili; valutare il piano di lavoro; elaborare un report da consegnare a cliente; discutere i risultati della valutazione dell‟input in un feed-back workshop; concludere il lavoro e fornire al cliente tutti i report riassuntivi di questa fase;
3) Valutazione del processo (Process Evaluation)125: consiste nella valutazione, documentazione e monitoraggio delle attività del programma. In questa fase le attività del valutatore (Evaluator Activities) sono le seguenti: incaricare un membro del gruppo di valutazione di monitorare, osservare tutto il processo e fornire, progressivamente, un report sullo sviluppo del lavoro; tenere, in collaborazione con lo staff del programma, una documentazione degli eventi, dei problemi, dei costi, ecc..; intervistare
124 Ivi, pag. 5. 125 Ivi, pag. 6.
89
Luisa Pandolfi, La valutazione della didattica universitaria: orientamenti istituzionali e sviluppi pedagogici. Tesi di dottorato in Pedagogia Sperimentale - Università degli Studi di Sassari.periodicamente i destinatari, i responsabili del programma e tutto lo staff per ottenere da loro le valutazioni sullo stato di avanzamento dei lavori; aggiornare costantemente il quadro di sviluppo del programma; compilare e consegnare periodicamente al cliente i report sui risultati della valutazione del processo all‟interno di un feed-back workshop; concludere il lavoro e fornire al cliente tutti i report riassuntivi di questa fase;
4) Valutazione del prodotto (Product Evaluation)126: Questa fase si suddivide, a sua volta, in quattro sotto-fasi:
a) Valutazione dell‟impatto (Impact Evaluation), la cui funzione è la valutazione degli effetti del programma.
Le attività del valutatore (Evaluator Activities) sono le seguenti: prendere in considerazione tutti i soggetti a cui il programma ha fornito un servizio, con attenzione ai loro bisogni; valutare la corrispondenza tra questi soggetti e i destinatari reali del programma; intervistare periodicamente tutti gli stakeholders, al fine di ottenere delle informazioni sugli effetti del programma a diversi livelli; includere tutte le informazioni raccolte in un report complessivo e aggiornato del programma; valutare gli effetti del programma su soggetti non identificati come destinatari (nontargeted group); elaborare un report della valutazione di impatto e consegnarlo al cliente; discutere i risultati della valutazione in un feedback workshop; concludere il lavoro e fornire al cliente tutti i report riassuntivi di questa fase.
90
Luisa Pandolfi, La valutazione della didattica universitaria: orientamenti istituzionali e sviluppi pedagogici. Tesi di dottorato in Pedagogia Sperimentale - Università degli Studi di Sassari.b) Valutazione dell‟efficacia (Effectiveness Evaluation), che consiste nella valutazione della qualità e della rilevanza dei risultati.
Le attività del valutatore (Evaluator Activities) sono le seguenti: intervistare gli stakeholders che rivestono un ruolo chiave per determinare la loro valutazione dei risultati (positivi e negativi) del programma; condurre studi di caso approfonditi con alcuni destinatari; incaricare un membro del gruppo di valutazione e lo staff del programma di fornire la documentazione necessaria per identificare la qualità e l‟importanza degli effetti del programma sui destinatari; incaricare un membro del gruppo di valutazione di valutare gli effetti del programma sulla comunità; incaricare un goal- free evaluator (cioè che non conosce gli obiettivi del programma) di accertare l‟insieme degli effetti (sia positivi che negativi, sia attesi che inaspettati) prodotti dal programma; ottenere informazioni in merito alla natura, ai costi e al successo di programmi simili; elaborare un report sulla valutazione di efficacia e consegnarlo al cliente; discutere i risultati della valutazione di efficacia in un feed- back workshop; concludere il lavoro e fornire al cliente tutti i report riassuntivi di questa fase.
c) Valutazione della sostenibilità (Sustainability Evaluation), ossia la valutazione del grado in cui gli effetti prodotti dal programma siano costanti nel tempo. Le attività del valutatore (Evaluator Activities) sono le seguenti: intervistare i responsabili e lo staff per individuare i loro giudizi sul grado di successo che il programma potrà sostenere nel tempo; intervistare i destinatari del programma per ottenere i loro
91
Luisa Pandolfi, La valutazione della didattica universitaria: orientamenti istituzionali e sviluppi pedagogici. Tesi di dottorato in Pedagogia Sperimentale - Università degli Studi di Sassari.giudizi su quali vantaggi dovrebbero essere sostenuti nel tempo; rivedere i dati sull‟efficacia e sui costi del programma, sui bisogni dei destinatari, per valutare quali attività potrebbero proseguire; intervistare i destinatari per comprendere la loro valutazione sulle condizioni che possono permettere al programma di continuare; analizzare i piani, i costi, gli incarichi dello staff ed altre informazioni rilevanti, per calcolare la probabilità che il programma possa continuare ad essere sostenuto; rivedere periodicamente il programma per valutare il grado in cui i suoi effetti positivi stanno proseguendo; compilare un report della valutazione della sostenibilità e consegnarlo al cliente; discutere i risultati della valutazione in un feedback workshop, oltre alla eventuale necessità di un follow-up per valutare i risultati a lungo termine; concludere il lavoro e fornire al cliente tutti i report riassuntivi di questa fase.
d) Valutazione della trasferibilità (Transportability Evaluation), cioè la valutazione della possibilità di estendere con successo lo stesso programma in un contesto differente. Stufflebeam evidenzia che questo tipo di valutazione è una componente opzionale del modello CIPP. In questa fase le attività del valutatore (Evaluator Activities) sono le seguenti: incaricare lo staff del programma di identificare potenziali fruitori del programma stesso; valutare la rilevanza del programma rispetto alla situazione dei nuovi fruitori; valutare l‟adattamento; elaborare un report della valutazione di trasferibilità e consegnarlo al cliente; discutere i risultati della valutazione in un feed-back workshop; concludere il
92
Luisa Pandolfi, La valutazione della didattica universitaria: orientamenti istituzionali e sviluppi pedagogici. Tesi di dottorato in Pedagogia Sperimentale - Università degli Studi di Sassari.lavoro e fornire al cliente tutti i report riassuntivi di questa fase.
Lungo tutte le fasi e sotto-fasi che compongono il processo sopra descritto assume grande rilevanza la meta valutazione (Metaevaluation)127, definita come la valutazione della valutazione. Anche in questo caso vengono indicate le attività del valutatore (Evaluator Activities), in particolare: stabilire con il cliente che la valutazione sarà guidata dagli standard del Joint Committee Program Evaluation128 (utilità, fattibilità, appropriatezza, accuratezza)e/o un altro insieme di principi guida; documentare l‟intero processo di valutazione e i relativi risultati, in modo che la valutazione possa essere rigorosamente studiata; utilizzare periodicamente i risultati della meta valutazione per incrementare l‟appropriatezza del processo valutativo; fornire una documentazione scritta del livello in cui la valutazione corrisponde agli standard stabiliti e includere i risultati nel report finale.
Come rileva Loredana Perla129, il presente modello rispecchia una valutazione di tipo formativo, in quanto Stufflebeam concentra l‟attenzione sul contesto, sui processi, sui cambiamenti che è possibile realizzare durante il percorso e, soprattutto, le azioni valutative hanno una finalità migliorativa e orientativa del percorso stesso.
Pertanto, diventa importante: “arrivare ad una rilevazione/interpretazione sufficientemente chiara, comprensiva e processuale dell‟oggetto evaluando che non
127 Ivi, pag. 11. 128
Il Joint Committee on Standards for Educational Evaluation è un Comitato sorto nel 1975 presso l‟Evaluation Centre della Western Michigan University, che riunisce tutte le principali associazioni che si occupano di qualità della valutazione. Cfr. il sito:
http://www.wmich.edu/evalctr/jc/ 129 Cfr. Perla Loredana, op. cit.
93
Luisa Pandolfi, La valutazione della didattica universitaria: orientamenti istituzionali e sviluppi pedagogici. Tesi di dottorato in Pedagogia Sperimentale - Università degli Studi di Sassari.va chiuso in schemi rigidi e predefiniti, ma osservato e monitorato nel suo evolversi, al fine di maturare decisioni”130.