Il CIPP Model di Stufflebeam

Oltre ad essere definito goal-free, questo modello valutativo è anche decisionoriented, in quanto il focus principale è il supporto al cliente nella presa di decisioni.

Come abbiamo già avuto modo di dire, il modello sviluppato da Stufflebeam prende in considerazione quattro aspetti, che corrispondono ciascuno ad una domanda valutativa.

- Contesto: quali sono i bisogni?

- Input: in che modo è possibile procedere (quali sono le possibilità iniziali?) - Processo: si sta rispondendo ai bisogni iniziali?

- Prodotto: si è riusciti a rispondere?

Mettendo in relazione questi quattro aspetti ai diversi tipi di decisioni che la valutazione dovrebbe sostenere, Stufflebeam precisa che la valutazione del contesto porta a decisioni riguardanti la pianificazione (planning decisions), la valutazione dell‟input è utile per prendere decisioni riguardanti la strutturazione del programma (structuring decisions), la valutazione del processo sostiene le decisioni legate alla realizzazione, mentre le decisioni per il cambiamento provengono dalle informazioni fornite dalla valutazione del prodotto.

Il concetto di valutazione sottostante al modello è un concetto complesso composto da quattro aspetti: il merit e il worth dell‟oggetto valutato (con lo stesso significato attribuito da Scriven), la probity (l‟integrità morale, l‟onestà), e la significance (l‟essenza, l‟importanza al di là del contesto specifico e del tempo). Il modello CIPP serve, in ultima analisi, a delineare queste quattro caratteristiche del programma valutato.

Consultando la checklist elaborata dall‟autore nel marzo 2007169, concepita come uno strumento di applicazione del modello CIPP e creata in particolare per aiutare i valutatori nella valutazione di programmi con obiettivi a lungo termine, si possono ricavare tutte le domande specifiche cui è necessario rispondere per effettuare una valutazione secondo il modello CIPP. Le due funzioni principali della checklist sono infatti quella di guidare i valutatori nella elaborazione di

169

report periodici corrispondenti ad ogni fase valutativa, e di conseguenza sviluppare una storia del programma per giungere ad una valutazione sommativa sul merit, sul worth, sulla sua probity e significance del programma nel suo complesso.

Procediamo dunque nell‟approfondimento del modello CIPP tramite la checklist, entrando nel dettaglio di ciascuna delle quattro fasi principali.

1. Valutazione del contesto: la funzione è costituita dal valutare i bisogni, le risorse, e i problemi all‟interno di un contesto definito. Le attività del valutatore possono essere così definite: raccogliere informazioni sui bisogni dei destinatari del programma e sulle risorse attraverso più fonti; intervistare i responsabili del programma per discutere insieme a loro le prospettive sui bisogni dei destinatari, e per identificare eventuali problemi che si intende risolvere attraverso il programma; intervistare altri stakeholders per entrare ancora più a fondo nell‟analisi dei bisogni e delle risorse e dei potenziali problemi; valutare gli obiettivi del programma alla luce dei bisogni dei destinatari emersi durante le fasi precedenti; incaricare un membro del gruppo di valutazione di monitorare e registrare le informazioni raccolte sul contesto; richiedere allo staff del programma valutato di rendere costantemente disponibili le informazioni di cui i valutatori hanno bisogno; preparare e consegnare al cliente dei report periodici di riepilogo dell‟attività svolta e delle informazioni raccolte; organizzare incontri periodici di discussione dei risultati della valutazione del contesto (feedback sessions); concludere il lavoro e fornire al cliente tutti i report riassuntivi di questa fase.

2. Valutazione dell‟input: la funzione è la valutazione delle risorse potenziali, delle possibilità iniziali, oltre che delle risorse economiche e dei piani di lavoro organizzati.

Le attività del valutatore possono essere così definite: cercare e identificare alcuni possibili programmi che possano fungere da modello per il programma in oggetto; valutare se le strategie scelte sono adatte ai bisogni (valutati nella prima fase); valutare se il budget è sufficiente a finanziare il lavoro necessario; valutare la strategia scelta in riferimento alla letteratura e

alla ricerca scientifica più recente; confrontare le strategie scelte con strategie alternative usate in programmi simili; valutare il piano di lavoro; compilare un report e consegnarlo al cliente; discutere i risultati della valutazione dell‟input in un feedback workshop; concludere il lavoro e fornire al cliente tutti i report riassuntivi di questa fase.

3. Valutazione del processo: la funzione è quella di monitorare, documentare e valutare le attività del programma. Le attività del valutatore sono le seguenti: incaricare un membro del gruppo di valutazione di monitorare, osservare tutto il processo, e fornire periodicamente report sull‟avanzamento del lavoro; tenere, in collaborazione con lo staff del programma, una documentazione degli eventi, dei problemi, dei costi, etc.; intervistare periodicamente i destinatari, i responsabili del programma e tutto lo staff per ricavare le loro valutazioni sullo stato di avanzamento dei lavori; aggiornare costantemente il quadro di sviluppo del programma; compilare e consegnare periodicamente al cliente report sui risultati della valutazione del processo; discutere i risultati della valutazione del processo in un feedback workshop; concludere il lavoro e fornire al cliente tutti i report riassuntivi di questa fase.

4. Valutazione del prodotto: Stufflebeam divide questa fase in quattro sub- fasi:

4a. Valutazione dell‟impatto: la funzione è la valutazione degli effetti del programma. Le attività del valutatore sono le seguenti: individuare tutti coloro cui il programma ha fornito un servizio, mantenendo una documentazione sui loro bisogni e sui servizi ricevuti; valutare la corrispondenza tra questi individui o gruppi e i destinatari reali del programma; intervistare periodicamente tutti gli stakeholders, per ricavare informazioni sugli effetti del programma sulla comunità; includere tutte le informazioni ottenute in un report complessivo e sempre aggiornato del programma; valutare se il programma ha avuto un effetto su un gruppo di persone che non erano stati identificati come destinatari (nontargeted group); elaborare un report della valutazione d‟impatto e consegnarlo al cliente; discutere i risultati della valutazione in un feedback workshop;

concludere il lavoro e fornire al cliente tutti i report riassuntivi di questa fase.

4b. Valutazione dell‟efficacia: la funzione è la valutazione della qualità e dell‟importanza dei risultati. Le attività del valutatore sono: intervistare gli stakeholders chiave per determinare la loro valutazione dei risultati (positivi e negativi) del programma; condurre studi di caso approfonditi con alcuni destinatari; incaricare un membro del gruppo di valutazione e lo staff del programma di fornire la documentazione necessaria per valutare la qualità e il valore degli effetti del programma sui destinatari; incaricare un membro del gruppo di valutazione di valutare gli effetti del programma sulla comunità; incaricare un goal-free evaluator (che non consoce cioè gli obiettivi del programma) di accertare l‟intera gamma di effetti prodotti dal programma, sia quelli attesi sia quelli inaspettati; raccogliere informazioni sulla natura, i costi e il successo di programmi simili; elaborare un report della valutazione di efficacia e consegnarlo al cliente; discutere i risultati della valutazione in un feedback workshop; concludere il lavoro e fornire al cliente tutti i report riassuntivi di questa fase.

4c. Valutazione della sostenibilità: la funzione è quella di valutare il grado in cui gli effetti prodotti dal programma siano costanti nel tempo. Le attività del valutatore possono essere così riassunte: intervistare i responsabili e l‟intero staff per individuare i loro giudizi sul grado di successo del programma nel tempo; intervistare i destinatari del programma per ricavare giudizi su quali vantaggi possono e dovrebbero essere sostenuti nel tempo; rivedere i dati sull‟efficacia e sui costi del programma per giudicare quali attività potrebbero proseguire; intervistare i destinatari per ricavare la loro valutazione delle condizioni perché il programma possa continuare; esaminare i piani, i budget, gli incarichi dello staff, e altre informazioni rilevanti per calcolare la probabilità che il programma possa continuare; rivedere periodicamente il programma per valutare il grado in cui i suoi effetti positivi stiano proseguendo; elaborare un report della valutazione della sostenibilità e consegnarlo al cliente; discutere i risultati della valutazione in un feedback workshop, oltre alla necessità eventuale di un

follow-up per valutare i risultati a lungo termine; concludere il lavoro e fornire al cliente tutti i report riassuntivi di questa fase.

4d. Valutazione della trasferibilità: la funzione è la valutazione della possibilità di adattare e applicare con successo lo stesso programma in un altro contesto. Stufflebeam precisa che questo tipo di valutazione è una componente opzionale del modello CIPP. Le attività del valutatore in questo caso sarebbero le seguenti: incaricare lo staff del programma di identificare potenziali fruitori del programma stesso; giudicare la rilevanza del programma (o di una parte di esso) rispetto alla situazione dei nuovi fruitori; valutare l‟adattamento; elaborare un report della valutazione di trasferibilità e consegnarlo al cliente; discutere i risultati della valutazione in un feedback workshop; concludere il lavoro e fornire al cliente tutti i report riassuntivi di questa fase.

Durante tutto lo svolgimento del processo appena descritto, assume importanza anche la valutazione della valutazione (metavalutazione). Anche per questa fase l‟autore propone una serie di attività tra cui: accordarsi con il cliente che la valutazione seguirà gli standard stabiliti dal Joint Committee Program Evauation170 (utilità, fattibilità, appropriatezza, accuratezza) e/o un altro insieme di principi guida condivisi; documentare l‟intero processo di valutazione e i risultati in modo che la valutazione possa essere rigorosamente studiata; utilizzare periodicamente i risultati della metavalutazione per incrementare l‟appropriatezza del processo valutativo; fornire una documentazione scritta del grado in cui la valutazione corrisponde agli standard e includere i risultati nel report finale.