La valutazione dell‘outcome: un adattamento del modello logico

Nel modello logico del framework presentato, la componente informativa ha un peso molto rilevante per la presentazione, la comunicazione e la diffusione delle caratteristiche sia della politica, nel caso specifico del modello di Green e Kreuter indirizzate verso la salute e la qualità della vita, sia dei relativi interventi. Allo stesso tempo, nel modello è prevista - sia nella fase di predisposizione della politica o dell‘intervento/programma sia nella fase di valutazione - l‘analisi dello stato della conoscenza sulla popolazione delle tematiche relative alla politica stessa.

Infatti, la seconda e quarta fase della linea Precede e le fasi ottava e nona della linea Proceed sono caratterizzate anche dall‘analisi delle conoscenze o presenti sulla popolazione generale, per determinare le necessità da soddisfare

della formazione della conoscenza come outcome delle politiche socio-educative.

189 relativamente alla problematica ritenuta importante, o formatesi sui beneficiari effettivi riconosciuti dalla politica, per determinare l‘accrescimento o meno della conoscenza e consapevolezza sulle tematiche della politica intrapresa.

Avendo posto come scopi della Tesi quelli di accertare sia la presenza di una conoscenza tacita nella popolazione, sulle tematiche che sono o diverranno ragione di una politica socio educativa, sia l‘incremento della conoscenza tacita determinata da un processo di formazione informale che si attiva con lo svolgimento delle attività e delle azioni dell‘intervento e che si nutre dell‘informazione e della comunicazione sull‘intervento stesso, si è scelto come framework quello ideato e proposto da Green e Kreuter, apportando alcuni adattamenti ad hoc. Gli adattamenti operati e descritti nella figura 3.5.2.a riguardano sia gli scopi generali del modello sia le Fasi della linea Precede, in particolare la prima e la seconda, sia le Fasi della linea Proceed, considerate invece nella loro totalità.

Il modello di Green-Kreuter ha come scopo principale le tematiche relative alla salute e, quindi, alla qualità della vita; l‘adattamento della parte relativa alla salute ha comportato l‘aggiunta di ulteriori condizioni rispetto a quelle iniziali, prendendo in considerazione i fattori sociali, economici, civili, ambientali ed educativi che possono favorire il miglioramento della qualità della vita. Ne deriva che, le prime due Fasi della linea Precede del modello di Green/Kreuter hanno subito una riconfigurazione, in funzione della quale la Fase 1 assolve il compito di analizzare le ―condizioni‖ dello stato della popolazione per ambiti diversi, mentre la Fase 2 ricomprende la ―diagnosi epidemiologica‖372 nella sua accezione più generale, considerandola come una ―indagine sulle caratteristiche della popolazione‖.

Le altre fasi della linea Precede rimangono inalterate sia negli scopi sia nelle azioni.

372 _{Dal punto di vista etimologico, l‘ epidemiologia è una parola composita [epi: attorno;démos:} popolazione; logos: discussione, studio) di origine greca, che letteralmente significa «discorso riguardo alla popolazione».

Figura 3.5.2.a. Modello di framework riadattato.

L‘adattamento maggiore - che deriva espressamente dagli scopi della Tesi e quindi dalla realizzazione di un modello di analisi degli outcome di una politica socio educativa e dei suoi interventi – si è invece operato sulle fasi della linea di Proceed.

Nella caratterizzazione Precede/Proceed, la valutazione di impatto e di risultato, Fasi 8 e 9, è probabilmente la forma più conosciuta e diffusa di valutazione, tanto che in molti casi quando non si esplicita il tipo di valutazione, rimane implicito che si tratti di questa; in tale procedura valutativa, la verifica del lavoro svolto e la conoscenza dei fattori che hanno favorito o ostacolato il processo sono presupposti. Nella forma originale di Proceed l‘output è considerato il prodotto del progetto, il dato che si è realizzato concretamente, mentre l‘outcome rappresenta l‘impatto dei risultati del progetto sui bisogni iniziali, e come questi si siano ridotti grazie all‘intervento messo in campo.

Nel riadattamento, invece, si contraddistinguono in modo esplicito sia gli output sia gli outcome. Nel primo caso si distingue tra tipi di prodotti realizzati e destinatari

raggiunti; mentre nel caso degli outcome si distingue tra risultati di cambiamento

originati su l‘apprendimento (beneficiari e non), l‘agire (comportamenti di beneficiari e di organizzazioni) e la condizione (contesto sociale e fisico).

La figura 3.5.2.b. riporta lo schema del modello logico che assume la scomposizione operata.

della formazione della conoscenza come outcome delle politiche socio-educative.

191 Figura 3.5.2.b. Schema del modello logico operativo di valutazione output /outcome. (le Fasi si riferiscono al modello di Green-Kreuter, 1999)

La componente Proceed rivista (adattamento di F.M. Melchiori)

La revisione del framework si è incentrata sostanzialmente da una parte sugli aspetti relativi all‘analisi del processo di attuazione e di svolgimento dell‘intervento della politica, e quindi sulla formazione, o apprendimento, e l‘utilizzabilità della conoscenza dipendente dall‘informazione diffusa - genericamente o specificatamente - sulle tematiche della politica di riferimento. Inoltre, - se l‘intervento è una riedizione, la conoscenza è già in parte presente sulla popolazione e sui beneficiari e dovrebbe migliorare la partecipazione dei beneficiari stessi all‘intervento (ipotesi derivabile dalla teoria). Dall‘altra parte, si sono sostituite le fasi relative alla determinazione degli ―output‖ e dei ―risultati‖ e ―outcome‖ del percorso originale, con il modello degli ―outcome scomposti‖ ritenuto più funzionale sia alla comprensione e interpretazione dei risultati sia all‘evidenziazione della formazione e del valore della conoscenza generata dall‘intervento che caratterizza il framework stesso. Una volta identificate le priorità dell‘intervento, gli obiettivi e i fattori da controllare, quindi, occorre convertire i

risultati della fase definitoria e progettuale di massima in azioni, rappresentate dalle seguenti fasi:

Fase 6: Valutazione Organizzativa, Amministrativa e di Processo

(Administrative, Policy, Implementation and Process Assessment).

L‘attenzione è posta sugli aspetti inerenti:

- gli elementi chiave di natura amministrativa e politica, che riguardano gli aspetti di realizzazione della politica e dei suoi interventi;

- l‘implementazione degli interventi della politica;

- i risultati raggiunti, intesi come prodotti realizzati dagli interventi. In particolare:

Aspetti organizzativi e amministrativi

In questa sotto-fase si devono considerare:

- le risorse di cui si necessita e quelle disponibili per lanciare e sostenere l‘intervento/programma relativo ad una politica (o più interventi);

- le barriere e le facilitazioni organizzative che possono avere un effetto d‘implementazione all‘intervento;

- le altre politiche che si possono usare come supporto all‘intervento/programma, o che bisogna cambiare per far sì che l‘intervento proceda.

Le risorse considerate come fondamentali sono: il tempo (già valutato nel Precede, in base al quale ogni obiettivo, per essere raggiunto, ha a disposizione un preciso lasso di tempo), il personale (scelto attraverso un attento esame delle capacità e delle abilità di ciascuno, in funzione del tipo di intervento da svolgere), il

budget (riguardante tutti i costi da affrontare, per l‘acquisto di materiali, l‘affitto di

locali o il salario del personale), il setting nel quale dare corso all‘attività dell‘intervento/programma della politica; dalle caratteristiche di questo ultimo elemento dipenderà la scelta e l‘uso delle metodologie e degli strumenti adottati..

Aspetti dell’implementazione

L‘implementazione si riferisce alla concretizzazione degli obiettivi in azioni, prevedendo cambiamenti nelle politiche, nei regolamenti (regulation) e nelle organizzazioni.

della formazione della conoscenza come outcome delle politiche socio-educative.

193 Il concetto di organizzazione sta invece ad indicare tutte quelle azioni che mirano ad ordinare e coordinare le risorse necessarie per l‘implementazione della politica/ programma. Quindi il focus è riposto sul controllo della qualità, inteso come il ricorso sistematico a supervisioni, controlli e correzioni per garantire l‘appropriatezza e il rilievo delle strategie e dei metodi applicati, nel rispetto degli obbiettivi del programma. Vengono definite in dettaglio le strategie, le tecniche, e i metodi utilizzati per assicurarsi il raggiungimento di un‘alta qualità373.

Aspetti della valutazione di processo

La valutazione di regolazione riguarda i processi realizzati (attuazione delle azioni) proprio perché le osservazioni sul processo dell‘intervento/programma da svolgere sono le prime ad essere disponibili. Infatti riuscendo ad individuare i problemi nella fase d‘implementazione dell‘intervento/programma, si possono fare gli appositi aggiustamenti (regolazione); inoltre è possibile la sperimentazione di nuovi metodi o tecniche che si integrano con le caratteristiche del programma e delle persone che vi partecipano.

Aspetti della realizzazione: i prodotti

Al termine dello svolgimento delle azioni si identificano i prodotti realizzati sia per tipologia sia per quantità (accertamento dei prodotti realizzati). Inoltre, si identificano i partecipanti-beneficiari, per i quali si evidenzia l‘influenza della diffusione dell'informazione sulle tematiche della politica ruspetto alla loro partecipazione.

Fase 7: Valutazione degli outcome: apprendimento (Learning outcome

evaluation).

La scomposizione degli outcome prevede che la prima tipologia di risultati si riferisca agli ―apprendimenti‖ che i beneficiari hanno ottenuto con la partecipazione all‘intervento (oltre quelli relativi ai contenuti sulla politica da cui è derivato l‘intervento), con particolare riferimento ai cambiamenti. Questa fase di valutazione, quindi, è importante perché prende in carico l‘analisi della valutazione dei processi e utilizza come indicatori per la valutazione i ―fattori‖ che sono stati considerati come ―segnalatori‖ dei cambiamenti; è in questa sede valutativa che si considera il possibile incremento di ―apprendimento‖ sulle tematiche della politica seguito come conseguenza dell‘attuazione degli interventi componenti la politica stessa.

La formazione di una conoscenza, sia tacita sia esplicita, che deriva da un'‖apprendimento informale‖ è fondamentale soprattutto quando gli interventi delle politiche riguardano da vicino la vita delle persone, cioè salute, qualità della

vita, istruzione, legalità, assistenza sociale, ecc.; in tali casi le tecniche e le metodologie da utilizzare devono essere finalizzate ad assicurare un flusso informativo funzionale tanto al raggiungimento degli obbiettivi preposti, quanto alla formazione di una conoscenza o tacita (cioè interiorizzata) o esplicita (cioè già interiorizzata e resa attiva nell‘intervento), entrambe intese come il risultato

dell‘apprendimento informale.

Fase 8: Valutazione degli outcome: agire (Act outcome evaluation).

Il secondo livello della valutazione degli outcome riguarda i cambiamenti che si ottengono, rispetto alla situazione iniziale, dalle azioni attuate con gli interventi e che investono: i comportamenti, le pratiche, le decisioni, le azioni dei beneficiari, le azioni sociali degli enti locali. Nello stesso tempo, in questa fase, sono analizzati gli effetti – compresi l‘efficacia, l‘efficienza e l‘economicità - dell‘intervento che derivano dagli interventi della politica e quindi le possibili ulteriori azioni sociali da intraprendere e che devono essere stabilite dai decisori o amministrativi o politici. In particolare, dal punto di vista della politica, si analizzano e valutano gli effetti agiti dall‘intervento della politica (o specifici aspetti di questo), sui comportamenti target, i fattori predisponenti, facilitanti e rinforzanti che li determinano, e sui i fattori ambientali rilevanti; in questa ottica si dimostra ancora più funzionale la definizione degli obbiettivi, nelle fasi 3 e 4 del Precede nel modo più preciso e dettagliato possibile, così da trarne le basi per questo tipo di valutazione.

Fase 9: Valutazione degli outcome: condizioni di impatto ( Impact outcome

evaluation)

Questa fase rappresenta il terzo e ultimo livello di valutazione, designa la terza area di scomposizione degli outcome, ed ha come oggetto d‘interesse sia lo stato di benessere raggiunto dai beneficiari - e indirettamente dalla popolazione in genere - sia gli indicatori della qualità del benessere, individuati nelle prime fasi del processo di pianificazione (Precede). Questi sono riferiti principalmente agli aspetti sociali, economici, civili e ambientali risultati dalla porzione della popolazione interessata dalla politica (stakeholder, decision maker, policy maker). Gli indicatori sociali, ovvero gli obiettivi degli interventi e della politica e le relative ipotesi concomitanti da soddisfare, come, ad esempio, la partecipazione civica, il bullismo, il consumo di droghe, l‘anoressia, la bulimia, la legalità (per le politiche socio educative), sono analizzati sulla percentuale della popolazione beneficiaria. La possibilità di individuare cambiamenti attraverso gli indicatori relativi all‘outcome di condizione del contesto e dell‘ambiente di sviluppo dell‘intervento (ovvero dell‘impatto della politica), dipende dalla specificità degli standard, dalla precisione della loro misurazione, dalla grandezza dell‘effetto, dalle dimensioni della popolazione sulla quale sono effettuate le misurazioni. Nell‘ambito della valutazione di impatto sono utilizzati, per gli interventi, due parametri fondamentali, cioè: l‘efficacia, che misura il grado di raggiungimento di un obiettivo e che valuta

della formazione della conoscenza come outcome delle politiche socio-educative.

195 gli effetti di un intervento, e l‘efficienza, che misura il rapporto costi – benefici, ovvero il rapporto fra quanto si è speso (non soltanto in termini economici, ma anche di risorse umane) e i risultati ottenuti. In breve, l‘efficacia cerca di rispondere alla domanda: si è ottenuto quello che si era preventivato di ottenere? L‘efficienza invece cerca di rispondere alla domanda: quello che si è ottenuto, lo si

poteva ottenere con costi minori? (oppure, con gli stessi costi si potevano ottenere

risultati migliori?).

La figura 3.4.2.c. riassume complessivamente tutte fasi, PRECEDE e PROCEED, con la caratterizzazione di ognuna.

della formazione della conoscenza come outcome delle politiche socio-educative.

197 Per chiarire l‘adattamento della linea Proceed, in riferimento all‘outcome, si utilizza il seguente esempio che ha come riferimento sia il modello operativo raffigurato nella figura 3.5.2.b sia la sintesi complessiva del modello esposta nella figura 3.5.2.c.

Ad esempio ―si consideri una mancanza di preparazione da parte degli operatori di un servizio nel farsi carico di determinati problemi, e di voler organizzare un corso di formazione ad hoc; l‘output è la realizzazione effettiva del corso, l‘outcome è la spendibilità pratica delle nozioni apprese nel lavoro quotidiano‖.

La valutazione di condizioni di impatto è perciò significativamente diversa dalla soddisfazione rispetto al corso e dall‘apprendimento che ne è derivato, perché non è detto che, per quanto il relatore sia stato bravo e le nozioni importanti, l‘applicazione pratica delle stesse risulti poi soddisfacente. Quindi, per valutare questo specifico outcome si dovrebbe, dopo un certo lasso di tempo, ricontattare gli operatori e verificare se le nuove competenze si sono dimostrate importanti per la presa in carico del problema di partenza; per fare questo occorrono risorse che non sempre sono disponibili.

Considerando in particolare le azioni di promozione di interventi per le politiche socio-educative si possono avere diversi target di cambiamento, come gli stili di vita, le norme sociali, l‘ambiente, le politiche di supporto, la distribuzione delle risorse, le conoscenze derivate da un apprendimento sia formale sia informale. Nell‘adattamento del framework, gli aspetti degli outcome si distinguono anche secondo la funzione e il tempo di occorrenza. In particolare, gli outcome si organizzano in:

- apprendimenti, raggiunti a breve periodo; - cambiamenti, raggiunti a medio termine; - condizioni, raggiunti a lungo termine.

Le caratteristiche dei tre stati sono:

- a breve termine, cioè si realizzano incrementi delle conoscenze, il cambiamento delle percezioni sociali, il cambiamento di atteggiamenti, le credenze e i comportamenti, la creazione di politiche supportive e il miglior accesso alle risorse;

- a medio termine, ovvero i risultati riguardano l‘empowerment (individuale e sociale), la riduzione dei fattori di rischio, l‘aumento della soddisfazione di vita, l‘aumento del benessere, l‘uso appropriato delle risorse, il miglioramento dell‘immagine dei servizi, l‘aumento del senso di comunità;

- a lungo termine, dove i risultati a livello generale consistono nell‘espansione della consapevolezza della problematica nella società, e si traducono in un aumento della qualità della vita, in una riduzione della incidenza della problematica, nell‘incremento della competenza dei servizi e della competenza della comunità.

Da questa ripartizione è possibile capire ancora meglio quanto sia difficile valutare l‘outcome nel complesso, in quanto se si progetta, ad esempio, un intervento di politica di educazione alla salute nelle scuole per la riduzione del numero dei fumatori, si potrebbero misurare gli outcome di primo livello in termini di maggiore consapevolezza dei rischi del fumo (tenendo però presente che l‘ obiettivo sarà quello di conoscere quanto questa consapevolezza pesa nella decisione di smettere di fumare o di non iniziare) interrogando i ragazzi e le ragazze destinatari del corso. Questo, tutto sommato, è ancora abbastanza semplice da realizzare, ma volendo considerare gli outcome di secondo livello, e quindi in questo caso l‘adozione di comportamenti, cioè di uno stile di vita senza fumo, si avrebbe bisogno di interpellare i ragazzi dopo un certo lasso di tempo, per verificare le loro abitudini, chiedendo esplicitamente quanto l‘intervento abbia influito nelle loro decisioni. Volendo poi valutare gli outcome di terzo livello, si dovrebbe ragionare in termini di riduzione di mortalità e morbilità, per cui si dovrebbe indagare l‘incidenza del fumo nei ragazzi partecipanti all‘intervento, che dovrebbe essere (nella migliore delle ipotesi) minore rispetto ai coetanei che non hanno partecipato, e questo dovrebbe tradursi a sua volta in minore incidenza della mortalità e della morbilità legata al fumo. Anche ammesso che si riesca a contattare i ragazzi a distanza di anni, sarebbe oltremodo difficile valutare gli effetti dell‘intervento a lungo termine, senza considerare che spesso una decisione riguardante la salute prende le mosse da una serie complessa di fattori: un ragazzo cioè potrebbe decidere di smettere di fumare perché motivato dal corso, o perché spinto dalla famiglia, o perché si accorge che ci sono sempre meno luoghi pubblici aperti al fumo, o perché le sigarette aumentano periodicamente di prezzo. L‘insieme di queste motivazioni può portare alla decisione di smettere, e sarebbe molto arduo – perfino per il ragazzo in questione – quantificare quanto ciascuna motivazione abbia influito nella decisione finale.

La domanda a cui si dovrebbe quindi dare una risposta sarebbe: se non ci fosse

stato il corso, le altre motivazioni sarebbero state sufficienti? In questo particolare

caso sono realizzate stime degli effetti tramite il modello controfattuale; ad ogni modo,o nel lungo periodo, pretendere di dare una risposta definitiva è quanto mai rischioso, se non impossibile.

della formazione della conoscenza come outcome delle politiche socio-educative.

199

Parte Quarta