La valutazione ex post delle politiche

Tra le esperienze del Laboratorio Cantieri, solo la Regione Emilia- Romagna si è cimentata nella sperimentazione di un approccio di valutazione delle politiche, mentre la Regione Lombardia sta attual- mente avviando iniziative autonome.

2.

La valutazione e il controllo

Per definire le caratteristiche di questo tipo di analisi è bene intro- durre alcuni concetti di base attraverso la figura seguente.

Se si considera un intervento pubblico, la valutazione ex post prende in considerazione tre dimensioni dell’attuazione:

a) le realizzazioni (output), e cioè la capacità di attuare la quantità di beni e servizi prevista (efficacia interna), con le caratteristiche definite in fase di pianificazione (qualità) e con un utilizzo otti- male delle risorse messe a disposizione (efficienza);

b) gli esiti o risultati (outcome), vale a dire la capacità di migliorare la situazione indesiderata (i bisogni, le domande) dei destinatari diretti degli interventi (efficacia esterna, utilità degli interventi e loro sostenibilità rispetto ad alternative);

c) gli impatti (impact), e cioè gli esiti di lungo periodo su altre cate- gorie di cittadini e sulla società nel suo complesso, comprese le conseguenze non previste.

In particolare, la valutazione ex post si focalizza principalmente sul- l’efficacia esterna degli interventi, e cioè sulla loro utilità, con riferimento prioritario agli esiti sui destinatari diretti. È quindi la domanda sulla capacità di migliorare i problemi collettivi che guida le ricerche valutative.

Diversamente, le attività di monitoraggio e controllo hanno come obiettivo l’analisi, anche in itinere, degli stati di avanzamento degli interventi e dei servizi, così come delle effettive realizzazioni. In que- sto ambito sono rilevanti le dimensioni dell’efficacia interna (realizza- zione delle quantità previste nei tempi previsti), della qualità (caratte- ristiche dei prodotti realizzati) e dell’efficienza (utilizzo ottimale delle risorse e sostenibilità nel tempo).

Applicate queste metodologie alla valutazione di tipo strategico, queste dovrebbero essere adottate per analizzare l’andamento di “politiche” e non tanto, o non solo, di interventi puntuali (di rilievo

Realizzazioni Risorse Bisogni Problemi questioni Obiettivi Impatti Esiti/ Risultati Efficienza Efficacia Rilevanza Utilità Sostenibilità Valutazione Programma Società Economia Ambiente

prioritario); in altre parole, di insiemi di azioni interdipendenti orientate ad affrontare in modo sinergico uno problema complesso.

Le modalità metodologiche ed operative attraverso cui realizzare gli obiettivi di valutazione e di controllo strategico sono varie, come anche la letteratura in argomento espone.4_{Vale la pena, quindi, ana-}

lizzare alcune esperienze significative e poi presentare una lettura cri- tica nel paragrafo conclusivo.

Come anticipato, la Regione Emilia-Romagna ha sperimentato nel periodo 2000-2006 un approccio complesso orientato sia alla valuta- zione di politiche che al controllo di fattori organizzativi interni; quindi un’attività integrata di valutazione e controllo strategico.

Alla base di questa esperienza sta la concezione che la funzione di valutazione e controllo strategico dovrebbe integrare tre prospettive: • la valutazione di politiche regionali, come approccio orientato alla

misurazione delle conseguenze degli interventi sui bisogni dei cit- tadini (enfasi sui risultati delle politiche);

• feedback interno all’organizzazione regionale sui legami tra le scelte strategiche e i relativi processi attuativi;

• il supporto ai processi di governance e cioè alle relazioni con gli altri attori (istituzionali e non) coinvolti nell’attuazione delle poli- tiche regionali.

In questa direzione, il controllo strategico si dovrebbe caratteriz- zare, secondo la visione proposta, in relazione ai seguenti fattori: • È finalizzato alle verifiche interne;

• Si basa sull’individuazione di pochi parametri chiave di controllo delle politiche;

• Deve essere finalizzato a correzioni di rotta;

• Richiede attenzione anche all’efficacia gestionale dei processi (per es.tempi);

• Deve essere sistematico;

• Deve riguardare tutte le politiche messe in atto; • Deve relazionarsi con il controllo direzionale;

Nello specifico, il programma che ha assunto il Settore preposto all’epoca della sua costituzione si è basato sui seguenti elementi: • la scelta di una metodologia per analizzare le politiche regionali e

per valutarne i processi di attuazione;

• la progettazione di un’organizzazione attraverso la quale procede- re allo sviluppo della funzione e dei relativi processi;

• la progettazione e realizzazione di strumenti per supportare il con- trollo strategico, e in particolare la realizzazione di un sistema infor-

4_{Cfr. ad esempio:}

Dipartimento della fun- zione pubblica, Misurare per decidere, Soveria Mannelli, Rubettino, 2006. G. Vecchi, “La valu- tazione delle politiche pubbliche”, in Morisi M. e Lippi A., Manuale di scienza dell’amministrazio- ne. La valutazione, Torino, Giappichelli, 2001. Formez, Valutare gli effetti delle politiche pubbliche. Metodi e applicazioni al caso italiano, Collana Materiali Formez, 2006

mativo di controllo strategico, inteso come sistema strutturato e per- manente attraverso il quale sistematicamente raccogliere le informa- zioni necessarie per il controllo strategico (data warehouse) e osser- vare l’andamento degli indicatori individuati (cruscotti strategici). Il riferimento di tipo metodologico su cui si è basata l’esperienza è quello costituito, da un lato, dall’idea di rilevare indicatori in grado di stimare l’efficacia esterna delle politiche regionali, e cioè la capacità di modificare i bisogni dei beneficiari e della collettività; dall’altro dal modello di balanced scorecard (scheda di valutazione bilanciata) ela- borato da Norton e Kaplan per tenere sotto controllo le variabili organizzative associate ai risultati. Viene definita “bilanciata” perché tiene in considerazione contemporaneamente:

• Obiettivi a breve e a lungo termine;

• Misure finanziarie e non finanziarie;

• Performance interne ed esterne.

L’obiettivo è la dotazione di diverse chiavi di comprensione ed inter- pretazione dell’efficacia delle politiche strategiche, capaci di misurarla dalle diverse prospettive di interesse per l’amministrazione regionale: • la prospettiva della collettività;

• la prospettiva economico finanziaria; • la prospettiva dei processi interni;

• la prospettiva dell’apprendimento e dello sviluppo.

La tabella seguente approfondisce il significato di queste dimensioni:

Collettività La prospettiva della collettività inter-

preta la Politica regionale in termini di impatto sui bisogni e le esigenze della collettività amministrata e in termini di gradimento dell’azione di governo da parte dei cittadini e dei portatori di interessi. Il fattore critico di successo è la capacità di adattare il policy mix ai cambiamenti del con testo.

Finanziaria La prospettiva finanziaria interpreta

la Politica regionale in termini di efficienza ed efficacia della spesa dedicata alla realizzazione degli inter- venti strategici.

Il fattore critico di successo è la dispo- nibilità di risorse sia trasferite che proprie.

L’idea di fondo che ha guidato la progettazione del modello è che gli obiettivi di ciascuna politica in termini di esiti sulla collettività, sono collegati in via logica a processi e obiettivi intermedi che afferi- scono ad aspetti di natura più organizzativa (processi, competenze) e strumentale (risorse finanziarie, investimenti, ecc.).

Da un lato, quindi, la dimensione propria delle ricerche di valutazio- ne, e cioè l’analisi degli outcome delle politiche, viene posta come ele- mento essenziale per giudicare il successo degli interventi. All’interno di questa dimensione, la valutazione della corrispondenza tra obiettivi e risultati più che sulla differenza tra quanto previsto e quanto realizzato avviene attraverso l’utilizzo di indicatori che rapportano indicatori di contesto ad indicatori di performance degli interventi e che quindi richiedono ricerche di tipo statistico e analisi sugli esiti (e qui c’è l’ag- gancio con la valutazione delle politiche di cui si è discusso prima).

Dall’altro lato, le ulteriori dimensioni analizzate qualificano la peculiarità di un ente come la Regione, che è ente che promuove poli- tiche più che prestare servizi direttamente alla collettività. In questo senso la dimensione prettamente economica è assai poco rilevante rispetto al totale delle risorse gestite dal bilancio regionale, che è

Organizzazione e processi La prospettiva dell’organizzazione e

dei processi interpreta la Politica regionale in termini di velocità di risposta ai bisogni, razionalizzazione e semplificazione delle procedure, introduzione di nuove tecnologie. I fattori critici di successo sono la capa- cità di adeguare il contesto normati- vo, la capacità di cambiare l’organiz- zazione, la disponibilità di risorse finanziarie per investimenti.

Apprendimento e sviluppo La prospettiva dell’apprendimento e

sviluppo interpreta la Politica regio- nale in termini di comprensione e soddisfazione dei bisogni della collet- tività amministrata, di sviluppo di competenze del personale e di stru- menti di apprendimento organizzati- vo necessari per incrementare la capacità di comprensione e soddisfa- zione dei bisogni.

Il fattore critico di successo è la capa- cità di osservare e interpretare l’evo- luzione del contesto.

Testo Significato

soprattutto un bilancio di trasferimenti. Non c’è tanto quindi la neces- sità di ricercare equilibri economici (o redditività) nelle gestioni poste in essere, ma piuttosto rileva l’efficienza e l’efficacia nella gestione dei flussi finanziari trasferiti ad altri soggetti pubblici e privati.

La rappresentazione degli obiettivi attraverso prospettive diverse con- sente di cogliere la complessità della strategia, costruendo una sorta di “mappa strategica” ossia una rappresentazione grafica che esplicita quelle che sono le ipotesi di correlazione (logica) tra obiettivi differenti (orga- nizzativi e verso i bisogni della collettività), che la strategia sottende.

Un esempio chiarisce il percorso logico dell’approccio seguito. La mappa strategica sotto riportata è relativa alle politiche abitati- ve. Si ipotizza che queste politiche prendano le mosse dai seguenti presupporti:

1. attuare gli strumenti previsti dalla legge di settore, che;

2. prevede l’incremento degli investimenti privati in alloggi da desti- nare alla locazione, in modo tale che;

3. questo si traduca in un incremento degli alloggi in locazione e che; 4. questo comporti una riduzione dei canoni medi degli affitti; 5. con conseguente sollievo per le famiglie che vivono in affitto.

Dare attuazione legge regionale n. 24/2001 Incrementare investimenti

privati per locazioni Incrementare offerta

alloggi in locazione Ridurre livello medio

canoni locazione

Alleviare disagio famiglie basso reddito

Promuovere riqualificazioni e recupero urbano Sviluppare e valorizzare patrimonio ERP Welfare O rg anizzazione e P roc essi Riso rse finanzia rie Co lle tti vi tà 105 %

Ad ogni obiettivo sono associate una o più azioni che concorrono alla sua realizzazione ed esplicitati i relativi indicatori (Nota termino- logica: come spesso accade è necessario specificare l’utilizzo dei ter- mini, che spesso varia rispetto a quello cui fa ricorso la letteratura accademica; in questa esperienza con indicatore di risultato si intende fare riferimento un indicatore di realizzazione di output; con impatto, invece, prevalentemente la capacità di risposta alla domanda dei por- tatori del problema).

Le azioni o “iniziative” sono attività programmate per supportare il raggiungimento di un obiettivo e implementare la politica.

A ciascuna iniziativa si collega un budget, rappresentato dallo stanziamento previsto dal bilancio di previsione annuale / plurien- nale.

Gli indicatori esplicitano le metriche con cui si approssima la misurazione degli obiettivi.

Sono stati distinti in:

• indicatori di risultato, che rappresentano misure riguardanti gli aspetti realizzativi dell’azione (per esempio numero di contributi economici erogati a famiglie in affitto);

• indicatori di impatto, che referenziano una misura di esito, di effi- cacia esterna, rapportandola ad una misura del contesto (per esempio numero di contributi erogati a famiglie in affitto/famiglie emiliano-romagnole in affitto come proxy della copertura del bisogno).

I valori assunti dagli indicatori rappresentano: • obiettivi (target), cioè misure del risultato atteso; • valori effettivi, ossia misure del risultato raggiunto.

Per quanto riguarda il budget associato alle azioni, i valori rappre- sentano:

• stanziamenti cioè misure delle risorse finanziarie assegnate; • impegni cioè misure delle risorse finanziarie effettivamente impie-

gate.

Prospettive Obiettivi Iniziative Indicatori Target

Collettività Finanziaria Processi Competenze

5_{Famiglie con capofami-}

glia con più di 65 anni. Il dato si riferisce ai percet- tori di contributo dei Comuni che hanno invia- to dati dettagliati alla Regione che nel 2002 sono stati 253 su 314 che hanno erogato contributi a valere sul fondo sociale per l’affitto, pari all’85% delle domande ammesse a contributo,

6_{Famiglie con capofami-}

glia straniero. Il dato si riferisce ai percettori di contributo dei Comuni che hanno inviato dati dettagliati alla Regione che nel 2002 sono stati 253 su 314 che hanno ero- gato contributi a valere sul fondo sociale per l’af- fitto, pari all’85% delle domande ammesse a con- tributo,

7_{Quota % delle domande}

di accesso al fondo sociale per l’affitto presentate sul totale delle famiglie in affitto (rilevate attraverso l’indagine Multiscopo- Istat). L’analisi delle fonti statistiche disponibili ci induce a ritenere che il numero delle domande di accesso al fondo costitui- sca una buona approssi- mazione della domanda potenziale (cfr report 2003).

8_{Quota % delle famiglie}

assistite tramite fondo sociale per l’affitto sul totale delle domande di accesso.

Alcuni indicatori elaborati sono i seguenti:

L’approccio sopra delineato è stato applicato, nel periodo 2003- 2006, a tre politiche regionali: politiche abitative; politiche per l’immigrazione; politiche della formazione professionale e del lavoro.

Successivamente, questo programma è stato ridimensionato a causa della scarsità di risorse destinate alla funzione e del riorienta- mento della missione del Settore con una maggiore attenzione alle attività di monitoraggio.