- Il disastro dei fondi strutturali | Roberto Perotti e Filippo Teoldi, 03.07.14
- Politiche a doppio binario | Paolo Iannini* e Andrea Tardiola**, 18.07.14
- Fondi strutturali: un’idea di Europa | Andrea Garnero 18.07.14
- La valutazione dei fondi strutturali e la cultura dell’aria fritta | Alberto Martini e Marco Sisti, 18.07.14
Luglio 2014
Il disastro dei fondi strutturali europei
Roberto Perotti e Filippo Teoldi 03.07.14
Ogni anno l’Italia spende miliardi in progetti finanziati dai fondi strutturali europei, eppure non abbiamo la minima idea dei loro effetti. Inevitabilmente, questa spesa è sfuggita di mano, come dimostra il caso italiano. Un estratto dall’Ebook.
(Una versione più lunga e completa di questo articolo è scaricabile gratuitamente qui)
I FONDI STRUTTURALI: UN FIUME DI DENARO IN PIENA
Nel 2012, l’Italia ha versato all’Unione Europea 16 miliardi di euro, e ne ha ricevuti 11 miliardi. Di questi, 3 miliardi riguardano i fondi strutturali che I’UE distribuisce alle regioni meno sviluppate. I fondi strutturali destinati all’Italia consistono essenzialmente in due veicoli: il Fondo Sociale Europeo (FSE), che si occupa prevalentemente di formazione, sussidi al lavoro, inclusione sociale, e il Fondo Europeo per lo Sviluppo Regionale (FESR), che si occupa prevalentemente di sussidi alle imprese e infrastrutture. La Tabella 1 riassume queste cifre.
Tabella 1. Flussi finanziari fra l’Italia e l’Unione Europea
Fonte: European Commission: Financial Programming and Budget. Dati in miliardi di Euro
Il nuovo ciclo di programmazione europeo per il settennato 2014-20 prevede un’allocazione di fondi strutturali all’Italia di 41 miliardi, di cui oltre 24 solo alle regioni del Mezzogiorno (si veda la Tabella 2) . Questa cifra va raddoppiata con la quota di co-finanziamento italiano. Si tratta quindi di un fiume di denaro.
Tabella 2. La nuova programmazione europea, 2014-20
Fonte: Accordo di Partenariato, pp. 235-8. Dati in miliardi di Euro.
Ogni euro di fondi strutturali che riceviamo ci viene dunque a costare due euro: un euro che dobbiamo versare all’Unione Europea, e un euro che dobbiamo mettere come cofinanziamento.
Quindi, contrariamente a quanta si crede, i fondi strutturali sono tutti pagati, e due volte, dal contribuente italiano.
L’ATTUAZIONE DISASTROSA DEL CO-FINANZIAMENTO
In linea di principio, il co-finanziamento è un’ottima idea. Esso è un modo per coinvolgere il beneficiario, per assicurarsi che abbia un interesse nel progetto e abbia quindi gli incentivi giusti a portarlo avanti nel modo più efficace possibile. Il problema è che I’applicazione pratica del cofinanziamento è stata tale da negare questo principio.
La Tabella 3 mostra che nel periodo 2007-2012, un totale di quasi 700.000 progetti sono stati finanziati in Italia con il FSE, per una spesa totale di 13,5 miliardi. La gran parte di questi fondi sono stati usati per finanziare circa 500.000 progetti di formazione di vario tipo, per una spesa totale di 7,4 miliardi.
Tabella 3. progetti di formazione co-finanziati dal FSE nelle regioni italiane
Fonte: nostra elaborazione su dati OpenCoesione
Tuttavia, mentre praticamente tutti i progetti di formazione sono attuati da regioni o province, solo il 4 percento del finanziamento totale proviene dalle regioni (quasi niente dalle province); il resto è finanziato in parti uguali da stato italiano e UE. Lo scopo del cofinanziamento europeo è dunque completamente negato: chi cofinanzia le iniziative è lo stato centrale italiano, ma chi le attua sono le regioni. Esse hanno dunque pochissimi incentivi ad assicurarsi che questi progetti funzionino effettivamente.
UN SOTTOBOSCO NEL SOTTOBOSCO: LE VALUTAZIONI
Ma come facciamo a sapere se i benefici di questi progetti superano i costi per la collettività? I costi per la collettività hanno due componenti: primo, i benefici che si sarebbero potuti ottenere se i soldi destinati a finanziare questi progetti fossero stati utilizzati in altro modo, per esempio lasciandoli nelle tasche dei cittadini; secondo, i costi diretti delle distorsioni causate dalla tassazione in questione.
Ovviamente, come in tutte le questioni di economia non esiste e non esisterà mai una risposta certa alla domanda di partenza. Ci sono però modi più o meno sofisticati e più o meno condivisi nella best practice internazionale per cercare di avvicinarsi ad una risposta ragionevole.
Per fare questo, idealmente si vorrebbe condurre il seguente esperimento: prendiamo due gruppi casuali di 1000 persone disoccupate; al primo gruppo mettiamo a disposizione un corso di formazione, al secondo no. Dopo 12 e 24 mesi, vediamo quante persone nel primo gruppo sono occupate e quante lo sono nel secondo gruppo. Se non vi è alcuna differenza, è molto difficile argomentare che il corso di formazione vale i soldi che costa. Ma anche se la differenza fosse significativa, bisogna prendere in considerazione due altri fattori prima di trarre qualsiasi conclusione: quanto guadagna chi è occupato dopo aver seguito il corso di formazione? E quanto è costato il corso di formazione stesso?
Nessun esperimento di questo genere è mai stato condotto in Italia. Vi sono ostacoli di ogni tipo, a partire da quelli di natura legale. Ciò nonostante, la valutazione dei progetti di formazione è un’industria che non conosce crisi. Solo nel periodo 2007-2011 sono stati prodotti 280 documenti di valutazione del FSE (vd. Tabella 4). Ma questa è certamente una sottostima, anche perché ogni regione sarebbe obbligata a produrre valutazioni e molte regioni producono più di una valutazione, anche se non tutte vengono rese pubbliche.
Tabella 4. Le valutazioni del FSE
Fonte: Le valutazione del FSE 2007-2013, Ministero del Lavoro e delle Politiche Sociali e ISFOL, p. 21
Tuttavia, la stragrande maggioranza di queste valutazioni sono e servono solo a mantenere un sottobosco nel sottobosco, quello dei centri studi.
Tipicamente, vengono considerati sviluppi positivi un alto numero di progetti iniziati o completati, una percentuale elevata di utilizzo della risorse disponibili, e un buon andamento degli indicatori di risultato prescelti, come per esempio il tasso di disoccupazione femminile.
EPPURE NON SAPPIAMO ANCORA NIENTE
Nessuno di questi criteri consiste però in una “valutazione” dei fondi strutturali. Finanziare molti progetti FSE, o utilizzare una percentuale elevata della dotazione FSE, possono essere segnali
“cattivi” se i soldi vengono utilizzati per progetti inutili o dannosi. E se il tasso di occupazione femminile sale, ciò non significa che i fondi strutturali siano stati utili: potrebbe essere dovuto alla congiuntura nazionale o regionale.
Alcune valutazioni cercano di andare oltre questi dati inutili. La valutazione del FSE del Lazio è una di queste. Essa presenta i risultati di un’indagine sugli esiti occupazionali 6 e 12 mesi dopo il completamento di un corso di formazione. La Tabella 5 mostra i risultati.
Tabella 5. Esiti occupazionali dei corsi di formazione, regione Lazio
Fonti: vd. Ebook
Dalla colonna (1), il 9,1 e il 3,9 percento dei frequentatori dei corsi di formazione erano occupati sei e dodici mesi dopo la fine dei corsi, rispettivamente È tanto o poco? Molto difficile dirlo. Una simile indagine fatta per il precedente settennato del FSE, nel 2006, mostrava dei numeri molto più alti (colonna 3): 54,2 e 34,7 percento, rispettivamente. Ma i due numeri non sono confrontabili, perché la prima indagine è fatta sulla base delle comunicazioni obbligatorie registrate dagli archivi dei centri per l’impiego, la seconda sulla base di interviste.
In ogni caso, bisognerebbe sapere quanto sono costati i corsi a cui si riferiscono questi dati e ancora meglio quanto guadagnano gli occupati. Poi bisognerebbe sapere se questi posti di lavoro
sono effettivamente “addizionali”, cioè se le imprese avrebbero assunto ugualmente le persone che appaiono in tabella anche se non fossero stati condotti i corsi di formazione. E se sono
“addizionali”, per assumere queste persone siamo sicuri che I’azienda non abbia licenziato un numero equivalente di lavoratori già impiegati?
L’Unione Europea incarica un network di esperti di collezionare tutti i rapporti di valutazione di tutti i paesi UE, così come le valutazioni di singoli programmi. Nessuna delle valutazioni prese in esame per I’Italia è del tipo analisi costi benefici, cioè nessuna tenta di valutare i costi e i benefici per la collettività secondo la metodologia illustrata sopra. Ma è facile mostrare come in realtà non abbiamo la benché minima idea né dei costi né degli effetti di questi progetti.
Prendiamo il rapporto del network di esperti sulla spesa del FSE per l’Inclusione Sociale (Tabella 6). In Italia la percentuale che ha trovato un impiego in Italia sembra essere molto più bassa che in Francia e in Germania: solo l’1 percento dei partecipanti, e il 14 percento di coloro che hanno completato l’attività, contro il 19 e l’85 percento per la Francia. Ma in realtànon sappiamo assolutamente se i partecipanti hanno ricevuto servizi diversi: per esempio è possibile che i partecipanti italiani abbiano ricevuto servizi non finalizzati a trovare un posto di lavoro. Oppure il tipo di partecipanti in Italia potrebbe essere stato molto diverso (per esempio, migranti appena arrivati in Italia); oppure ancora effettivamente i servizi offerti in Italia sono stati meno efficaci.
Non lo sapremo mai.
Tabella 6. Spesa per inclusione sociale del FSE, partecipanti e occupati
Fonte: ESF Expert Evaluation Network: Final synthesis report on Social Inclusion, p. 46
I casi sono due. O i dati della Tabella 6 dicono qualcosa sugli effetti causali dei corsi di
formazione, e in questo caso avrebbero dovuto indurre qualsiasi policymaker italiano sensato a ridurre la spesa per corsi di formazione. Oppure questi dati, per le ragioni discusse sopra, non dicono niente, e allora dobbiamo accettare la conclusione che stiamo spendendo miliardi senza sapere che effetti hanno.
Politiche a doppio binario
Paolo Iannini* e Andrea Tardiola**
18.07.14
Gentili professori,
la nostra valutazione sul valore generato dai fondi strutturali nella programmazione appena conclusa è inequivocabile: del tutto insufficiente. Si tratta di una valutazione negativa perché troppo spesso il migliore risultato che si è potuto conseguire è stato il raggiungimento dei target di spesa, quindi la soddisfazione di un indicatore esclusivamente contabile che esprime ben poco in termini di apprendimento sull’efficacia di una politica pubblica.
La nostra esperienza al governo della Regione Lazio ci ha fatto comprendere come il punto di maggiore debolezza sia stata l’assenza di una vocazione strategica nell’utilizzo delle risorse europee. Non ci si è chiesto quale risultato si dovesse ottenere con il loro impiego, dedicando molta attenzione (se non tutta) al rispetto dell’esercizio burocratico che la filiera delle risorse UE richiede di soddisfare. L’effetto distorto di questa lacuna è stato il tipico modello delle politiche a doppio binario: da un lato l’esercizio dell’ordinaria amministrazione, dall’altro la macchina di spesa dei fondi europei, che si somma alla spesa propria senza alcuna ambizione di integrazione e convergenza nell’utilizzo dei diversi portafogli di risorse.
Dall’analisi di questo punto di debolezza abbiamo cercato di imparare la lezione per impostare in modo innovativo il nuovo ciclo di programmazione comunitaria 2014-2020, imperniandolo nel quadro più ampio delle politiche per lo sviluppo di medio e lungo periodo.
In questo esercizio il Lazio è stato avvantaggiato anche da una oggettiva concomitanza temporale:
la coincidenza tra il momento di programmazione degli obiettivi della legislatura regionale e l’occasione della pianificazione del nuovo settennato di fondi europei; entrambi i processi si sono avviati nella seconda metà del 2013.
Come abbiamo impostato questo lavoro? Cercando di raggiungere la massima sinergia tra risorse europee, statali e regionali proprie per il perseguimento di uno schema di obiettivi – macro, meta e poi puntualmente gestionali – che costituiscono la bussola unica per dirigere gli interventi della regione nei prossimi anni. La scelta strategica, quindi, è stata quella di adottare un approccio alla programmazione delle risorse finanziarie che, superando la logica “a canne d’organo”, facesse dell’uso integrato delle risorse lo strumento capace di dare attuazione a un disegno di sviluppo del territorio, di rilancio dell’economia e di sostegno al tessuto sociale regionale.
In questo modo – prendendo a riferimento alcuni precisi concetti-chiave: selezione degli interventi, concentrazione della spesa, conseguimento di cambiamenti strutturali per il sistema socioeconomico e territoriale regionale – abbiamo programmato la spesa di oltre 4,1 miliardi di euro, concentrandone il 90 per cento in soli 45 interventi: “azioni cardine” intorno alle quali costruire un preciso progetto di sviluppo e crescita.
Ed è tutto in questo sito, nel quale è possibile leggere in forma (riteniamo) accessibile le informazioni su obiettivi programmati, risultati attesi e, via via, stato di implementazione della diverse linee di attività: www.lazioeuropa.it1.
Per massimizzare il monitoraggio sullo stato d’attuazione del programma di governo (che in questo modo incorpora una quota di attività che poggiano sui finanziamenti UE) abbiamo vincolato ogni singolo gesto del ciclo di gestione contabile – un impegno, un pagamento, ecc. – al collegamento con una delle circa 450 le azioni nelle quali si articola il programma di governo. Già d’ora, ogni dirigente che impiega un euro di budget regionale può farlo solo se lo aggancia ad una delle azioni programmate. Una dinamica niente affatto scontata per la PA italiana.
Tutto questo permette di valutare più efficacemente? Noi pensiamo di si, perché la valutazione sui fondi UE non sarà l’ennesimo adempimento formale, un paper redatto da un advisor che leggeranno pochi o nessuno. La metrica della valutazione sarà invece quella sul raggiungimento degli obiettivi di ciascuna struttura regionale, sia che si tratti di una direzione, sia che si tratti di una azienda partecipata. L’esito di questa valutazione avrà il massimo grado di accessibilità, per
“provocare” quella valutazione diffusa da parte di osservatori qualificati e stakeholder che rappresenta la sfida più avanzata dell’accountability delle amministrazioni.
In estrema sintesi è questo il modo in cui stiamo operando. Si tratta sicuramente di una rivoluzione copernicana per le prassi consolidate di questa amministrazioni. Pensiamo possa essere un modello avanzato anche rispetto ad enti con un trascorso più virtuoso di quello della Regione Lazio.
Chiunque può esprimere una valutazione più approfondita, accedendo alla documentazione che si trova nel link che abbiamo indicato.
* Responsabile programmazione strategica Regione Lazio
** Segretario Generale Regione Lazio
1 Il sito è on line a partire dal 18 luglio 2014. Oggi visualizzabile all’indirizzo protetto http://lazioeuropa.hive.it
Fondi strutturali: un’idea di Europa
Andrea Garnero 18.07.14
Rinunciare ai fondi strutturali per abbassare le tasse. È questa la conclusione a cui arriva il
professor Perotti alla fine di un’ampia disamina degli sprechi dei fondi strutturali. È grosso modo la stessa conclusione a cui è arrivato Beppe Grillo già sette anni fa e che ha recentemente ribadito al Parlamento europeo a inizio luglio.
Effettivamente lo studio di Perotti e Teoldi documenta come ogni anno l’Italia spenda miliardi in progetti finanziati dai fondi strutturali europei, senza una seria e rigorosa valutazione dei loro effetti e quindi una programmazione adeguata. Di fronte a tali sprechi, quindi, la voglia di una proposta radicale dopo anni di mezze misure, è forte e quindi Perotti, in mancanza di segni chiari di cambiamento anche nella prossima tornata 2014-2020, chiede al Governo italiano di rinunciare del tutto ai fondi europei e destinare quei soldi alla riduzione delle tasse.
La proposta è sicuramente affascinante e sufficientemente radicale. Ma è una proposta sbagliata (oltre che infattibile, almeno nel breve termine).
Cominciamo dalle questioni di forma, relativamente meno importanti: l’Italia non decide da sola se accettare o meno i fondi strutturali. Lo scambio di un euro di fondi strutturali in cambio di un euro di tasse in meno non è fattibile. Se l’Italia non spende i fondi che le sono assegnati (perché non ne è capace o vi rinuncia), questi tornano nel calderone comune e sono restituiti ai vari Stati secondo le rispettive percentuali di contribuzione al bilancio europeo. Se l’Italia restituisse un euro,
avrebbe indietro meno di nove centesimi. Si potrebbe obiettare che per risolvere questo problema basterebbe un grande accordo politico. Concretamente questo significa mettere mano a trattati, regolamenti e quadro finanziario settennale. Cioè serve la firma di 28 Stati, ognuno con le proprie priorità e dibattiti interni. Non proprio realistico di questi tempi.
A parte questi ostacoli formali, la proposta è sbagliata nella sostanza e rischia di minare le basi stesse della costruzione europea. Nel primo corso di macroeconomia si insegna che in politica economica ci sono due strumenti: la politica fiscale e la politica monetaria. Al momento, l’area euro è governata solo da una gamba monetaria. La politica fiscale è rappresentata solo da un misero budget di cui appunto fanno parte i fondi strutturali. L’idea di Perotti è, quindi, in aperta contraddizione con quanto i macroeconomisti, e non solo, teorizzano e ci farebbe solamente fare molti passi indietro nella costruzione europea. I fondi strutturali rappresentano (molto in nuce) l’unica forma di redistribuzione attualmente presente in Europa. Restituirli a Bruxelles per rinazionalizzarne la spesa significherebbe rinunciare anche a questo piccolissimo strumento di redistribuzione e non aiuterebbe a rendere “più ottimale” l’area monetaria, anzi, probabilmente la renderebbe ancora “meno ottimale”.
Infine, una proposta del genere sposterebbe fondi destinati agli investimenti alla spesa corrente.
Esattamente l’opposto di quanto unanimemente gli economisti chiedono. Ed esattamente l’opposto di ciò di cui abbiamo bisogno in questo momento in cui soffriamo di un vero e proprio
“investment crunch”. Seguendo Perotti avremo ridotto le tasse, ma continueremo a non avere investimenti (le imprese potranno aumentare marginalmente gli investimenti grazie alla riduzione delle tasse, ma gli investimenti pubblici saranno definitivamente cancellati). Ma anche se
dirottassimo le spese sugli investimenti, comunque non avremmo risolto i problemi di trasparenza ed efficienza che abbiamo con i fondi europei.
Chiedere di rinunciare ai fondi europei ricorda chi chiede di uscire dall’euro dati i problemi evidenti che la moneta unica ha mostrato di avere durante la crisi. Questo aiuta a ottenere i titoli dei giornali, ma non avrà alcun effetto concreto perché non è né realistico né, alla fin dei conti, auspicabile. Il problema è come gestiamo questi fondi in Italia e i fattori sono noti: governance confusa tra Enti locali, regioni e Stato, mancanza di una cultura di valutazione, nepotismo e clientelismo, fino alla criminalità organizzata. “Affamare la bestia” e tagliare i fondi (a patto che non tornino sotto altre forme) è la soluzione di Perotti. Ma come danno collaterale rischierebbe di far cadere definitivamente i già gracili pilastri su cui si fonda l’Unione Europea. Rinunciando ai fondi strutturali saremo semplicemente più soli nella nostra burocrazia e inefficienza. L’alternativa che rimane è di continuare la battaglia per una cultura della valutazione, di accesso ai dati e trasparenza. Sono stati fatti dei passi avanti negli ultimi anni in questo senso (magari limitati, ma che intanto hanno permesso di accedere ai dati utilizzati da Perotti). L’ottimismo della volontà (e forse dell’età) mi fa sperare che ne faremo ancora molti nei prossimi.
La valutazione dei fondi strutturali e la cultura dell’aria fritta
Alberto Martini e Marco Sisti 18.07.14
Che la valutazione dei fondi strutturali avesse una forte componente di finzione eravamo in molti a pensarlo (e un po’ di meno a dirlo pubblicamente). Non ci ha dunque stupito l’articolo di Perotti e Teoldi, del quale, pur non condividendo tutto, apprezziamo la denuncia dell’orgia di retorica e della marea di frasi incomprensibili che spesso guidano le politiche nostrane. Potremmo anzi chiamare cultura dell’aria fritta (il cui acronimo CAF ebbe in passato altre interpretazioni) questo modo di pensare e agire, che da tempo impregna il dibattito pubblico in Italia e che ha trovato nei documenti relativi ai fondi strutturali un brodo di coltura ideale.
Occorre però tener separate due questioni molto diverse: il fatto che i fondi strutturali non siano valutati nei loro effetti non implica necessariamente che siano tutti soldi sprecati. Non si può negare la possibilità che vi siano stati effetti positivi. Semplicemente, senza una valutazione condotta in modo rigoroso, tali effetti non sono rilevati. Non si tratta di una mancanza da poco:
senza questo tipo di evidenza non si è in grado di distinguere le politiche che funzionano da quelle che funzionano meno, o che non funzionano affatto.
Uno dei metodi principali per capire se un intervento ha prodotto i risultati desiderati è la sperimentazione controllata: il disegno è lo stesso utilizzato per misurare l’efficacia di un nuovo farmaco rispetto al treatment-as-usual. Tuttavia, una serie non piccola di ostacoli si frappongono all’applicazione di questo paradigma alle politiche pubbliche. Non sono però i vincoli legali a rappresentare il maggior ostacolo. A testimonianza di ciò, una mezza dozzina di esperimenti, negli ultimi cinque anni, sono stati condotti (udite, udite) anche in Italia.
QUANDO GLI INCENTIVI NON SONO ALLINEATI CON IL BUONSENSO
Perché dunque questo metodo non è mai stato applicato in modo sistematico ai fondi strutturali?
Perché anche l’approccio controfattuale, di cui la sperimentazione controllata è un caso particolare, è così poco diffuso? Insomma, perché non ci si è impegnati a fondo per rispondere alla domanda di buon senso: sono soldi spesi bene?
Le ragioni sono molte, ma quella decisiva è che le Autorità di gestione dei fondi (le regioni per i POR e i Ministeri per i PON) hanno un obiettivo prevalente su tutti gli altri: assorbire (cioè impegnare, spendere e rendicontare) tutte le risorse loro assegnate entro n anni dalla conclusione del periodo di programmazione. Se l’obiettivo finale è spendere tutto – e spesso non si riesce a fare neppure quello – cosa serve sapere che si sta spendendo male? Attenzione, male in questo caso non significa senza seguire le regole e senza definire obiettivi. Spendere secondo le regole comunitarie è tutt’altro che facile. La ragnatela di regolamenti è impressionante e quasi impenetrabile per i non addetti ai lavori. E’ largamente basata sull’idea che, se una spesa rispetta fino in fondo le regole comunitarie ed è dettata da buone intenzioni, questa spesa sarà anche utile ed efficace. Poi, quanta più aria fritta si utilizza nella definizione degli obiettivi di quella spesa, tanto più difficile sarà metterla in discussione.
UNA TENSIONE TRA DUE MODI DI CONCEPIRE LA VALUTAZIONE
E’ inevitabile che esista una tensione tra chi vive nel mondo della valutazione dei fondi strutturali, a tratti surreale, e chi vorrebbe capire se sono soldi ben spesi (1).
I fondi strutturali sono dotati di un poderoso e ambizioso sistema di rendicontazione, comprensivo di target, risultati attesi, indicatori di ogni tipo, premialità e meccanismi di disimpegno. Tutto ciò è definito valutazione e viene affidato a “valutatori indipendenti’ (assoldati dalle stesse Autorità di gestione). E’ utile esaminare il funzionamento di tale mercato. Ogni valutazione, con il suo consueto corredo di aria fritta, viene messa a bando dall’Autorità di gestione, obbligata a farlo dalle norme imposte dalla Commissione. Chi partecipa alla gara sa che la sua offerta verrà valutata da qualcuno di fatto poco interessato ai suoi contenuti e ai risultati della valutazione stessa. Tende perciò ad investire poche risorse per perfezionare la sua proposta e piuttosto massimizza il numero di bandi a cui partecipa, sfruttando economie di scala (leggi taglia e incolla) e sperando di spuntarla con un’offerta economica al ribasso. Questa tendenza è destinata ad accentuarsi e a peggiorare la qualità media delle valutazioni, a meno che non si intervenga per modificare questi incentivi perversi.
Ma anche se questo mercato funzionasse meglio, ancora un ostacolo impedirebbe di sapere se una certa politica ha avuto un effetto, o un impatto, tale da giustificarne il costo. Questo perché la Commissione europea ha commesso vent’anni fa un errore fondamentale di cui paghiamo le conseguenze ancora oggi. L’errore è stato aver convinto centinaia di Autorità di gestione, e quindi migliaia di valutatori o sedicenti tali, che lo strumento per misurare l’impatto dei fondi fossero gli indicatori di impatto (2). E che quindi l’impatto fosse osservabile e rendicontabile come qualsiasi altra grandezza.
Che lo si chiami effetto o impatto, un modo sensato per tentare di misurarlo è confrontare ciò che si osserva dopo e quello che si sarebbe osservato in assenza di intervento. Questa situazione di assenza è puramente ipotetica ed è al meglio approssimata da ciò che si osserva nel gruppo di controllo di un ben eseguito esperimento con randomizzazione. Quando ciò non è possibile, esistono molti altri metodi disponibili, quale quello utilizzato da Depaoli, Rettore e Schizzerotto nello studio trentino pubblicato pochi giorni fa da lavoce.info. Ma su nessuno di questi metodi hanno mai insistito i guidance documents, le bibbie della valutazione prodotte dalle varie DG all’inizio dei periodi di programmazione e pedissequamente seguite dai valutatori. Non nel 2000- 2006, né nel 2007-2014.
MEGLIO TARDI CHE MAI
Qualcosa è cominciato a cambiare attorno al 2009. Un contributo decisivo è venuto dalla pubblicazione del “rapporto Barca” sul futuro delle politiche di coesione, commissionato a Fabrizio Barca dal commissario per le politiche regionali Danuta Hübner. Questo documento rappresenta un punto di svolta, se non nella pratica, almeno nella consapevolezza di alcuni massimi dirigenti della Commissione. Il rapporto non usa mezzi termini: “indicatori di risultato e valutazione d’impatto rispondono a due fini completamente diversi: il primo rappresenta uno strumento per focalizzare l’attenzione dei governi e dell’opinione pubblica sugli obiettivi (…), il secondo è uno
strumento per comprendere se specifici interventi hanno avuto un effetto su un dato elemento.
Diversamente da quanto accaduto finora, le due funzioni non andrebbero confuse”. (3)
Oggi anche la Commissione Europea promuove l’uso dell’approccio controfattuale: il programma Progress (adesso EaSi) ha recentemente messo a bando grants fino ad un milione di euro per realizzare forme di sperimentazione controllata.
LA SFIDA CONSISTE NEL CAMBIARE IL SISTEMA DI INCENTIVI
Come uscire dal “sottobosco delle valutazioni” condotte in modo rituale e autoreferenziale? Non abbiamo ricette sicure, solo la forte convinzione che sia necessario modificare il sistema di incentivi che ci ha condotto all’attuale status quo. Purtroppo tale sistema è ben radicato ed agisce su molti attori diversi, per questo motivo sono necessarie soluzioni radicali che operino su più livelli. Proviamo a proporne alcune.
1. Nell’immediato serve una drastica revisione dei criteri usati per aggiudicare i bandi di valutazione. L’obiettivo è incentivare chi partecipa alla gara ad investire nella preparazione di
proposte di qualità.
(i) In questa prospettiva si deve ridurre ai minimi termini, o annullare del tutto, il peso dato all’offerta economica. La “stazione appaltante” dichiara le risorse disponibili per la valutazione e i concorrenti si sfidano solo sulla qualità dell’offerta tecnica. Chi finora ha scommesso sulla strategia del maggior ribasso viene automaticamente messo fuori gioco. (ii) Il compito di giudicare l’offerta tecnicamente migliore viene affidato a soggetti qualificati e indipendenti dalla stazione appaltante.
Per bandi di una certa consistenza si può richiedere la redazione della proposta in inglese che, oltre a consentire il referaggio di esperti stranieri, è un ottimo antidoto all’aria fritta. (iii) Le stazioni appaltanti devono inoltre imporre l’obbligo ai valutatori di depositare dati e risultati degli studi presso un public repository, il cui accesso sia aperto a tutti coloro che intendono replicare le analisi. Ciò può attivare un meccanismo di “controllo sociale” sulla qualità dello studio.
2. Un’altra regola da imporre è che a tutte le valutazioni venga data ampia pubblicità e diventino oggetto di dibattito pubblico, non solo “materiale da ufficio”. A questo fine una parte delle risorse deve essere allocata per garantire la divulgazione degli esiti delle analisi e organizzare momenti di confronto pubblico. Una quota di risorse può essere concessa solo a condizione che i risultati della valutazione abbiano raggiunto un certo livello di diffusione sulla stampa o sul web.
3. Parte degli incentivi dovrebbe agire sui valutatori di domani. Al contrario di quanto accade all’estero, in Italia non esiste, dentro e fuori le amministrazioni, un serio percorso di carriera per chi si occupa di analisi delle politiche pubbliche. Per quale motivo un buon laureato dovrebbe aspirare a fare una professione così poco riconosciuta e della cui utilità sono in molti a dubitare (anche tra gli stessi committenti)? Per invertire questa tendenza sarebbe necessario investire seriamente in una leva di giovani da formare sul campo, in quei Paesi dove, da alcuni decenni, la valutazione viene fatta e presa sul serio. Dalla Germania al Messico.
(1) Si veda Martini e Trivellato
(2) Una dettagliata ma ormai datata argomentazione di questa tesi si trova in questa pagina (3) Ecco il testo inglese: “outcome indicators and impact evaluation respond to two radically different tasks: the first represents a tool to focus policymaker and public attention on objectives […] the latter represents a tool to learn about whether specific interventions have had an effect on a given dimension. Unlike what has happened so far, these two functions must not be confused”.
