Prime implicazioni di policy

L’applicazione dell’approccio controfattuale determina alcune principali implicazioni: ƒ effettuare con opportuno anticipo la raccolta dei dati per non dover sostenere gli

elevati costi associati a un suo eccessivo differimento; a tal fine può essere opportuno che i bandi prevedano l’obbligo di fornire i dati ritenuti rilevanti per l’analisi; se, ad esempio, l’obiettivo del bando è la crescita dimensionale delle imprese, si può prevedere l’obbligo di fornire un set di indicatori utili alla successiva valutazione delle caratteristiche dimensionali delle imprese. In alternativa, e allo scopo di evitare le difficoltà legate alla gestione di un eccesso di informazioni, la richiesta dei dati potrebbe riguardare le sole imprese beneficiarie in una fase successiva;

ƒ inserire esplicitamente nelle strategie e nei piani di valutazione, l’espressione “metodo controfattuale”;

34

Questa sezione è basata su M. Merito, S. Giannangeli, A. Bonaccorsi (2008), L’impatto degli incentivi pubblici per la R&S sulla attività delle PMI, in De Blasio G., Lotti F. (a cura di), La valutazione degli aiuti alle imprese, Bologna, Il Mulino; M. Merito, S. Giannangeli, A. Bonaccorsi (2007), Gli incentivi per la ricerca e lo sviluppo industriale stimolano la produttività della ricerca e la crescita delle imprese? Evidenze sul caso italiano, L’Industria, Aprile-Giugno.

ƒ realizzare una valutazione d’impatto anche nell’attuale fase di chiusura della programmazione 2000-2006, seppure con qualche difficoltà, al fine di programmare più efficacemente il prossimo ciclo.

Esplicitare chiaramente gli obiettivi della politica e i mezzi a disposizione per la sua attuazione può consentire all’amministratore pubblico di tutelarsi preventivamente da critiche generiche.

Al contrario, una esplicitazione non completa degli obiettivi della politica può indurre i soggetti interessati ad influenzare in maniera avversa e distorta le informazioni circa gli esiti della politica. A fronte di una politica che pone obiettivi chiari per alcune dimensioni, come la crescita occupazionale, e non altrettanto espliciti per altri, ad esempio la crescita dell’innovazione, i soggetti responsabili avrebbero più incentivo al raggiungimento degli obiettivi di occupazione, ponendo minore attenzione ai risultati in termini di innovazione. Ciò determina, altresì, la necessità di progettare sistemi in grado di indurre le imprese a rivelare correttamente le informazioni rilevanti per la valutazione della politica.

Inoltre, adeguati criteri di selezione dei beneficiari delle politiche e un accurato processo di selezione ex-ante possono contribuire a determinare le condizioni per il successo della politica.

Per quanto concerne la correttezza delle valutazioni, è importante disporre di risultati solidi, basati su criteri statistici consolidati, al fine di non configurare il rischio di proporre valutazioni superficiali delle politiche e quindi di rendere estremamente difficoltoso un miglioramento successivo delle stesse.

I modelli di impatto devono essere calibrati anche su soggetti differenti dalle imprese, come le università e gli enti di ricerca, poiché i progetti finanziati dalle politiche prevedono

partnership università-impresa. Inoltre, alle volte essi coinvolgono soggetti non ancora

esistenti, come nel caso delle politiche per la nuova imprenditorialità tecnologica.

Relativamente alla raccolta dei dati, si suggerisce di attivare una collaborazione tra le Regioni per la predisposizione di archivi comuni.

Al fine di facilitare l’adozione di metodi di valutazione avanzati e rigorosi da parte dei soggetti committenti della politica, il MIUR può assumere un ruolo di primaria importanza nell’indirizzare i processi valutativi di livello regionale verso un unico modello, rigoroso e statisticamente solido.

Si riportano di seguito i contenuti di uno short paper, approvato dal Gruppo di lavoro su Valutazione in itinere e controfattule, sui principi generali e alcuni criteri di indirizzo da diffondere alle istituzioni coinvolte nelle Politiche della ricerca e innovazione.

R

RIIQQUUAADDRROO44--SSHHOORRTTPPAAPPEERR““VVAALLUUTTAAZZIIOONNEEDDIIIIMMPPAATTTTOOEEMMEETTOODDOOCCOONNTTRROOFFAATTTTUUAALLEE””

- Premessa

Per iniziativa del Dipartimento per le Politiche di Sviluppo e Coesione, in accordo con il Ministero della Ricerca e dell’Università e del Ministero dello Sviluppo Economico, si è costituito nel Luglio 2008 un Gruppo di lavoro di accompagnamento alla Programmazione 2007-2013 del Quadro Strategico Nazionale.

Al Gruppo di lavoro partecipano le Amministrazioni centrali, le Agenzie di supporto (Invitalia, IPI) e le Regioni, sia del Mezzogiorno che del Centro-Nord.

Il Gruppo di lavoro, supportato da un Comitato di esperti, si è organizzato intorno a due assi:

ƒ procedure e processi di policy; ƒ contenuto ed efficacia delle politiche.

Nel corso del Gruppo di lavoro su Procedure e processi di policy dedicato al tema “Valutazione di impatto (ex post) e metodo controfattuale”, si è ritenuto opportuno formulare alcuni criteri di indirizzo da diffondere nel sistema delle istituzioni coinvolte nelle Politiche di ricerca e innovazione.

- Principi generali

Il Gruppo di lavoro su Procedure e processi di policy ha trovato ampio consenso intorno ai seguenti punti di principio:

ƒ la valutazione di impatto costituisce un elemento fondamentale delle Politiche di

ricerca e innovazione e della programmazione dei Fondi Strutturali;

ƒ le decisioni sulla valutazione di impatto devono essere prese fin dall’inizio della

programmazione in modo impegnativo, in coerenza con la esplicitazione di chiari obiettivi di policy, da premettere ad ogni intervento;

ƒ le valutazioni di impatto richiedono metodologie articolate e differenziate;

ƒ le metodologie devono essere coerenti con lo stato dell’arte internazionale, ed in

particolare devono includere l’analisi di causalità basata sul metodo controfattuale.

- Valutazione di impatto di politiche di incentivi alle imprese

Il Gruppo di lavoro su Procedure e processi di policy ritiene che vadano sottoposte ad attenta valutazione di impatto le politiche e le misure volte ad assegnare incentivi alle imprese, in particolare incentivi alla R&S.

Nello specifico occorre ex ante:

ƒ definire esplicitamente gli obiettivi dei provvedimenti di policy da sottoporre alle

migliori metodologie di valutazione disponibili secondo lo stato dell’arte internazionale, inserendo nel Piano di valutazione una previsione in tal senso;

ƒ definire un set minimo di informazioni da richiedere alle imprese in sede di bando,

prevedendo un obbligo di aggiornamento durante l’intero periodo di erogazione ed almeno un periodo successivo;

ƒ creare un archivio di dati che includa non solo le imprese assegnatarie di risorse

pubbliche ma anche le imprese che hanno partecipato ai bandi ma non sono state finanziate, integrando opportunamente il sistema di monitoraggio dei Fondi Strutturali e le banche dati esistenti, senza creare duplicazioni;

ƒ chiedere all’ISTAT di integrare, con opportune procedure di segretezza, i dati degli

archivi sulle imprese a fini di esigenze di valutazione;

ƒ ricercare un coordinamento tra le Regioni, per il supporto a ulteriori eventuali

sull’impatto non misurabile attraverso le indagini ISTAT o i dati di bilancio, attraverso le quali sia possibile costruire i campioni di controllo;

ƒ se si ritiene opportuno ricorrere all’analisi controfattuale occorre esplicitare nello

svolgimento delle gare di assegnazione di incarichi di valutazione la dizione “valutazione con metodo controfattuale” chiedendo ai proponenti di dare evidenza delle competenze e delle esperienze maturate.

- Valutazione di impatto di politiche dal lato dell’offerta (ricerca, collaborazione ricerca pubblica-impresa)

Nel caso in cui le politiche abbiano ad oggetto iniziative singole per le quali non si disponga di un campione di controllo, come ad esempio le politiche per la collaborazione ricerca pubblica- impresa (es. poli di innovazione, distretti tecnologici, centri di competenza, laboratori congiunti) si raccomanda di adottare il seguente approccio:

ƒ identificare con chiarezza gli obiettivi specifici delle politiche;

ƒ identificare gli indicatori che possono descrivere il raggiungimento degli obiettivi.

Tra questi, a titolo esemplificativo, nel caso della collaborazione ricerca pubblica-impresa:

ƒ contratti di collaborazione ricerca- impresa (numero, importo); ƒ co-invenzione di brevetti;

ƒ co-autoraggio di pubblicazioni scientifiche;

ƒ mobilità del personale in entrata e in uscita (anni-uomo);

ƒ partecipazione a strutture condivise (numero, tipologia e flussi finanziari);

ƒ ricercare, già in fase istruttoria delle misure di policy, una opportuna serie storica

(almeno 5 anni) precedente alla data di avvio della politica da valutare;

ƒ esaminare, con opportuni metodi statistici, se l’intervento delle politiche ha

prodotto miglioramenti significativi rispetto al trend esistente rilevabile nei dati, controllando sistematicamente per eventuali eventi esterni intervenuti.

XII.GESTIONE DEI BANDI PER R&I, SELEZIONE EX ANTE DEI PROGETTI E

VALUTAZIONE IN ITINERE: LO STATO DELLA PRATICA PRESSO LE

AMMINISTRAZIONI ITALIANE