A PPENDICE AL C APITOLO 10

10.a Esperienze di politiche regionali e nazionali e contributi al dibattito sul tema “Valutazione in itinere e condizionalità”

- Regione Lazio

L’introduzione di elementi di condizionalità rappresenta il percorso più adeguato all’attuale fase delle politiche pubbliche, seppure ponga diversi problemi tra i quali quello relativo ai costi del processo.

Se si introduce la condizionalità a livello di progetto (es. attraverso la figura di un tutor che assolva alle funzioni di accompagnamento, verifica e valutazione), le Regioni non riusciranno a garantire sufficienti risorse economiche per applicarla né il mercato fornirà a sufficienza agenzie che la applichino con indipendenza.

La governance della valutazione può prevedere una metrica con piste di controllo e tutor per singolo progetto, demandando ad un soggetto terzo l’interpretazione dei dati e la valutazione (il terzo riferisce al nucleo di valutazione regionale che a sua volta rimette alla Regione la decisione). Tale meccanismo garantisce buoni esiti solo se vi è la disponibilità di un numero sufficiente di tutor regionali con buone competenze e professionalità (la Regione Lazio utilizza attualmente la lista Sirio) e risulta particolarmente oneroso in termini di costi e di funzioni da assolvere. Tuttavia è largamente positivo.

- Regione Emilia Romagna

L’esperienza della Regione Emilia Romagna in tema di condizionalità riguarda un progetto di finanziamento di laboratori universitari. Il meccanismo ha previsto l’erogazione dei contributi per il primo anno, condizionando per il secondo anno l’erogazione ad una valutazione dei risultati. Dall’esperienza è emerso che l’efficacia del percorso è fortemente condizionata dalla capacità e dall’autorità dei revisori.

La valutazione in itinere e l’applicazione della condizionalità non devono essere intese in una logica di continua ridiscussione del progetto finanziato.

L’applicazione dei meccanismi di condizionalità si scontra con il rispetto dei regolamenti europei secondo i quali l’erogazione dei finanziamenti avviene a titolo di rimborso delle spese sostenute, ponendo dei vincoli all’applicazione di sanzioni e/o premi.

L’unico meccanismo che è possibile applicare è quello della sanzione qualora non si raggiungano i risultati previsti. Con tali vincoli comunitari non si può, invece, percorrere la strategia della premialità in denaro attuata in Svezia assegnando un premio al raggiungimento dei risultati attesi.

Inoltre, le procedure di impegno e disimpegno delle risorse condizionano fortemente i meccanismi per l’applicazione di sanzioni e/o di assegnazione dei premi, potendo determinare problemi di rendicontazione delle risorse impegnate.

La procedura di revoca implica una gestione molto efficiente del meccanismo amministrativo per non tradursi in una perdita di risorse per l’Amministrazione e, soprattutto, in contenziosi difficili e ingestibili.

- Regione Sicilia

Vincolare la condizionalità ad un parametro di elevato “impatto commerciale” comporta uno spostamento dal segmento della ricerca industriale o dello sviluppo precompetitivo a

quello della industrializzazione di prodotto, definita dai Regolamenti Comunitari come aiuto di stato e, in quanto tale, non finanziabile.

La logica delle procedure di valutazione con condizionalità è direttamente collegata al tipo di ricerca che si intende sostenere attraverso le politiche. In particolare, le politiche dovrebbero essere orientate al finanziamento di progetti di ricerca di elevato livello di rischio per i quali risulta difficile la determinazione di un set di indicatori di risultato su cui basare la valutazione in itinere. A tal proposito occorre considerare il problema dell’integrazione dell’elemento di rischio nelle attività di valutazione al fine di evitare che si valutino positivamente solo quei progetti che forniscono una garanzia di risultato. I progetti di ricerca ad alto rischio necessitano di un sostegno per i considerevoli vantaggi che ne derivano in termini di utilità sociale.

L’introduzione di parametri di condizionalità determina la difficoltà di gestire gli imprevisti della fase di attuazione. A tal proposito si propone di prevedere un budget di spesa (costi non superiori a 30.000 euro per progetto/intervento) da destinare a soggetti selezionati con avviso pubblico che, attraverso strumenti di vario livello, pista di controllo o programmi informativi, possano monitorare il progetto come project manager.

In tal modo si potrebbe verificare lo stato del progetto, realizzare il monitoraggio e valutarne l’esito non solo con riferimento ai costi ma anche in relazione all’attuazione delle singole fasi di cui il progetto si compone.

- CNIPA³⁹

L’applicazione della condizionalità è subordinata alla chiara comprensione degli obiettivi/risultati che il progetto intende raggiungere. In caso contrario non è possibile né valutare né rimodulare il progetto nella fase di esecuzione. A tal fine è fondamentale coinvolgere il soggetto incaricato della valutazione in itinere nella definizione dei relativi criteri e delle metriche, prevedendo tale possibilità anche per il sistema delle imprese. Le imprese hanno, infatti, chiara evidenza degli elementi che possono determinare la chiusura di un progetto. Inoltre, si potrebbe fare riferimento alle metriche impiegate nelle operazioni di

venture capital.

Assunte le metriche di riferimento lo Stato può farsi garante di valori soglia di rischio più elevati rispetto a quelle di mercato.

Per ottenere dei risultati concreti la logica della condizionalità deve sostituire il sistema delle agevolazioni a fondo perduto.

L’esperienza del CNIPA relativamente ai progetti sottoposti a condizionalità è stata focalizzata sulla valutazione degli output, che subordina la concessione della quota di finanziamento all’applicazione di criteri relativi allo stato di avanzamento lavori e/o al raggiungimento dell’output previsto dall’impresa. La condizionalità legata agli outcome, al contrario, è risultata molto difficile a causa dei tempi lunghi che determinano una eccessiva dilazione del finanziamento.

Il CNIPA ha realizzato un’analisi sulle metodologie di valutazione di progetti sottoposti a condizionalità dalla quale risulta indispensabile tenere separate le responsabilità delle agenzie da quelle delle istituzioni pubbliche, nonché emerge l’esigenza di distinguere fra le funzioni di valutazione e quelle di accompagnamento. La governance della valutazione deve rimanere in capo alle Amministrazioni Pubbliche e, in particolare, ad uffici diversi da quelli responsabili della programmazione degli interventi al fine di garantirne l’indipendenza.

39

L’esperienza CNIPA è stata oggetto di una ampia e dettagliata presentazione da parte del Dott. Marco Gentili, Responsabile Area Metodologie per la qualità e l’innovazione organizzativa, che non è possibile sintetizzare in questa sede e costituirà la base di futuri approfondimenti in sede di Gruppo di esperti DPS.

Tale modello di valutazione in itinere si differenzia dal modello applicato dal MIUR⁴⁰, poiché prevede una netta separazione tra attività di accompagnamento e valutazione in itinere. La valutazione ex-post andrebbe realizzata a livello di progetti omogenei per desumere il reale valore aggiunto e consentire anche un’analisi di benchmark fra regioni.

- Ministero dell’Istruzione, Università e Ricerca

Durante il ciclo 2000-2006, il Ministero ha effettuato la valutazione in itinere ed ex-post di oltre 450 percorsi formativi finanziati attraverso la procedura messa in atto con l’Avviso 4391/2001. Tale attività è stata affidata alla medesima commissione incaricata della valutazione ex-ante dei progetti, allo scopo di massimizzare gli effetti legati alla conoscenza delle procedure, dei sistemi e dei modelli valutativi già adottati in precedenza. Il percorso intrapreso è stato molto utile ai fini della raccolta di informazioni in corso d’opera, laddove possibile, ovvero a conclusione dei progetti, e per non disperdere la logica iniziale dei progetti. Si è trattato, in particolare, di un monitoraggio quali-quantitativo dei progetti che ha consentito di verificare la coerenza delle attività realizzate rispetto a quelle previste e, nel contempo, fare una lettura critica del sistema di selezione adottato ex-ante.

Tale esperienza è stata ulteriormente sviluppata dal MIUR attraverso l’ideazione e l’implementazione di un’iniziativa di accompagnamento, integrazione, omogeneizzazione e valutazione degli interventi volti alla formazione e all’aggiornamento professionale del personale dipendente della Pubblica Amministrazione, avviati nel corso del 2007 nell’ambito della Misura III.3 “Formazione di alte professionalità per adeguare le competenze della pubblica amministrazione in materia di R&S e relativa valorizzazione” del PON Ricerca Scientifica, Sviluppo Tecnologico e Alta Formazione 2000/2006 (Avviso 1691/2006). La suddetta iniziativa è stata messa a bando ed avviata contestualmente agli specifici interventi di formazione. L’azione pilota nel suo complesso è invece oggetto di monitoraggio, analisi e valutazione da parte del Ministero attraverso il Gruppo Tecnico di Coordinamento.

Tuttavia, in entrambi i casi (Avviso 4391/2001 e Avviso 1691/2006) non sono stati previsti elementi di condizionalità, ma si è cercato, piuttosto, di costruire strumenti di monitoraggio e sorveglianza atti a verificare efficacia ed efficienza realizzativa dei progetti intervenendo, laddove necessario, attraverso la riprogrammazione ed il riallineamento delle attività.

Inoltre, in sede di valutazione indipendente sono stati condotti degli approfondimenti su un campione di progetti di ricerca che hanno fornito chiarimenti in merito alle metodologie di valutazione impiegate, lasciando altresì aperte le questioni legate agli strumenti e ai metodi per introdurre la condizionalità.

In particolare, per quanto concerne i progetti di ricerca e correlata formazione che prevedono l’intervento delle banche nei rapporti con le imprese per le attività di erogazione dei contributi, considerato che le banche stesse sono tenute a effettuare periodicamente una serie di verifiche amministrativo contabili, rispetto alle quali, per la regolamentazione europea, unico soggetto responsabile resta comunque il Ministero, si rilevano problemi di gestione di eventuali strumenti condizionali legati, sostanzialmente alla governance dei processi e alla tempistica correlata alle verifiche del caso.

- Regione Lombardia

In Regione Lombardia un ruolo simile a quello delle agenzie svedesi è svolto dalle banche che in qualità di cofinanziatrici dei progetti sono particolarmente attente ad alcuni

40

Bando MIUR PON Ricerca 2000-2006- Asse 2 richiamato nell’ambito del gruppo tematico “Selezione e procedure a più stadi”

indicatori di successo. Tale ruolo delle banche ha, inoltre, sollevato l’istituzione pubblica dalle attività di controllo sull’impresa.

Sul tema della condizionalità, il punto nodale è la definizione di indicatori chiari e ben definiti, poiché ad un buon livello di oggettività consegue una maggiore facilità nell’esecuzione di valutazioni corrette e trasparenti. In relazione a progetti di ricerca da realizzarsi in settori di nicchia e poco conosciuti è difficile stabilire indicatori oggettivi.

Tale aspetto ha implicazioni anche sul funzionamento delle agenzie che essendo fortemente radicate sul territorio e spesso costituite in house dalle regioni non sono dotate delle necessarie e reali condizioni di indipendenza e trasparenza. In tal senso le caratteristiche del sistema italiano risultano particolarmente distanti dal modello presentato.

- Regione Puglia

La valutazione in itinere può essere realizzata solo se è stata impostata già nel bando. In Regione Puglia è in corso di realizzazione una valutazione in itinere su 300 borse assegnate a giovani ricercatori impegnati in azienda. La mancanza di criteri sufficientemente chiari all’interno del bando rende, però, complicata la raccolta di informazioni utili alla valutazione.

- IPI

L’attuale sistema di monitoraggio si limita alla raccolta dati economico-finanziari. Ad oggi la necessità è quella di dotarsi di un nuovo sistema in grado di fornire informazioni sull’avanzamento dei progetti e indicazioni per intraprendere eventuali azioni correttive.

- DPS

Dai sistemi di monitoraggio esistenti si deducono informazioni prevalentemente finanziarie.

Anche i rapporti di valutazione non forniscono ancora informazioni di contenuto e relative ai risultati.

La conoscenza dei contenuti è il primo passo che permetterà in un secondo momento di esplicare le condizionalità.

Sul sito dell’Unità di verifica degli investimenti pubblici (UVER) del DPS sono visibili la metodologia e le risultanze della valutazione di efficacia effettuata dalla stessa Unità sui risultati conseguiti dagli interventi, finanziati con risorse del FAS, inseriti in APQ. L’attività di valutazione di efficacia è finalizzata a verificare non solo l’effettiva realizzazione fisica del singolo intervento ma, soprattutto, che i risultati previsti siano stati conseguiti, sia in base al raggiungimento degli obiettivi operativi che di scenario e, quindi, della effettiva erogazione dei servizi programmati.

- Regione Toscana

Si rileva la necessità di acquisire elementi utili per la valutazione ex-post su singoli progetti per indagare il valore aggiunto dell’intervento pubblico.