Il modello di valutazione della ricerca in Italia (VQR). Alcune considerazioni critiche ed impatto sulla distribuzione delle

ri-sorse

Al fine di poter esaminare il modello di valutazione della ricerca in Italia (VQR) è stata condotta una document analysis (Bowen, 2009) dei report de-gli ultimi esercizi di valutazione VQR in Italia, e della documentazione pro-dotta dagli organi istituzionali (ANVUR, MIUR, etc.). Tale analisi risulta particolarmente applicabile ai casi di studio qualitativi, a studi intensivi che producono descrizioni complete di un singolo fenomeno, evento, organizza-zione o programma (Stake, 1995, Yin, 1994). Inoltre, documenti di ogni tipo possono aiutare il ricercatore a scoprire il significato, a sviluppare la com-prensione ed a scoprire gli approfondimenti rilevanti per il problema di ri-cerca (Merriam, 1988: 118).

Nel contesto universitario italiano le prime esperienze sono avvenute nel periodo 2001-2003 con il primo esercizio di valutazione denominato VTR (Valutazione Triennale della Ricerca) che essenzialmente aveva per oggetto solo gli Atenei e non anche le strutture dipartimentali, articolata in 20 aree disciplinari.

Questo primo esercizio di valutazione, affidato al CIVR (Comitato di In-dirizzo per la Valutazione della Ricerca) è stato un primo, ma importante momento per superare le iniziali resistenze culturali collegate alla valuta-zione della ricerca scientifica, e per collegare per la prima volta, sebbene in misura pressoché molto limitata, una quota di risorse finanziarie alle com-plessive performance scientifiche dei singoli Atenei, consentendo, poi, di po-ter avviare il processo verso una dimensione maggiormente strutturata.

Il primo bando sotto l’egida dell’ANVUR¹ per la Valutazione della Qua-lità della Ricerca (VQR) fu emanato in data 7 novembre 2011 con un inter-vallo temporale più ampio rispetto al primo esercizio VTR, ossia conside-rando l’attività scientifica svolta dal 2004 al 2010 e articolata sulle 14 aree di ricerca CUN (Consiglio Universitario Nazionale). Per ogni Area poi veni-vano costituiti Gruppi di Esperti della Valutazione (GEV), composti da stu-diosi, anche stranieri, di riconosciuta esperienza e qualità scientifiche, con il compito, tra gli altri, di definire i criteri di valutazione dei prodotti della ri-cerca sia per la peer review che per la valutazione diretta (gestita direttamente dai GEV per una parte dei prodotti scientifici). Ciascun GEV, poi, al suo interno poteva ulteriormente articolarsi in Sub-GEV maggiormente omoge-nei sotto il profilo disciplinare, così da tenere conto, conseguentemente, delle relative specificità che caratterizzavano i vari sottogruppi identificati. Ad esempio, per quanto attiene alle discipline economico-aziendali il GEV Area 13 (Scienze Economiche e Statistiche) fu ulteriormente suddiviso nei se-guenti sub-GEV: Economia, Economia Aziendale e Finanza, Statistica e Ma-tematica Applicata, contenenti tutti gli SSD di riferimento afferenti alle rela-tive sotto-aree o macro-settori.

Prendendo a riferimento l’Area 13 nella quale rientrano le discipline aziendalistiche – di maggiore interesse per questo studio – degno di nota ri-sulta la decisione di utilizzare l’analisi bibliometrica per la valutazione degli articoli su rivista e per i restanti prodotti scientifici la peer review (insieme ad almeno il 10% di quelli su rivista). Pertanto, i lavori pubblicati su riviste

1 Si rammenta, per fini di completezza, che l’Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca (ANVUR) fu istituita con L. n. 286/2006, ed effettivamente resa operativa a partire dal 2010, con il compito di sovraintendere al sistema pubblico nazionale di valutazione della qualità delle Università e degli enti di ricerca e, pertanto, di gestire e realiz-zare tutto il processo di valutazione delle attività di ricerca scientifica.

scientifiche sono stati valutati in funzione di una classificazione delle mede-sime (journal ranking) stilata dal GEV13 separatamente per ogni Sub-GEV, attraverso indici bibliometrici (IF, 5IF) e suddivisa in 4 classi di merito (A, B, C, D).

A riguardo, nonostante alcuni studiosi (Bertocchi et al., 2015), in qualità anche di componenti del medesimo GEV, abbiano trovato non troppe diffe-renze tra i due approcci valutativi (sebbene, tramite peer review risultino as-segnati meno prodotti alla top class di merito) questa scelta da parte del GEV a nostro avviso non tiene conto della composizione dei prodotti scientifici con particolare riferimento alle discipline aziendali. Inoltre, ciò avviene suc-cessivamente rispetto ad una fotografia che riflette le scelte di pubblicazione e le tradizioni di ricerca dei diversi SSD effettuate nel tempo. Sempre in ri-ferimento alle discipline del macrosettore “Economia Aziendale e Finanza”

meno del 50% (in media) risultano i lavori pubblicati su riviste scientifiche (Anvur, 2013), i quali sono sottoposti a valutazione essenzialmente biblio-metrica per una Area (con i relativi SSD) che è considerata di base come non bibliometrica. Difatti, i diversi indici di impatto (es. Impact Factor) dovreb-bero essere presi eventualmente in considerazione solo in ottica reputazio-nale e/o di diffusione nella comunità scientifica internazioreputazio-nale.

Tutto ciò ha determinato un importante effetto sul primario problema da affrontare da parte dei singoli docenti e ricercatori, ossia quello di selezio-nare i prodotti da sottoporre a valutazione (mediamente 3 prodotti) non avendo, inizialmente, un criterio chiaro di riferimento, ed in considerazione anche, come detto, di scelte di pubblicazione già operate rispetto ai criteri GEV13 successivamente definiti (es., per le riviste). Pertanto, diversi docenti e ricercatori potrebbero avere effettuato una scrematura dei propri prodotti scientifici cercando, laddove possibile, di sottoporre a valutazione articoli scientifici che avrebbero, salvo diversità di valutazione in sede di peer re-view, ottenuto una valutazione quasi automatica in funzione delle classi di merito definite per ciascuna rivista, su basi bibliometriche².

Il report finale di area 13 (GEV13) della valutazione venne realizzato il 30 giugno 2013 e pubblicato successivamente in data 20 settembre. Rispetto alla VTR, vi sono sensibili differenze di metodo e di complessiva struttura,

2 A riguardo, con particolare riferimento alle discipline aziendali, si rileva l’impegno profuso da AIDEA – Accademia Italiana di Economia Aziendale e dalle singole società di settore (es.

SIDREA) nella realizzazione di Journal Rating sia per le riviste internazionali (versione 2007 release 2009), che italiane accreditate come punto di riferimento per i docenti e ricercatori di area aziendale, elaborato sulla base di criteri fondamentalmente diversi dai meri indici di im-patto definiti dal GEV13 ANVUR e maggiormente rappresentativo, si ritiene, della produ-zione scientifica complessiva e della matrice non bibliometrica del macrosettore.

ed in particolare, la realizzazione di un ranking degli Atenei, diversamente prodotta, per dimensione, Dipartimenti, area CUN, sub-area (es. area azien-dale), singoli SSD con relativo posizionamento nella classifica. Questo ele-mento di novità ha consentito ulteriori proficui confronti tra le singole Uni-versità, spingendole, attraverso l’assunzione di efficaci azioni, al migliora-mento continuo dei propri processi interni della attività scientifica dei propri docenti/ricercatori, e della complessiva accountability esterna.

Il successivo bando di Valutazione della Qualità della Ricerca per il suc-cessivo intervallo temporale 2011-2014 fu emanato in data 11 novembre 2015 replicando sostanzialmente il precedente modello valutativo. Anche in tale circostanza il GEV13 fu articolato nei seguenti Sub-GEV secondo criteri di omogeneità disciplinare: Economia e Storia Economica, Economia Azien-dale, Statistica e Metodi Matematici per le Decisioni, contenenti i SSD ad essi afferenti. Rispetto al precedente esercizio fu applicata nella sua interezza l’analisi bibliometrica agli articoli scientifici su rivista (senza alcuna percen-tuale minima in peer-review) secondo la classificazione di riviste realizzata attraverso indicatori bibliometrici da ISI WoS (es., IF, IF5Y, AIS) e Scopus (es. IPP, SNIP, e SJR). Nella prospettiva di una ulteriore valutazione biblio-metrica sulle riviste (come di fatto successo nella VQR 2011-2014) i docenti e ricercatori hanno modificato la propria produzione scientifica, quale pri-mario effetto dei risultati della precedente valutazione, ed al tempo stesso, come avvenuto in precedenza, la selezione è stata maggiormente diretta verso articoli scientifici piuttosto che altri prodotti scientifici, come capitoli di libro e monografie di ricerca, in quanto, presumibilmente, ritenuta meno soggettiva rispetto alla informed peer review, ed in ciò modificando la com-plessiva rappresentazione dei sottogruppi, in particolare per le discipline aziendali che ha visto in sensibile crescita i lavori pubblicati su riviste scien-tifiche, soprattutto internazionali (Anvur, 2017).

Il report finale (globale e di aree) venne realizzato e pubblicato in data 25 gennaio 2017 con la medesima struttura e pubblicazione della classifica (uni-tamente al relativo posizionamento) dei singoli Atenei.

Tra le diverse critiche espresse sul modello di valutazione VQR esiste una poderosa letteratura. Riassumendo le posizioni maggiormente espresse, vi sono diverse criticità rilevabili in termini di valutazione nel suo complesso, delle metriche utilizzate, costi ed efficacia, e di analisi bibliometrica rispetto alla peer-review, soprattutto in riferimento alle aree scientifiche non biblio-metriche. Inoltre, si rileva una scarsa incentivazione finanziaria collegata alla

VQR sebbene negli ultimi anni in crescita³, in parte utilizzata anche per la valutazione della qualità delle politiche di reclutamento degli Atenei.

Difatti, un adeguato sistema di valutazione della qualità della ricerca che si incentri effettivamente su un sistema di tipo performance-based research funding (PRFS), dovrebbe essere maggiormente allineato ai meccanismi di allocazione finanziaria, in modo da supportare processi di miglioramento ol-tre agli effetti indotti dalla valutazione sugli aspetti reputazionali, di legitti-mazione e di competizione del complessivo sistema. Il sistema italiano co-stituisce un esempio di insufficiente allocazione finanziaria, con un tempo troppo breve che intercorre tra le valutazioni e con un rapporto di efficienza (ossia, quella ottenuta rispetto al suo costo di implementazione) di circa il 2,5% (Geuna e Piolatto, 2016: 270).

5.4. Il contributo della misurazione e valutazione delle