La Vqr
La Vqr – Valutazione della Qualità della Ricerca ha già visto il comple- tamento di due esercizi (2004-10 e 2011-14), con obiettivo dichiarato di una ricognizione ampia dei risultati della ricerca, e in particolare di quella prodot- ta nelle istituzioni pubbliche a ciò preposte: università, enti, consorzi interu- niversitari.
Tale obiettivo è perseguito richiedendo a ogni docente la presentazione di un numero prefissato di pubblicazioni (tre nel primo esercizio e due nel se- condo), selezionate dall’autore, ma con il previsto intervento della struttura di appartenenza in caso di duplicazioni per lavori in collaborazione. Il sistema adottato ha lo scopo di valutare le istituzioni e loro ampie sezioni, preveden- do il ricorso a strumenti che non sono adeguati per una valutazione dei singo- li ricercatori.
La valutazione è effettuata con metodi prevalentemente bibliometrici per le aree Cun 1-9, e mediante peer review per le aree 10-14.
Il risultato si traduce in un ranking che tiene anche conto della minore o maggior presenza di soggetti inattivi.
Al di là di possibili considerazioni di natura generale sull’impatto di un ta- le processo di valutazione sulla reale qualità della ricerca (spinta verso le ri- cerche mainstream a scapito di quelle più originali, possibili condizionamenti ideologici o di scuola, Matthew effect nei finanziamenti), occorre certamente notare che esistono alcune scelte tecniche migliorabili, che determinano in modo negativo l’esito del processo.
In primo luogo è meritevole una considerazione di sistema, pur ribadendo convintamente la necessità di un sistema valutativo che sia strumento di mi- glioramento continuo. Il sistema adottato non è privo di autoreferenzialità nazionale. In tutti i sistemi, siano essi pubblici o privati, la valutazione in iti-
nere ovvero ex-post è funzionale al raggiungimento di obiettivi resi noti e prestabiliti ex-ante, in stretto collegamento anche con le risorse rese disponi- bili per il loro raggiungimento. E gli obiettivi in primis sono di indirizzo, di contesto, elaborati dal decisore “politico” nel quadro di strategie di sistema. Non possono essere, pertanto, obiettivi derivanti da un calcolo postumo, in- dividuati dallo stesso soggetto deputato allo svolgimento della valutazione. Senza richiamare nel merito tecnico la teoria dei sistemi, che si articola in modo differenziato in base alla complessità degli stessi, la definizione degli obiettivi da cui deriva un set di indicatori – anche misurabili – è sempre a monte del processo ed è, infatti, di sistema. Costituisce il punto verso cui si ritiene corretto tendere, traguardo che – per il sistema della ricerca nazionale – non può non tener conto delle diverse situazioni di contesto, in un carattere di generale applicabilità, e non può quindi prescindere da una fase di “alta” negoziazione. Definiti gli obiettivi, così individuati i parametri, inizia la valu- tazione che, in un tale schema, consente ai singoli attori di implementare in autonomia le eventuali o necessarie azioni correttive, finalizzate alla corre- zione degli scostamenti per il raggiungimento del risultato atteso. In altre realtà il concetto si tradurrebbe in gestione per obiettivi o per risultati con la piena responsabilizzazione del soggetto valutato.
È mancata la definizione degli obiettivi a monte da parte del decisore po- litico, è così mancata la fase negoziale, per realtà, confrontabili per affinità scientifica, ma che operano in condizioni di contesto del tutto differenti. E a ciò si è supplito con esercizi, interessanti, non certamente non risolutivi, di calcolo matematico. Si è proceduto con l’individuazione di pesi, medie, me- diane, valori soglia calcolati in modo statico, su dati storici, confinati a livello nazionale, anche mediando dati poco omogenei – per significato – tra loro. Da qui deriva una ridotta spinta ad un effettivo miglioramento, in mancanza di un chiaro quadro di strategie di sistema.
Negli esercizi avviati, poi, la preselezione di un numero definito di pub- blicazioni rappresenta ciò che in statistica è definito come sampling bias, ov- vero una violazione dei protocolli di campionamento che rende il risultato statisticamente non efficace. Anche l’attribuzione di una significativa rile- vanza alla presenza di soggetti inattivi altera una valutazione di qualità che per definizione dovrebbe riguardare soltanto la produzione effettiva.
Infine la presentazione dei risultati sotto forma di ranking (invece che di rating) introduce a false interpretazioni, in quanto un ranking può benissimo allontanare soggetti qualitativamente vicini quando le differenze tra i rating sono piccole, e viceversa avvicinare impropriamente soggetti lontani nel caso opposto.
Più propriamente i soggetti valutati andrebbero raggruppati in un limitato numero di cluster all’interno dei quali le differenze sono sostanzialmente pri- ve di significato statistico.
Minori criticità sono quelle legate all’arbitrarietà nella definizione di indi- catori composti, alla comparazione tra tipologie istituzionali anche molto dif- ferenti, al mancato peso della differenza tra lavori di singoli o pochi autori e i risultati di grandi collaborazioni.
Un’alternativa strategica potrebbe essere quella di ricorrere a una valuta- zione ancor più massiva ma del tutto automatica, quale quella che si potrebbe ottenere con l’attivazione dell’Anpreps-Anagrafe Nazionale dei Professori e Ricercatori e delle Pubblicazioni Scientifiche, prevista dalla Legge 1/2009, ancora in attesa di piena attuazione, rendendo così possibile il ricorso a me- todi di analisi più moderni, basati sul trattamento dei big data e sulla senti- ment analysis. Il tutto sempre in presenza di obiettivi di sistema pre-definiti e quindi noti a priori.
I risultati, da presentarsi in forma completamente aggregata e senza più alcun riferimento, neanche implicito o riservato, ai contributi individuali, po- trebbero fornire un quadro più attendibile della produttività scientifica delle nostre istituzioni di ricerca e fornire utili elementi non solo per l’incentiva- zione della qualità ma anche per il necessario sostegno delle situazioni strut- turalmente più deboli.