Alcuni elementi di riflessione sulle liste di riviste dell’ANVUR

Le liste di riviste realizzate dall’ANVUR presentano diversi elementi di disomogeneità rispetto alle liste realizzate a livello internazionale. In particolare, la lista realizzata dall’ANVUR per l’Abilitazione Scientifica Nazionale, nonostante in questa fase preveda solo il livello di giudizio più elevato (la fascia A), è connotata da una bassa presenza delle proprie riviste negli altri repertori internazionali. Inoltre, raffrontando i livelli di giudizio con quelli presenti nelle altre liste realizzate a livello internazionale, si possono osservare mediamente livelli più elevati. Infatti, confrontando i dati con la lista ERIH (cfr tab. 18), si può evidenziare che solo 53 riviste su 164 della lista ANVUR (pari al 32% del totale ), risultano presenti nel repertorio ERIH; di queste solo il 58,5% delle riviste è nella categoria internazionale superiore dell’ERIH (int1), mentre il 37,7% e classificato nella categoria internazionale 2.

Tabella 18 ANVUR ASN e ERIH Revised Lists ERIH revised lists Totale

_{int1 int2 nat}

ANVUR ASN (Fascia A) 31 20 2 53

% 58,50% 37,70% 3,80% 100%

Risultati analoghi emergono dal confronto con la Norwegian List (CFR tab. 19), dove solo 42 riviste della lista ANVUR (25% del totale) risultano presenti. Inoltre, la percentuale di riviste

105

collocate nella categoria superiore dalla lista Norvegese è pari al 57,1%, mentre 40,5% sono classificate nella categoria inferiore.

Tabella 19 ANVUR ASN e Norwegian List Norwegian List Totale

2 1 -

ANVUR ASN (Fascia A) 24 17 1 42

% 57,10% 40,50% 2,40% 100%

La lista spagnola del CIRC (cfr tab. 20) risulta invece più in linea con la lista dell’ANVUR. Infatti 127 riviste dell’ANVUR (77%), risultano presenti nel repertorio CIRC. Anche la quota percentuale di riviste della lista ANVUR collocate nelle fasce più elevate (AE e A) del CIRC è elevata: 78,7% del totale. Al riguardo occorre comunque evidenziare che la lista CIRC presenta livelli più elevati di riviste nella categoria A rispetto alle altre liste internazionali.

Tabella 20 ANVUR ASN e CIRC

CIRC Totale

AE A B

ANVUR ASN (Fascia A) 44 56 27 127

% 34,60% 44,10% 21,30% 100%

Anche la lista realizzata dall’Osservatorio della ricerca dell’Università di Bologna, che include le riviste senza Impact factor, presenta una bassa diffusione delle proprie riviste nella lista dell’ANVUR per l’Abilitazione Scientifica Nazionale. Le riviste dell’ANVUR contenute nella lista dell’Osservatorio sono solo 26 pari al 16% del totale (cfr tab. 21). La percentuale di riviste di fascia A dell’ANVUR collocate nella categoria superiore della lista dell’Osservatorio è pari al 53,8%; mentre il 47,2% di riviste di fascia A dell’ANVUR sono classificate in B e C nelle liste dell’Osservatorio senza IF.

106

Tabella 21 ANVUR ASN e Oss. Ricerca Università di Bologna senza IF

Oss. Ricerca Università di Bologna senza IF

Totale

A B C

ANVUR ASN (Fascia A) 14 10 2 26

% 53,80% 38,50% 7,70% 100%

Per quanto riguarda la lista nazionale dell’ANVUR per la VQR si può evidenziare che vi è una bassissima compresenza di riviste con le altre liste redatte a livello internazionale. Infatti, su un totale di 79 riviste dell’ANVUR per la VQR, solo 5 sono in ERIH (6%), 10 nella lista Norvegese (13%), e 31 in quella Spagnola (39%). Questo elemento è da imputarsi al fatto che la lista per la VQR, qui considerata, contiene solo le riviste nazionali.

La lista dell’ANVUR per la VQR è caratterizzata, invece, da una discreta diffusione delle proprie riviste nella lista dell’Osservatorio della ricerca di Bologna senza IF: 32 riviste su 79 pari al 40,5% del totale. La percentuale di riviste di fascia A dell’ANVUR, collocate nella categoria superiore della lista dell’Osservatorio si attesta al di sopra del 47%. Il 52,6% di riviste di fascia A dell’ANVUR, che sono presenti nelle liste dell’Osservatorio senza IF, sono classificate in B e C. Il 15,4% di riviste di fascia B dell’ANVUR sono classificate nella categoria superiore dell’Osservatorio, quasi il 31% è nella categoria B, mentre il 53,8% è classificato in categoria C.

Tabella 22 ANVUR VQR e Oss. Ricerca Università di Bologna senza IF

Oss. Ricerca Università di Bologna senza IF Totale _{A B C} ANVUR VQR A 9 8 2 19 47,40% 42,10% 10,50% 100% B 2 4 7 13 15,40% 30,80% 53,80% 100% Totale 11 12 9 32 34,40% 37,50% 28,10% 100%

In conclusione dall’analisi dei dati sulle liste dell’ANVUR, si può evidenziare che:

1. La lista per l’Abilitazione Scientifica Nazionale presenta una scarsa presenza delle riviste in essa censite negli altri repertori internazionali. Questo denota un basso livello di internazionalizzazione del repertorio e il forte carattere nazionale della lista. Inoltre, le

107

riviste incluse in tale lista risultano mediamente sovrastimate nei giudizi ottenuti, soprattutto se confrontate con le principali liste di riviste redatte a livello internazionale. 2. La lista per la VQR evidenzia un buona correlazione con la lista dell’Osservatorio della

ricerca di Bologna senza IF (.465).

3. Infine, analogamente a quanto emerso per la lista relativa all’ASN, la lista per la VQR presenta livelli di giudizio molto elevati nella prima fascia, poiché la quota percentuale di riviste in A è pari al 45,6% del totale, rispetto all’ERIH e alla Norwegian list che hanno nella prima classe rispettivamente il 21% e il 16%. Anche rispetto alla lista dell’Osservatorio della ricerca di Bologna senza IF presenta giudizi più elevati.

5.4 Conclusioni

I risultati dei due studi empirici condotti sulle liste di riviste hanno messo in evidenza alcuni elementi di riflessione.

Un primo elemento riguarda l’opportunità di utilizzare questo strumento per la valutazione della ricerca. Se infatti, da un lato, le liste possono essere un supporto al valutatore quando le informazioni a sua disposizione (come ad esempio i dati bibliometrici) sulle pubblicazioni sono limitati, dall’altro possono rappresentare un ostacolo ad una corretta valutazione della ricerca. Infatti, l’analisi dei dati ha evidenziato che, mentre le liste realizzate a livello internazionale presentano una buona correlazione tra loro ed elementi di omogeneità nei giudizi riportati, quelle realizzate a livello nazionale (in primis la lista dell’ANVUR per l’Abilitazione Scientifica Nazionale), presentano una scarsa diffusione delle proprie riviste negli altri repertori internazionali, e con livelli di giudizio mediamente più elevati. Questa distanza tra le liste internazionali e quelle nazionali può portare a due conclusioni diversificate:

1. le liste internazionali possono rappresentare, per chi si occupa di valutazione della ricerca, un punto di partenza a cui devono necessariamente essere affiancati altri strumenti di valutazione (quali ad esempio la peer review, le analisi citazionali, etc); 2. le liste italiane rischiano, invece, di essere uno strumento poco utile ed in alcuni casi

inadeguato al fine di una corretta valutazione della ricerca, a causa della scarsa internazionalizzazione dei repertori e dei giudizi generalmente troppo elevati attribuiti alle riviste.

Un secondo elemento di riflessione è dato dal fatto che le liste non possono essere utilizzate per obiettivi diversi rispetto a quelli predefiniti al momento della loro creazione. Questo perché ciascuna lista nasce per rispondere a scopi ed obiettivi definiti e a volte molto specifici; di conseguenza, il loro utilizzo per la valutazione della ricerca può portare a risultati fuorvianti. Ad

108

esempio, data la specificità di ogni lista, l’uso di queste per la valutazione delle carriere individuali, oppure di una struttura di ricerca, può dar luogo a risultati poco attendibili, in quanto ciascuna lista difficilmente è comprensiva dell’intero universo di riviste del settore scientifico, e il livello di giudizio attribuito a ciascuna rivista può variare da lista a lista. Occorre poi ricordare ancora una volta che non tutti gli articoli presenti in una determinata rivista presentano lo stesso livello di qualità.

Un terzo elemento da tenere in considerazione è dato dal fatto che, laddove sono state realizzate le prime esperienze internazionali di liste di riviste (Australia e Francia), queste poi sono state progressivamente abbandonate, a causa dell’ampio numero di critiche che sono giunte dalla parte più influente dell’Accademia scientifica locale.

Un quarto elemento, relativo alla lista dell’ANVUR per l’Abilitazione Scientifica Nazionale e quella dell’Osservatorio della ricerca di Bologna senza Impact factor, è rappresentato dal fatto che queste risultano avere un carattere fortemente nazionale. Infatti esse includono un numero molto elevato di riviste italiane, a scapito di quelle internazionali, e il confronto con le liste internazioni (CIRC, Norwegian list ed ERIH) mette chiaramente in evidenza questo fenomeno. Una possibile interpretazione di questo bias di inclusionedelle riviste potrebbe essere legato ai canali prevalenti di pubblicazione dei ricercatori italiani e, di conseguenza, i creatori di tali liste, potrebbero aver sovrastimato il ruolo e la rilevanza delle riviste nazionali nel panorama internazionale, o aver deciso di includerne un numero molto elevato in quanto una larga parte dei contributi scientifici prodotti dai ricercatori italiani del settore “Storia e filosofia della scienza” viene pubblicate in tali riviste.