L’utilizzo degli indicatori bibliometrici nella valutazione della ricerca

Nei paragrafi precedenti, si è descritto il tema dell’analisi bibliometrica partendo da alcuni aspetti di carattere storico, passando per gli archivi dei dati su cui è basato il calcolo degli indici, fino ad arrivare a descrivere i principali punti di forza e di debolezza dei diversi indicatori bibliometrici utilizzati oggi nei processi di valutazione della ricerca.

Muovendo dalle considerazioni sopra esposte, in quest’ultimo paragrafo vengono proposte alcune riflessioni critiche sull’utilizzo degli indicatori bibliometrici nell’ambito della valutazione della ricerca scientifica. In particolare, viene focalizzata l’attenzione sulle due principali variabili su cui tali indici sono basati: gli archivi citazionali e le citazioni stesse. Per quanto riguarda il primo aspetto, in generale i problemi principali dei database utilizzati per il calcolo degli indicatori bibliometrici sono legati principalmente sia al grado di copertura di tali archivi, sia alla qualità dei dati in esso contenuti. Nello specifico, da un lato ci sono i database Scopus e WoS che assicurano un’elevata qualità dei dati, ma presentano un grado di copertura molto basso per alcune discipline come per esempio le scienze sociali (Seglen, 1997). Dall’altro lato invece, ci sono i cosiddetti database Open access, in particolare Google scholar, che assicurano un maggior grado di copertura dei prodotti di ricerca anche per le discipline come le scienze sociali (Kousha & Thelwall, 2008; Harzing & Van Der Wal, 2009) rispetto a Scopus e WoS, ma la qualità e l’affidabilità dei dati in esso contenuti è bassa (Jacso, 2005), nonostante ricerche più recenti mostrano un miglioramento continuo della stabilità e del grado di copertura di GS (Harzing A.-W. , 2013).

Dunque, una delle prime criticità dell’applicazione dell’analisi bibliometrica nella valutazione della ricerca scientifica è legata alla scelta della base dati di riferimento per il calcolo degli indici stessi. In particolare, il trade-off è tra una base dati accurata, ma che non assicura una copertura totale della produzione scientifica di un ricercatore di alcune aree disciplinari, con la conseguenza di non valutare una serie di pubblicazioni come le

61

monografie, capitoli di libri, articoli pubblicati non il lingua inglese ecc., e una base dati che assicura un buon grado di copertura della produzione scientifica, ma la qualità dei dati in esso contenuti è molto bassa, con la conseguenza di valutare un ricercatore sulla base di dati errati e non sempre trasparenti.

Tuttavia, il tema centrale della discussione attorno all’analisi bibliometrica si concentra soprattutto sul significato delle citazioni e su cosa esse siano in grado di misurare. In particolare, anche se molti convergono sul fatto che la citazione risulterebbe essere un parametro oggettivo in grado di rappresentare la qualità e l’impatto di un prodotto di ricerca o di un ricercatore, numerosi studiosi (Figà Talamanca, 2000; Banfi & De Nicolao, 2013; Paolini & Quagli, 2013) ne criticano l’utilizzo nell’ambito del processo di valutazione della ricerca (e quindi nelle decisioni per allocare fondi di ricerca, reclutare il personale docente, dare promozioni ecc.), dal momento che il comportamento citazionale può essere condizionato da diversi fattori che possono influenzarne il significato (Giuliani & Marasca, 2015).

Una delle prime criticità evidenziate in letteratura è che il valore degli indici risente fortemente delle caratteristiche del settore scientifico disciplinare di riferimento e quindi dipende dalle differenti abitudini a pubblicare e citare della disciplina, la durata delle citazioni stesse, cosi come anche dal numero degli autori delle pubblicazioni. Per esempio, Seglen (1997) sostiene che il numero delle citazioni ricevute da una pubblicazione sia proporzionale alla grandezza del suo campo di ricerca; inoltre, Batista et al. (2006) indicano anche la capacità della pubblicazione (o rivista) di essere citata dai campi di ricerca adiacenti come fattore in grado di influenzare il numero di citazioni ricevute. La conseguenza, è che ci saranno settori disciplinari (e quindi i ricercatori e le riviste di quel campo disciplinare) che, date le loro caratteristiche, avranno punteggi degli indici molto alti, mentre altri settori (come le scienze sociali e umanistiche per esempio) avranno punteggi più bassi. Per esempio,

62

una rivista specializzata avrà valori degli indici più bassi rispetto a una rivista generalista, che avrà invece valori più elevati grazie alla sua maggiore ampiezza e capacità di attrarre più citazioni.

Diversi studi hanno inoltre evidenziato come persino alcune caratteristiche proprie di una rivista, quali il grado di internazionalizzazione, l’accessibilità, la periodicità regolare e frequente, la lingua della rivista ecc. possano influenzare il comportamento citazionale degli autori (Bordons et al., 2002; Van Raan, 2005; Marchi et al., 2013). Anche il nome stesso dell’autore di una pubblicazione o il nome di una rivista, e quindi il loro riconosciuto prestigio, giocano un ruolo chiave nell’influenzare il comportamento citazionale degli autori: infatti, si è portati sempre più a citare articoli di autori prestigiosi o, articoli presenti in riviste prestigiose (Fascia A), rispetto alle pubblicazioni di autori sconosciuti o di riviste di fascia inferiore, con la conseguenza che il valore dei primi tenderà sempre ad aumentare. Lo stesso discorso vale anche per gli articoli altamente citati, che vengono citati solo per il fatto di essere articoli di alto valore.

Altro problema è quello legato alla facilità con cui è possibile gonfiare i dati citazionali. Ne sono esempi le autocitazioni da parte dello stesso autore o della stessa rivista, il coautoraggio di cortesia, lo scambio di citazioni tra “colleghi” con l’obiettivo di manipolare il valore dell’indice (Banfi e De Nicolao, 2013). Infine, altro tema importante è quello relativo al significato della citazione: per esempio, si può citare una pubblicazione solo per semplificare o introdurre un discorso (quindi, si tratta di citazioni con basso significato) o ancora, si può citare un articolo con l’obiettivo di esprimere un giudizio negativo su di esso.

Dunque, in aggiunta ai numerosi vantaggi che gli indicatori bibliometrici offrono, bisogna tenere in considerazione anche i numerosi limiti e le relative problematiche che possono derivare da un loro utilizzo nell’ambito degli esercizi nazionali di valutazione della ricerca.

63