Nel corso dell’ultimo decennio si è assistito ad una vera e propria proliferazione di indicatori citazionali finalizzati alla valutazione della ricerca. Diversi di questi sono stati inseriti nei principali archivi bibliometrici e citazionali (Wos e Scopus), ed oggi è possibile ricavare alcuni tra i più importanti indici in automatico (ad esempio l’indice H), senza nessun calcolo manuale. Di questi indici finalizzati a misurare l’impatto della ricerca attualmente ne esistono una quantità molto vasta. Pertanto, nel presente capitolo ci si limiterà a illustrare i più conosciuti e quelli maggiormente utilizzati dalla comunità accademica.
L'Impact Factor (IF) è forse il più noto fra tutti gli indicatori citazionali volti a misurare l’impatto di una rivista sulla comunità scientifica. Ideato da Eugene Garfield, per facilitare la selezione dei periodici da includere nello Science Citation Index (così come descritto nel capitolo 6), è contenuto in una pubblicazione annuale della ISI-WOS: il Journal Citation Reports (JCR). Il JCR è realizzato in due edizioni: la prima per le Scienze naturali (Science Edition), e la seconda per le Scienze sociali (Social Science Edition).
L'IF misura il numero medio di citazioni ricevute, in un particolare anno, da articoli pubblicati in una rivista scientifica nei due anni precedenti, sul gruppo di riviste selezionate dall’ISI-WOS. Il numero, che esprime l'IF, è il risultato di un rapporto tra citazioni ricevute e articoli pubblicati. Questo rapporto è calcolato mediante una semplice divisione aritmetica tra un numeratore e un denominatore: il numeratore è il numero delle citazioni ricevute dagli articoli usciti sulla rivista nei due anni precedenti a quello per il quale si effettua il calcolo (De Bellis 2005). Il denominatore è il numero complessivo di articoli pubblicati lungo lo stesso periodo di tempo sulla stessa rivista. Ad esempio, se nel 2008 gli articoli usciti nel 2006 e nel 2007 sulla rivista X sono stati citati rispettivamente 32 e 43 volte, e se gli articoli pubblicati su quella rivista sono stati in totale 86 nel 2007, e 69 nel 2006, allora l’IF della rivista X, nel 2008, sarà pari a 0,484 (CFR Figura 1).
136
Figura 1 esempio pratico per il calcolo dell’Impact factor di un rivista X per il 2008 Citazioni nel 2008, di articoli pubblicati su una rivista nel biennio 2006/2007: Articoli del 2007 = 32 citazioni nel 2008
Articoli del 2006 = 43 citazioni nel 2008
Totale citazioni nel 2008 di articoli del biennio 2006/2007=75 Articoli pubblicati su una rivista nel biennio 2006/2007:
2007 = 86 articoli
2006 = 69 articoli
Totale articoli del biennio 2006/2007 =155 Calcolo dell'IF del 2008 per la rivista X:
75/155= 0.484
32 + 43
IF(X) = _______________________ = 0,484 86 + 69
Alcune funzioni avanzate del Journal Citation Reports permettono di affinare l’Impact factor, per esempio, attraverso l’archivio bibliografico WOS è possibile visualizzare ed eliminare la percentuale delle autocitazioni, oppure ricavare un IF unificato per le riviste, che, nel corso degli anni hanno subìto cambiamenti di titolo, scissioni, fusioni; oppure è possibile costruire, per una data rivista, un grafico di tendenza risultante da una proiezione dell'indice su cinque anni.
L’ISI-WOS nel corso degli anni ha proposto altri indicatori finalizzati all’analisi bibliometrica. Tra questi i più importanti sono (De Robbio, 2007):
• Immediacy Index (indice di immediatezza): calcolato dividendo il numero di citazioni che la rivista riceve in un anno per il numero di articoli pubblicati in quello stesso anno, interpretabile come una stima della velocità con cui mediamente un articolo su una rivista viene citato.
• Cited Half Life (la semivita delle citazioni): misura l'età mediana degli articoli che hanno citato una rivista nel corso di un anno. Tale indice è interpretabile come una stima dell'età media degli articoli che hanno citato una rivista.
• Rate of Cites Index (indice del tasso di citazioni): rappresenta un indice di qualità del singolo lavoro, basato sul principio che quanto più il lavoro è citato da altri ricercatori tanto più è rilevante il suo valore scientifico.
• Citation Impact (impatto citazionale): calcolato per uno specifico soggetto, autore, istituzione o paese, sulla base del rapporto tra il numero di citazioni ricevute e il numero di articoli pubblicati.
137
7.1.1 Punti di forza e di debolezza dell’Impact factor
L’Impact factor, grazie alla sua ampia diffusione a livello internazionale, rappresenta l’indicatore bibliometrico maggiormente utilizzato per la valutazione della ricerca scientifica. Presenta numerosi punti di forza, che sono strettamente collegati alle caratteristiche dell’archivio bibliografico (WOS), da cui si ricavano i dati per l’elaborazione dell’indice. In particolare, l’Impact factor viene utilizzato per calcolare l’impatto delle riviste più importanti a livello internazionale. Le riviste più prestigiose che hanno ottenuto l’Impact factor generalmente adottano rigorosi criteri di selezione degli articoli da pubblicare, basandosi su un articolato processo di Peer review. D’altro canto, l’Impact factor, ricavando i dati per il calcolo da WOS, presenta una scarsa copertura nelle Scienze umane e sociali ed una limitata rappresentazione delle riviste non in lingua inglese. Di conseguenza, in questi ambiti l’uso dell’Impact factor per la valutazione della ricerca risulta alquanto limitativo e fonte di errori ed inesattezze. Inoltre sempre nelle Scienze sociali ed umane, la pubblicazione scientifica avviene principalmente attraverso il libro, la rivista nazionale e quindi il ricorso ad indicatori quali l’Impact factor risulta inadeguato, poiché tale indice non tiene conto delle monografie e di altre forme di pubblicazione diverse dalla rivista scientifica a diffusione internazionale.
Un altro fronte di critiche all’uso dell’Impact factor nella valutazione della ricerca proviene dalla Scienze mediche. In particolare Seglen, nel 1997, ha messo in evidenza come l’Impact factor sia il risultato di un punteggio medio associato ad una rivista. In concreto, su una stessa rivista, esistono articoli “buoni” e articoli meno “buoni”, articoli con forte impatto e articoli con impatto nullo, o quasi nullo. Infatti, calcolando la frequenza di citazione dei singoli articoli di una rivista, si osserva che ognuno contribuisce in maniera diversa dagli altri al coefficiente d'impatto. La formula dell’Impact factor oscura tali differenze fra articoli apparsi sulla medesima rivista.
Un terzo gruppo di critiche all’uso dell’Impact factor nella valutazione della ricerca è legato ai comportamenti citazionali delle diverse comunità scientifiche. Generalmente nelle Scienze naturali si assiste mediamente a valori di Impact factor notevolmente più elevati rispetto alle Scienze sociali ed umane. Anche la tipologia di pubblicazioni ha un peso: le riviste di impostazione meno specialistica, o con molti articoli di contenuto metodologico, sono generalmente più citate di quelle ultra-specializzate e con articoli di taglio sperimentale. La stessa sorte tocca alle riviste orientate in prevalenza verso la pubblicazione di articoli di sintesi (rassegne etc): pur non apportando alcun contributo originale, tali riviste tendono ad essere molto citate perché i ricercatori usano le rassegne, soprattutto quelle scritte da colleghi prestigiosi, come sintesi della letteratura precedente.
138
Un altro elemento che occorre tenere in considerazione quando si utilizza l’Impact factor per la valutazione della ricerca è legato al fatto che vi è, da parte degli editori, l’interesse a gonfiare l'indice delle proprie riviste selezionando contributi che citano preferibilmente articoli pubblicati sulle stesse riviste, o articoli ben inseriti in una rete di citazioni reciproche.
Anche il tempo che passa tra la pubblicazione di un articolo e il picco di citazioni non è sempre uguale per tutte le discipline scientifiche. In particolare nelle Scienze umane e sociali si assiste a comportamenti citazionali molto meno veloci rispetto alle Scienze naturali. In questi ultimi settori scientifici, infatti, vi è la tendenza a citare molto più rapidamente gli articoli scientifici, a tal punto che in alcuni settori si è scelta la formula dell’e-print - attraverso riviste elettroniche in Open access- per velocizzare i tempi di pubblicazione dei risultati della ricerca. Sempre legato ai tempi di citazione vi è il fenomeno delle Sleeping beauties, cioè di quegli articoli scientifici che per anni sono risultati silenti, cioè hanno ricevuto un numero molto limitato di citazioni, per poi risvegliarsi a distanza di diversi anni e diventare un punto di riferimento della comunità scientifica. Anche in quest’ultimo caso il sistema dell’Impact factor risulta inadeguato in quanto tiene conto delle citazioni ricevute solo negli ultimi due anni dalla pubblicazione.
Anche nelle Scienze matematiche sono state numerose le critiche mosse all’Impact factor. Un interessante contributo che ha evidenziato i principali punti di debolezza dell’indicatore è quello presentato da Figà-Talamanca durante il Seminario dal titolo: ‘Il sistema informativo nazionale per la matematica’ del 2000, nel quale ha illustrato un documento dal titolo: ‘L'Impact Factor nella valutazione della ricerca e nello sviluppo dell’editoria scientifica’. Secondo l’autore le problematiche relative al settore dell’editoria scientifica e al sistema dell’Impact factor sono le seguenti:
‘L’aumento indiscriminato delle riviste e delle pubblicazioni scientifiche ed in particolare delle riviste più costose di proprietà di editori commerciali e la crisi finanziaria delle biblioteche scientifiche, esiziale per i paesi dell’Europa dell’Est ed i paesi in via di sviluppo.
L’impoverimento e l’esclusione dai circuiti internazionali di distribuzione delle riviste scientifiche legate ad istituzioni culturali e non pubblicate da editori commerciali.
L’aumento del numero delle citazioni non giustificate né dal riconoscimento di una priorità, né dall’esigenza di rendere più chiaro il testo.
L’aumento di riviste specialistiche gestite da piccole comunità internazionali dedite alle reciproche citazioni, e poco interessate a confrontarsi con il resto della comunità scientifica.
L’aumento della pressione sui singoli ricercatori e sulle strutture scientifiche a pubblicare, anche in assenza di risultati scientifici significativi, al solo scopo di aumentare il proprio punteggio basato sullo IF.
139
La perdita di vista del significato di una pubblicazione scientifica come mezzo per comunicare ad altri ricercatori i propri risultati e non solo come strumento per aumentare il proprio "punteggio".
Il capovolgimento dei valori di buon senso nella scelta del mezzo di comunicazione dei propri risultati che dovrebbero essere diffusi negli ambiti dove possono essere più utili.
L’arbitrio nelle scelte valutative mascherato dall’obiettività.
L’acquisizione di un repertorio bibliografico costosissimo (lo SCI) e in molti casi inutile, in tutte le strutture di ricerche, al solo scopo di consentire a tutti una strategia di massimizzazione dello IF. L’asservimento delle scelte scientifiche e culturali delle comunità degli scienziati agli interessi venali delle grandi aziende editoriali e dell’ISI.’ (Figà-Talamanca, 2000: 8)
Altri problemi legati all’uso dell’Impact factor per la valutazione della ricerca derivano da fattori che non hanno nulla a che vedere con la qualità dei contenuti (De Bellis, 2005). Un primo gruppo di fattori di disturbo è costituito dai limiti tecnici che dipendono dall'inaffidabilità della fonte, dai rischi dell'indicizzazione automatica dei data base bibliografici e citazionali e dalla necessità di contenere la spesa legata alle procedure manuali di controllo e correzione. I principali esempi di errori riscontrati sono i seguenti:
a) errori nell'attribuzione della paternità intellettuale dei lavori causati da inesattezze nei riferimenti bibliografici, da refusi tipografici, da ambiguità dovute ad omonimie o all'abitudine di molti autori di usare denominazioni diverse per gli stessi istituti;
b) errori nelle procedure manuali di identificazione delle citazioni su una rivista;
c) errori nel conteggio delle citazioni di articoli firmati da consorzi (clamoroso il caso del basso numero di citazioni rilevato per l'articolo del International Human Genome Sequencing Consortium che, nel 2001, annunciava la divulgazione della sequenza del genoma umano).
Molte di queste critiche erano state comunque largamente previste da Garfield e dai suoi collaboratori, i quali hanno più volte richiamato l’attenzione sul fatto che l'uso dell'IF per valutare gli scienziati anziché le riviste è improprio. La pubblicazione su una rivista con alto IF porta sicuramente un documento all'attenzione di un'audience più ampia, ma l'impatto del documento, di cui il numero delle citazioni ricevute è solo un indice parziale, dipende dalla sua qualità intrinseca, non da quella della rivista, e l'accertamento della qualità è inscindibile dal giudizio dei pari.(Garfield, 1998)