3. Il sistema della revisione dei pari
3.3. L’informed peer review
Nonostante la revisione dei pari risulti essere ancora oggi la metodologia più utilizzata nell’ambito della valutazione della ricerca scientifica, il riconoscimento dei suoi limiti ha spinto negli ultimi anni numerosi studiosi a considerare la possibilità di sostituire tale metodologia con l’analisi bibliometrica, o di utilizzare quest’ultima a supporto della revisione dei pari.
In letteratura, diversi studi empirici (Van Raan, 2006; Abramo & D'Angelo, 2011; Waltman, van Eck, van Leeuwen, Visser, & van Raan, 2011) hanno confrontato i risultati della valutazione tramite revisione dei pari con quelli ottenuti mediante l’utilizzo degli indicatori bibliometrici, mostrando una buona correlazione tra i risultati ottenuti mediante le due metodologie. Per esempio, Van Raan (2006) analizzando un campione di 147 gruppi di ricerca in chimica in Olanda, ha trovato l’H index e altri indicatori bibliometrici di tali gruppi di ricerca correlati al giudizio espresso dai pari. Un successivo studio empirico di Waltman et al. (2011), in risposta a uno studio di Opthof e Leydesdorff (2011)8, ha confermato i
risultati dello studio di Van Raan (2006) trovando una correlazione significativa tra i risultati
8 Opthof e Leydesdorff (2011) hanno rianalizzato i dati riportati da Van Raan (2006) e hanno trovato nessuna
correlazione significativa tra la valutazione tramite indicatori bibliometrici e quella tramite giudizio espresso dai peer. Tale studio quindi critica i risultati ottenuti da Van Raan.
74
della valutazione espressi tramite revisione dei pari e quelli tramite utilizzo degli indicatori bibliometrici.
Sulla scia di questi risultati, si è assistito sempre più a un maggior utilizzo degli indicatori bibliometrici nell’ambito dei processi di valutazione della ricerca scientifica. In particolare, si è fatta avanti sempre più l’idea di utilizzare la bibliometria a supporto della revisione dei pari, dando vita alla cosiddetta informed peer review (Butler, 2007; Moed H. F., 2007; Wouters, et al., 2015) in cui il risultato della valutazione è il frutto del giudizio espresso da un gruppo di pari, nell’ambito del processo di peer review, sulla base anche di informazioni derivanti dall’analisi citazionale (Abramo & D'Angelo, 2011).
In sostanza, si tratta di una procedura di revisione dei pari che utilizza più fonti di informazione per pervenire alla valutazione finale. Nello specifico, oltre alle informazioni sulla qualità di un lavoro scientifico derivanti dalla sua analisi accurata, il revisore potrà avvalersi anche delle informazioni derivanti dall’utilizzo degli indicatori bibliometrici come per esempio il numero di citazioni, l’impatto ecc. del prodotto di ricerca. Quindi, a differenza della revisione dei pari tradizionale, che è di tipo anonima e double blind, la revisione dei pari “informata” è anonima, ma i revisori conoscono l’identità dell’autore del prodotto scientifico oggetto della valutazione (Bertocchi, Gambardella, Jappelli, Nappi, & Peracchi, 2013).
Alla base dell’informed peer review, c’è la convinzione che l’utilizzo dell’analisi bibliometrica nel processo di revisione dei pari possa fornire informazioni aggiuntive e utili ai revisori nell’esprimere il giudizio su un determinato prodotto scientifico, su un ricercatore ecc. In letteratura, numerosi studiosi (Butler, 2007; Donovan, 2007; Moed H. F., 2007; Derrick & Pavone, 2013) hanno promosso l’utilizzo di questa nuova forma di revisione dei pari, evidenziando i diversi benefici che si avrebbero dall’utilizzo congiunto della peer
75
Per esempio, Moed (2007) sostiene che l’utilizzo dell’analisi bibliometrica potrebbe rappresentare un ottimo strumento per rendere la revisione dei pari un processo più esplicito, onesto e trasparente. In particolare, egli sostiene che l’utilizzo degli indicatori bibliometrici nell’ambito della revisione dei pari consenta al revisore di esprimere un giudizio sulla base di informazioni oggettive, verificate e sistematiche sulla qualità del prodotto di ricerca o dell’attività del ricercatore. Butler (2007) concorda con quanto sostenuto da Moed, evidenziando come l’analisi bibliometrica possa essere utilizzata nell’ambito della revisione dei pari per rendere quest’ultima opinabile, per fornire maggiori informazioni ai revisori per esprimere il loro giudizio (Van Raan & Van Leeuwen, 2002) e soprattutto, per rendere il processo di revisione dei pari più trasparente.
Altri studiosi hanno evidenziato altri benefici derivanti dall’utilizzo dell’analisi bibliometrica nell’ambito del processo di peer review. Per esempio, Moed e van Raan (1988) considerano gli indicatori bibliometrici un’utile risorsa da utilizzare, all’interno di un processo di valutazione, in presenza di pareri discordanti sulla qualità di un determinato lavoro scientifico da parte dei diversi revisori. In una simile situazione, l’utilizzo degli indicatori bibliometrici servirebbe a fornire ai revisori delle informazioni oggettive sul lavoro scientifico oggetto della valutazione.
Altro vantaggio derivante dall’utilizzo in combinazione delle due metodologie viene evidenziato da Derrik e Pavone (2013), che sostengono che l’utilizzo degli indicatori bibliometrici nell’ambito del processo di revisione possa ampliare la platea dei revisori, permettendo anche a soggetti esterni alla comunità scientifica di poter partecipare nel processo di valutazione. In particolare, i due autori evidenziano come grazie all’utilizzo congiunto delle due metodologie anche i soggetti non appartenenti alla comunità scientifica siano in grado di poter partecipare nel processo valutativo, in quanto essi potranno derivare
76
le informazioni sulla qualità e impatto di un lavoro scientifico proprio dall’utilizzo dell’analisi bibliometrica.
Quello che emerge da quanto detto sopra, è che l’idea di fondo dell’informed peer review è che l’utilizzo complementare della revisione dei pari “tradizionale” con l’analisi bibliometrica possa portare una serie di benefici dovuti alla compensazione dei limiti delle due metodologie. In sostanza, come evidenzia Moed (2007), i punti di forza dell’analisi bibliometrica compensano i punti di debolezza della revisione dei pari e viceversa.
77