La revisione dei pari nell’ambito della valutazione della ricerca scientifica

Il sistema della revisione dei pari rappresenta ancora oggi la metodologia qualitativa più utilizzata nei processi di valutazione della qualità della ricerca scientifica, soprattutto nelle scienze sociali e umanistiche (Bornmann, 2011; Wouters et al., 2015).

La logica alla base della revisione dei pari nell’ambito della valutazione della ricerca scientifica non è l’impiego di particolari tecniche o indici, ma è il giudizio espresso da un

69

pari (peer) ovvero, da uno o più soggetti membri della comunità scientifica disciplinare considerati pari rispetto a colui che ha prodotto il lavoro da valutare. Dunque, rispetto all’analisi bibliometrica, che rappresenta una metodologia quantitativa (e quindi di natura oggettiva) per la valutazione della ricerca scientifica, la revisione dei pari costituisce una metodologia qualitativa di natura soggettiva, in quanto basata sulla valutazione di determinati soggetti esperti.

In sostanza, la peer review è basata essenzialmente su una valutazione di merito realizzata da un gruppo di esperti che opera nello stesso settore scientifico – disciplinare, o in settori affini a quello oggetto della valutazione (de Vries, 2001), e che esprime un giudizio sulla base della loro riconosciuta esperienza, conoscenze, competenze e reputazione (Rebora & Turri, 2010). In particolare, tali soggetti sono selezionati da un insieme ampio di revisori, costituito da individui appartenenti a una data comunità disciplinare, in possesso delle conoscenze necessarie per giudicare la qualità del lavoro oggetto della valutazione in termini di solidità metodologica e importanza del contributo per il progresso della scienza (Moed H. F., 2007).

Inoltre, un altro aspetto importante della peer review è che, oltre ad avere le conoscenze necessarie per esprimere un giudizio sulla qualità di un lavoro scientifico, i revisori tipicamente devono essere anche “parti terze” ovvero soggetti ne direttamente legate con l’entità valutatrice, ne strettamente legati con la persona o unità sottoposta a valutazione (Smith, 2006; Lee, Sugimoto, Zhang, & Cronin, 2013). Quest’ultimo aspetto, legato all’indipendenza dei valutatori, è necessario al fine di assicurare l’imparzialità dei revisori ed evitare quindi di inficiare l’esisto della valutazione.

Dunque, conoscenze, competenze e indipendenza dei revisori, rappresentano insieme i più importanti prerequisiti per un efficace processo di revisione dei pari.

70

Infine, una volta individuato il gruppo di esperti, l’attività di valutazione condotta attraverso la revisione dei pari si concretizza nell’attribuzione di un valore/ giudizio sulla qualità del prodotto di ricerca, secondo una scala predefinita (Baccini, 2010).

In teoria, la revisione dei pari risulta essere uno dei modi migliori per valutare la qualità di un prodotto di ricerca (Bertocchi, Gambardella, Jappelli, Nappi, & Peracchi, 2015) in quanto, basandosi su un giudizio espresso da un pari, ovvero da un insieme di soggetti considerati pari rispetto a colui che ha prodotto il lavoro da valutare, dovrebbe assicurare una valutazione accurata e dettagliata del prodotto di ricerca oggetto della valutazione. Tuttavia, anche tale metodologia presenta numerosi limiti dovuti soprattutto alla fattibilità e spesso all’affidabilità della stessa (Bertocchi, Gambardella, Jappelli, Nappi, & Peracchi, 2015), che sono stati evidenziati negli anni in letteratura (Smith, 2006; Baccini, 2010; Abramo & D'Angelo, 2011; Bornmann, 2011; Dalli, 2011).

3.2.1. Criticità della peer review nell’ambito della valutazione della ricerca scientifica

Come gli indicatori bibliometrici e le altre metodologie esistenti, anche la peer review soffre di una serie di limiti che sono stati evidenziati in letteratura nel corso degli anni e che devono essere considerati nell’ambito della valutazione della qualità della ricerca.

Innanzitutto, una delle prime criticità della revisione dei pari è legata alla sua fattibilità, dato che si tratta di una procedura estremamente costosa (si pensi per esempio al numero di revisori che bisognerebbe mobilitare per svolgere un esercizio nazionale della ricerca) e molto lenta (Smith, 2006; Wouters, et al., 2015). Nello specifico, il primo aspetto critico della revisione dei pari è che richiede tempi di realizzazione piuttosto lunghi (Bertocchi, Gambardella, Jappelli, Nappi, & Peracchi, 2015) o, come sostenuto da Dalli (2011), tempi che non sarebbero compatibili con la necessità di trasferire al più presto le novità alla comunità scientifica. Inoltre, altro aspetto importante è che risulta essere una procedura molto costosa: in particolare, oltre al costo da sostenere per la selezione e gestione dei

71

revisori, è possibile identificare anche una componente sostanziale di “costo opportunità” (Smith, 2006), dovuto al fatto che il tempo (molto lungo) speso nell’attività di revisione, potrebbe essere speso per altre attività maggiormente produttive, come per esempio lavorare su un proprio articolo scientifico.

Altro aspetto critico della revisione dei pari riguarda la questione della mancanza di

affidabilità (Smith, 2006; Bornmann, 2008; Bornmann, 2011), dovuta alla natura soggettiva

del giudizio, ritenuta da Marsh, Jayasinghe & Bond (2008) il più importante limite della peer

review. Nello specifico, essendo il giudizio espresso da uno o più soggetti che valutano il

prodotto di ricerca ed esprimono il loro parere “soggettivo” su di esso, c’è il rischio che ci sia divergenza nel giudizio espresso dai diversi soggetti interessati alla valutazione. Tuttavia, la divergenza nei giudizi non deve essere vista necessariamente come fattore negativo, in quanto tale divergenza non necessariamente deve essere vista come un segno di disaccordo sulla qualità di un prodotto di ricerca (Eckberg, 1991), ma può essere semplicemente il risultato di un giudizio espresso da soggetti con criteri, posizioni e competenze differenti. Dunque, vale la pena evidenziare che la possibilità di avere un giudizio espresso sulla base di criteri e prospettive più ampie, se da un lato riduce l’affidabilità della revisione, dall’altro lato ne aumenta la sua validità (Bornmann, 2008).

Altre criticità legate alla natura soggettiva del giudizio espresso dai revisori riguardano il problema dell’equità e della validità predittiva (Martin & Irvine, 1983; Bornmann, 2008; Bornmann, 2011). Per quanto riguarda la mancanza equità, spesso la peer review è stata criticata di essere una misura troppo soggettiva (Banfi & De Nicolao, 2013) e, di conseguenza, una misura non neutrale (Dalli, 2011) che potrebbe dirigere il sistema verso alcune direzioni piuttosto che altre. Per esempio, i revisori potrebbero favorire quei lavori condotti secondo linee scientifiche tradizionali e consolidate, a scapito delle ricerche più innovative o contrastanti la visione comune. Inoltre, altro aspetto critico evidenziato da

72

Bornmann (2011) è che il giudizio soggettivo espresso dal peer potrebbe essere distorto a causa di pregiudizi, possibili conflitti di interesse, errori nella valutazione ecc., che quindi aumenterebbero il problema dell’affidabilità e della mancanza di equità nel processo di valutazione. Per esempio, Martin e Irvine (1983) sostengono che il giudizio soggettivo del valutatore potrebbe essere basato non solo sul merito scientifico del prodotto oggetto della valutazione, ma soprattutto potrebbe essere influenzato dalla sua percezione di qualità, dai propri interessi di ricerca, dalla pressione politica e sociale della comunità scientifica e dalle caratteristiche personali dell’autore (il sesso, l’età, il suo riconosciuto prestigio, l’affiliazione a una prestigiosa istituzione universitaria ecc.) che non hanno nulla a che fare con la qualità del prodotto di ricerca valutato.

Altra criticità della revisione dei pari, legata all’influenza esercitata dalle caratteristiche dell’autore sul giudizio del revisore, è il cosiddetto Matthew Effect (Merton, 1988; Wouters, et al., 2015) secondo la quale gli scienziati di maggiore prestigio e successo hanno più facilità di pubblicare, di introdurre nuove teorie, di essere valutati positivamente ecc. rispetto ad altri scienziati poco conosciuti, grazie al loro successo iniziale. In sostanza, si tende a premiare chi si trova già in una posizione privilegiata.

Dunque, soggettività, favoritismo e conservatorismo rappresentano ovvi svantaggi della

peer review. Inoltre, lo stesso Bornmann (2011) mette in evidenzia anche come la peer review manchi di validità predittiva, in quanto non c’è una relazione certa tra il giudizio del

revisore e la qualità e la successiva utilità del prodotto di ricerca per la comunità scientifica e non. Dalli (2011) concorda con questo, sostenendo come la revisione dei pari abbia l’obiettivo di stabilire l’accettabilità o la plausibilità di un progetto di ricerca o una pubblicazione e non la loro validità e qualità intrinseca.

Dunque, ciò che si evince da quanto detto sopra, è che il punto di forza della revisione dei pari rappresenta anche la causa dei suoi limiti. In sostanza, se da un lato il giudizio espresso

73

da soggetti esperti e dotati di determinate conoscenze assicura una valutazione accurata del prodotto di ricerca oggetto della valutazione, dall’altro lato, tale giudizio può essere inficiato da una serie di fattori che potrebbero rendere la valutazione non equa e affidabile.

Quindi, come per l’utilizzo degli indicatori bibliometrici, anche per la revisione dei pari è importante tenere in considerazione tali limiti, date le conseguenze che si potrebbero avere sull’esito della valutazione, soprattutto nell’ambito degli esercizi nazionali della valutazione della ricerca, il cui esito influisce sulla distribuzione dei finanziamenti alle Università, sulla progressione di carriera dei ricercatori ecc.