3. Il sistema della revisione dei pari
3.1. La revisione dei pari (peer review): cenni storici
Il sistema della revisione dei pari, meglio noto con il termine peer review, costituisce una modalità codificata e trasversale con cui si valuta la qualità della ricerca scientifica, accettata in numerosi sistemi accademici e aree disciplinari a livello internazionale (Dalli, 2011). In particolare, la revisione dei pari rappresenta ancora oggi la metodologia qualitativa più utilizzata nei processi di valutazione della qualità ricerca scientifica in molte aree scientifiche e in particolare modo nelle scienze sociali e umanistiche (Bornmann, 2011; Lee, Sugimoto, Zhang, & Cronin, 2013; Wouters, et al., 2015).
La revisione dei pari può essere considerata come un’evoluzione delle pratiche adottate dalla comunità scientifica nel corso degli anni nell’ambito della valutazione della qualità di proposte di finanziamento della ricerca, delle pubblicazioni scientifiche ecc. (Dalli, 2011). Nello specifico, essa affonda le sue radici nelle professioni mediche e delle scienze dure.
64
Secondo la ricostruzione di Spier (2002), la prima testimonianza di un processo di revisione dei pari è da far risalire a un testo siriano sulla pratica medica del IX secolo d.C., chiamato
Ethics of Physician di Ishap bin Ali Al Rahwi. Tale lavoro prevedeva il dovere da parte dei
medici di creare degli appunti sulle condizioni dei pazienti in ogni visita al fine di sottoporre successivamente queste note a revisione da parte di un consiglio locale di esperti, che avrebbe giudicato l’operato del medico curante al fine di verificarne il rispetto degli standard prevalenti a quel tempo.
Altre testimonianze dell’utilizzo della revisione dei pari nel passato si hanno intorno al 1600 in Inghilterra dove Francis Bacon, attraverso la sua opera Novum Organum, incoraggiò l’incontro di numerosi studiosi per discutere e dibattere le loro differenti opinioni sull’evolversi della scienza. Successivamente, a partire dal 1752 ebbe inizio quella che viene definita la prima vera e propria forma di revisione dei pari (Bornmann, 2013) effettuata sugli articoli candidati alla pubblicazione sulla rivista Philosophical Transactions della Royal
Society of London for improving Natural Knowledge, associazione formata da un gruppo di
scienziati nel 1662. Nello specifico, tutti gli articoli inviati alla Società venivano sottoposti alla valutazione da parte di un gruppo di membri esperti, dotato delle conoscenze specifiche di una determinata materia, al fine di assicurare la qualità dei lavori pubblicati sulla rivista. Tuttavia, secondo la ricostruzione di Spier (2002), è solo a partire dalla seconda metà del Novecento che le pratiche di revisione dei pari per le decisioni relative alla pubblicazione cominciarono ad assumere un peso rilevante grazie allo sviluppo di una particolare innovazione tecnologica, ovvero la macchina per fotocopie Xerox, che permise di superare i vincoli imposti alla riproduzione dei manoscritti inviati alle riviste, i quali impedivano una facile distribuzione dei lavori ai revisori. Infine, il successivo incremento dell’utilizzo della posta elettronica e il crescente sviluppo del web hanno ulteriormente facilitato le
65
comunicazioni nella comunità scientifica e favorito la diffusione della revisione dei pari (Baccini, 2010).
3.1.1. Il sistema della peer review: definizione e caratteristiche principali
La revisione dei pari risulta essere la principale metodologia utilizzata per la valutazione di un lavoro scientifico (Bornmann, 2013). In particolare, essa può essere definita come un processo attraverso la quale un gruppo di esperti in una determinata area disciplinare, valuta la performance, la creatività e la qualità di un lavoro scientifico prodotto da un altro soggetto, appartenente allo stesso settore disciplinare (Lee, Sugimoto, Zhang, & Cronin, 2013). Per esempio, Baccini (2010) definisce la revisione dei pari come “un insieme di pratiche
eterogenee e non standardizzate, attraverso le quali un gruppo di individui esprime un giudizio sul lavoro scientifico di altri per determinarne la qualità” (p. 52). Bornmann (2011)
invece, definisce la peer review come un processo attraverso la quale un gruppo di “pari”, attivo in un determinato settore scientifico disciplinare, valuta l’impegno di una determinata attività di ricerca e i suoi risultati.
Dunque, ciò che emerge dalle varie definizioni presenti in letteratura, è che la revisione dei pari si basa sulla valutazione effettuata da un gruppo di esperti chiamati “pari” (peer), ovvero quei soggetti che, avendo determinate conoscenze, esperienze ecc., sono considerati pari rispetto a colui che ha prodotto il lavoro scientifico, e quindi sono considerati capaci di giudicarne la sua qualità. È proprio questo aspetto quello che rappresenta la caratteristica principale della revisione dei pari: il giudizio sulla qualità di un lavoro scientifico viene espresso da un gruppo di soggetti esperti in un determinato campo disciplinare.
Tuttavia, il concetto di peer review è difficile da definire in maniera dettagliata, in quanto comprende una serie di attività tra loro differenti (Bence & Oppenheim, 2004; Smith, 2006). Infatti, la revisione dei pari risulta essere la metodologia attraverso la quale i finanziamenti vengono allocati tra le diverse risorse, gli articoli vengono selezionati per la pubblicazione
66
nelle riviste, i posti di lavoro e le promozioni vengono assegnate all’interno dell’Università e i premi Nobel vengono assegnati. Inoltre, la revisione dei pari viene utilizzata anche nell’ambito della valutazione della ricerca scientifica, nel valutare i singoli ricercatori, Dipartimenti e Università (Bornmann, 2008).
Quindi, è possibile identificare differenti forme di peer review. In particolare, in letteratura la revisione dei pari è stata classificata in base a due determinate variabili: l’obiettivo della
review e il momento (periodo temporale) in cui essa viene effettuata rispetto al ciclo di
creazione della conoscenza scientifica (Wouters, et al., 2015).
Per esempio, con riferimento all’obiettivo della revisione, Gillet (1989) indentifica tre tipi di peer review:
1) journal peer review, in cui la valutazione da parte del gruppo di esperti ha l’obiettivo di determinare se un determinato articolo può essere o meno pubblicato su una determinata rivista;
2) grant – giver peer review, il cui obiettivo è quello di determinare se una proposta di ricerca potrà essere finanziata dai contributi forniti da determinate agenzie;
3) impressionistic peer review, il cui obiettivo è quello di fornire un giudizio complessivo riguardo il merito dell’attività di ricerca condotta in differenti Dipartimenti.
Come menzionato precedentemente, altri obiettivi della revisione possono essere l’assegnazione dei premi (come il premio Nobel), l’assegnazione dei posti di lavoro o delle promozioni all’interno dell’Università ecc.
Riguardo invece il momento in cui la revisione viene effettuata, Baccini (2010) distingue tra 1) revisione prospettica e 2) revisione retrospettiva sulla base della diversità delle informazioni disponibili ai revisori nell’esprimere il loro giudizio. Nello specifico, nella
67
valutazione prospettica rientrano per esempio la valutazione ai fini della pubblicazione di un articolo presso una rivista scientifica, la procedura per l’attribuzione dei finanziamenti per un progetto di ricerca ecc., in cui il revisore esprimerà un giudizio sulla base della sola lettura del lavoro sottoposto a valutazione, di cui non conosce l’autore, e delle sue conoscenze personali sullo stato dell’arte nel campo di ricerca specifico. Nella valutazione retrospettiva invece, in cui rientrano per esempio la revisione nell’ambito degli esercizi nazionali di valutazione della qualità della ricerca, o nell’assegnazione di premi scientifici, nell’esprimere il giudizio il revisore potrà avvalersi, oltre alla lettura del lavoro sottoposto a valutazione, anche di altre informazioni come il nome dell’autore del lavoro, il prestigio della rivista su cui ha pubblicato, il numero di citazioni ricevute dall’articolo ecc.
In aggiunta alle due differenti classificazioni sopra menzionate, la revisione dei pari può essere distinta anche a seconda delle modalità operative con cui viene attuata (Bornmann, 2013): per esempio, è possibile che il processo di revisione sia più o meno formalizzato, ma la scelta dei criteri alla base del giudizio sia lasciata ai revisori; i nomi dei soggetti partecipanti al processo di revisione (il valutato e il revisore) possono essere conosciuti o anonimi; la valutazione può essere svolta da un solo revisore o da più esperti ecc.
In particolare, a seconda della trasparenza del nome del revisore e dell’autore dell’articolo, è possibile individuare tre tipologie di revisione dei pari (Lee, Sugimoto, Zhang, & Cronin, 2013):
1. single-blind peer review in cui il nome dell’autore è noto al revisore, mentre il nome del revisore resta ignoto all’autore, al fine di assicurare una decisione imparziale da parte del revisore che non potrà essere influenzato dall’autore. Si tratta della forma di revisione dei pari più utilizzata;
2. double-blind peer review meno diffusa rispetto alla precedente, è la forma di revisione dei pari in base alla quale sia il nome dell’autore che il nome del revisore
68
vengono mantenuti segreti al fine di assicurare da un lato l’imparzialità del revisore e, dall’altro lato, di prevenire qualsiasi pregiudizio da parte del revisore verso l’autore;
3. open peer review forma di revisione sviluppata recentemente e innovativa rispetto alle due forme tradizionali, in quanto si tratta di una formula trasparente in cui sono note le identità dei revisori e quelle degli autori, nonché i tempi e i commenti del processo di revisione.
Come sopra menzionato, è difficile definire in maniera dettagliata e precisa la revisione dei pari, dato che essa può essere attuata per scopi differenti, in diversi periodi temporali e attraverso differenti modalità operative. Tuttavia, è possibile individuare una caratteristica peculiare della revisione dei pari, comune alle differenti forme esistenti, ovvero che la peer
review è una forma di “controllo interno” da parte della comunità scientifica (Wouters, et
al., 2015). Nello specifico, la caratteristica distintiva della revisione dei pari è che essa si basa sull’assunzione diffusa che gli scienziati siano gli unici in grado di capire la complessità della ricerca scientifica, e di conseguenza, gli scienziati stessi sono considerati i soggetti più adatti a valutare la qualità di un prodotto di ricerca o l’attività scientifica di un ricercatore (Bornmann, 2008; Marchi, Marasca, & Giuliani, 2013). Quindi, secondo la prospettiva della
peer review, lo scienziato diventa il gatekeeper della scienza (Bornmann, 2008).