La revisione dei pari, valutazione tra pari o revisione paritaria, comunque meglio nota con il termine inglese di "peer review", rappresenta lo strumento qualitativo maggiormente utilizzato a livello nazionale e internazionale per la valutazione della ricerca. Come premesso nel capitolo 1 si tratta delle attività di valutazione messe in atto da esperti della comunità scientifica per la valutazione di un progetto, o un prodotto, o una struttura di ricerca, oppure nelle procedure concorsuali per la selezione del personale accademico.
Molte sono le definizioni di peer review presenti in letteratura. Secondo Baccini può essere definita come ‘un insieme di pratiche eterogenee e non standardizzate attraverso le quali un gruppo di individui esprime un giudizio sul lavoro scientifico di altri per determinarne la qualità. Gli individui chiamati ad esprimere tale giudizio sono selezionati da un insieme ampio di revisori che sono considerati pari rispetto a colui che ha prodotto il lavoro da giudicare. Di norma l’insieme dei pari è costituito da individui appartenenti a una data comunità disciplinare, che quindi dovrebbero possedere le competenze necessarie per giudicare la qualità del lavoro’ (Baccini, 2010: 52).
Le pratiche di valutazione della ricerca attraverso il ricorso alla revisione dei pari sono documentate nel corso dei secoli. Le prime testimonianze del ricorso alle procedure di revisione dei testi da parte di una comunità locale di esperti sono rintracciabili in Siria tra l’XIII e il IX secolo avanti Cristo. Tale attività aveva luogo durante la stesura di un manuale di pratiche mediche; dopo aver documentato le diverse tipologie di patologie che colpivano il genere umano, il testo veniva sottoposto a revisione da parte di un consiglio locale di esperti (Spier, 2002).
Occorre però giungere nell’Inghilterra del 1600 per poter avere una metodologia elementare di revisione da parte dei pari. Nel 1620 Francis Bacon con la sua opera “Novum Organum” incoraggiava l’incontro di numerosi studiosi per discutere e dibattere su quanto emergeva dai suoi studi.
A partire nel 1645 un gruppo di scienziati inglesi crearono un associazione scientifica dal nome “New Philosophy” che aveva come obiettivo quello di discutere e dibattere tesi scientifiche. Dal 1662 l’associazione divenne sempre più strutturata, assumendo la denominazione di “Royal Society of London for improving Natural Knowledge”. Dal 1665 la Società ebbe una sua rivista
42
scientifica dal nome “Philosophical Transactions” con una forma elementare di revisione sugli articoli scientifici da parte dell’editore. Ma è solo a partire dal 1752 che ebbe inizio una prima attività di peer review sugli articoli che sarebbero stati candidati alla pubblicazione sulla rivista “Philosophical Transactions”.
Lo sviluppo della peer review nella forma che conosciamo oggi si ha solo a partire dagli anni 60 del secolo scorso, quando anche grazie alla diffusione delle prime macchine fotocopiatrici, diventa più facile la divulgazione dei testi degli articoli che devono essere soggetti a revisione (Spier, 2002).
Poi dagli anni ‘90 grazie all’avvento di internet e della posta elettronica, il procedimento di peer review diviene ancora più diffuso e semplificato, ed oggi gran parte delle riviste scientifiche si avvalgono di una comunità di esperti che effettua un’attività di referaggio in forma anonima.
In letteratura sono individuabili 2 forme di peer review, a seconda del contesto in cui avviene l’attività di revisione. La prima, denominata prospettica, indica la procedura di selezione degli articoli o dei progetti di ricerca effettuata attraverso una valutazione esperta eseguita da specialisti del settore per verificarne l'idoneità alla pubblicazione su riviste specializzate o, nel caso di progetti, al finanziamento. La seconda, denominata retrospettiva, viene effettuata sempre da una comunità di pari, ma a seguito della pubblicazione del prodotto scientifico, ed è finalizzata a valutare la qualità del prodotto e il suo impatto sulla comunità scientifica. Generalmente tale procedura di valutazione viene adottata nei programmi di valutazione della ricerca nazionali. A titolo di esempio può essere menzionato il Research Assessment Exercise (RAE) realizzato nel Regno Unito e il programma di Valutazione Triennale della Ricerca (VTR) 2001-2003, attuato in Italia.
Le informazioni utilizzate e le finalità della peer review prospettica e retrospettiva sono diverse. Mentre nel primo caso in linea di principio sono sconosciuti sia gli autori che i revisori, nella peer review retrospettiva l’autore è generalmente conosciuto, dal momento che la pubblicazione è già stata realizzata. Normalmente nel caso della revisione prospettica il revisore dovrebbe conoscere soltanto il testo e non dispone di altre informazioni, mentre nella revisione retrospettiva al revisore è noto sia l’autore, sia la rivista nel quale è stato pubblicato, sia l’impatto dell’articolo nella comunità scientifica attraverso l’analisi delle citazioni.
Per quanto riguarda le finalità, nella revisione prospettica l’obiettivo principale è quello di analizzare il testo, al fine di cogliere eventuali prospettive scientifiche future. Nella revisione retrospettiva l’obiettivo è quello di analizzare i principali risultati raggiunti e l’impatto del prodotto scientifico sulla comunità scientifica.
43
Anche le metodologie utilizzate sono diverse: nella peer review prospettica la revisione dei pari si focalizza sul metodo adottato, sul rigore del ragionamento, sulla robustezza dei dati, sulla chiarezza dell’esposizione, mentre nella peer review retrospettiva oltre all’originalità, alla rilevanza e al rigore si possono considerare anche le citazioni ricevute, l’impact factor della rivista su cui è pubblicato l’articolo. Nel caso in cui non si tratti di un articolo su rivista scientifica, ma di un volume o di un altro prodotto scientifico, si terrà conto di altri elementi che caratterizzano il prodotto. Ad esempio, nel caso di un volume è possibile prendere in considerazione il prestigio della casa editrice o della collana, così come la prefazione realizzata da esperti del settore.
La peer review prospettica di norma si concretizza in un’attività di revisione realizzata da uno o più esperti del medesimo settore. In genere ciascun revisore fornisce una propria valutazione sul testo ricevuto includendo anche eventuali raccomandazioni per il miglioramento dell’articolo. Generalmente l’attività di revisione conduce ai seguenti effetti (Wikipedia, 2011):
• il lavoro è accettato senza riserve;
• il lavoro è accettato, a patto che l'autore lo migliori sotto determinati aspetti; • il lavoro è respinto, ma se ne incoraggia una revisione e una riproposta; • il lavoro è respinto senza appello.
Il parere degli esperti è di norma solo consultivo e l’editore non assume alcun obbligo ad accettarne le conclusioni.
I revisori generalmente sono sconosciuti all’autore e lavorano in maniera autonoma. Nel gergo tecnico l’attività di revisione è definita a “singolo cieco” quando il revisore conosce l’identità dell’autore, ma è sconosciuto a quest’ultimo. Mentre il processo di revisione è definito a “doppio cieco” quando i revisori restano sconosciuti all’autore e viceversa. Di solito i revisori non sono retribuiti, e l’attività di peer review sottrae tempo alla ricerca e alla didattica. Per questo motivo talvolta ai revisori vengono offerti dalle case editrici degli incentivi (es. accesso gratuito per un periodo limitato ai database citazionali).
Gli stili di revisione variano molto da rivista a rivista. Vi sono riviste, come ad esempio “Nature”, che tendono a pubblicare un numero estremamente ridotto di articoli: solo il 5% del totale; mentre altre riviste, ad esempio “Astrophysical Journal”, pubblicano un’elevata percentuale degli articoli ricevuti: il 70%. Ciò non significa che il processo di revisione non sia realizzato in modo rigoroso anche nelle riviste con un alto tasso di accettazione degli articoli, ma è la diffusione della rivista e il suo prestigio che determinano la domanda di pubblicazione degli articoli.
A seconda del settore scientifico, la valutazione da parte di pari può essere più o meno restrittiva. Nelle Scienze fisiche, ad esempio, generalmente le decisioni sulla bontà di un articolo
44
sono lasciate al mercato editoriale, che in un qualche modo tende a selezionare gli articoli migliori e a penalizzare quelli con minore impatto sulla comunità scientifica. Occorre tenere in considerazione che anche nelle Scienze fisiche, nonostante gli elevati tassi di pubblicazione degli articoli, è presente un’attività di peer review che assicura standard di qualità ed interviene a correggere errori e inesattezze.
I tempi di realizzazione della peer review sono di norma piuttosto lunghi, e richiedono diverse settimane o mesi. La durata della procedura di revisione è legata alle diverse fasi che la compongono. Infatti la procedura di peer review prevede che i revisori siano individuati, accettino la proposta, leggano l’articolo e inviino il loro responso. L’avvento di internet e della posta elettronica ha notevolmente ridotto i tempi e i costi di tale procedura. In generale comunque il processo di peer review presenta tempi non rapidi e costi gestionali abbastanza elevati.