Revisione tra pari aperta, metriche e valutazione Di che cosa si tratta?

Essere un ricercatore significa trovarsi continuamente sotto giudizio degli altri. L’Accademia è “un’economia del prestigio” in cui il valore degli accademici è basato sulle valutazioni circa il livello di stima di cui godono loro stessi e i loro contributi presso i pari, i decisori e altri (Blackmore and Kandiko, 2011). In questa sezione sarà quindi opportuno distinguere tra la valutazione di un lavoro di ricerca e la valutazione del ricercatore. Sia la ricerca, sia il ricercatore sono sottoposti a valutazione attraverso due metodi principali: la revisione tra pari (peer review) e le metriche, il primo qualitativo e il secondo quantitativo.

La revisione tra pari è usata, in primo luogo, per valutare l’appropriatezza dei prodotti della ricerca. È il meccanismo formale di garanzia di qualità per il quale i manoscritti scientifici (per esempio, articoli su riviste, libri, progetti per finanziamenti e contributi in convegni) vengono sottoposti allo scrutinio di altri, i cui commenti e giudizi sono poi usati per migliorare i lavori e prendere la decisione finale sulla loro accettazione (per la pubblicazione, la concessione del finanziamento o l’inserimento nel programma di un convegno). La revisione tra pari aperta (Open Peer Review) ha un significato diverso per persone e comunità differenti ed è stata definita come “termine generico per indicare una serie di modalità similari in cui i modelli di peer review possono essere adattati in accordo con gli obiettivi della Scienza Aperta” (Ross-Hellauer, 2017). I tratti peculiari della revisione tra pari aperta sono le “identità aperte”: autori e revisori conoscono le rispettive reciproche identità (referaggio non alla cieca dall’inglese ‘non blinded’) e la “relazione di referaggio aperta” per cui si prevedere che i risultati della peer review vengano pubblicati insieme al corrispondente articolo. Queste caratteristiche possono ma non devono essere necessariamente combinate; possono altresì essere integrate con altre pratiche innovative come la “partecipazione aperta” che prevede che tutti i membri dell’intera comunità scientifica possano contribuire al processo di revisione; l’“interazione aperta” che consente ed incoraggia una discussione bi-direzionale tra autori e revisori e/o tra revisori; “l’anteprima aperta del manoscritto” in cui i manoscritti vengono resi immediatamente

65

disponibili prima di qualsiasi processo formale di referaggio (sia internamente come parte del flusso di lavoro della rivista sia esternamente attraverso gli archivi preprint).

Una volta passate attraverso il processo di revisione aperta tra pari, le pubblicazioni scientifiche diventano poi spesso la prima forma di misurazione del lavoro di un ricercatore (da qui il modo di dire "o si pubblica o si muore"(dall'inglese: "publish or perish"). Tuttavia, giudicare la qualità di una pubblicazione è difficile e soggettivo. Nonostante alcuni esercizi di valutazione generici come il Research Excellence Framework (Regno Unito) utilizzino la revisione aperta tra pari, la valutazione si basa spesso sulle metriche, come ad esempio, il numero delle citazioni (h-index), o anche il livello di influenza percepito della rivista dove si è pubblicato (espresso dal suo fattore di impatto). L’uso predominante di tali metriche e il modo in cui queste possono alterare l'attribuzione degli incentivi sono stati messi in evidenza in alcune dichiarazioni come il Manifesto di Leiden e la Declaration on Research Assessment (DORA) di San Francisco.

Negli ultimi anni si è cominciato a discutere sulle cosiddette metriche alternative o “altmetrics” contestualmente al dibattito su come misurare adeguatamente i risultati della ricerca attraverso l’integrazione -nel conteggio delle citazioni- di altri strumenti online per misurare l’impatto della ricerca, come i salvataggi nei bookmark, i link, i post nei blog, i tweet, i "like", le condivisioni, la visibilità sugli organi di stampa e similari. Tutte le problematiche relative alle metriche sono riconducibili al fatto che a produrle sono entità commerciali (ad esempio, Clarivate Analytics ed Elsevier) che, basandosi su sistemi proprietari, possono creare problemi di trasparenza.

Fondamentali

La revisione tra pari aperta

Introdotta nel XVII secolo dalla Royal Society di Londra (1662) e dall’Acadèmie Royale des Sciences di Parigi (1699) come privilegio del mondo scientifico all'auto-censura anzicchè per volere della Chiesa, ci sono voluti molti anni prima che la revisione tra pari si affermasse adeguatamente. La revisione tra pari, come meccanismo formale, è molto più recente di quanto si possa pensare. La rivista “Nature”, ad esempio, l’ha introdotta solo nel 1967. Sebbene, secondo alcuni studi, i ricercatori sembrino apprezzare la revisione tra pari, risulta altresì che siano dell’opinione che potrebbe funzionare anche meglio. Ci sono spesso lamentele sui tempi troppo lunghi di revisione, sulla sua incongruenza nonchè a volte di inefficacia nel riconoscere gli errori e sull’anonimato che può celare parzialità. La revisione tra pari aperta (OPR Open peer review) mira pertanto ad apportare maggiore trasparenza e partecipazione al processo formale ed informale della revisione tra pari. Diventare un revisore offre al ricercatore l’opportunità di essere coinvolto in ricerche innovative, di costruire reti e competenze accademiche e di raffinare le proprie abilità di scrittura. È un

66

elemento cruciale per il controllo della qualità del lavoro accademico. Generalmente, però, i ricercatori non ricevono spesso una preparazione formale su come fare una revisione. Anche laddove i ricercatori si sentano sicuri con la revisione tra pari tradizionale, le molte forme di revisione tra pari aperta presentano, tuttavia, nuove sfide e nuove opportunità. Poichè la OPR copre un’ampia varietà di pratiche, ci sono molte considerazioni di cui i revisori e gli autori devono tenere conto.

Riguardo alla valutazione, attualmente i riconoscimenti e le metriche nella scienza e nelle attività di ricerca non sono (ancora) in linea con la Scienza Aperta. Le metriche usate per valutare la ricerca (ad esempio il fattore di impatto di una rivista scientifica h-index) non misurano - e di conseguenza non premiano - le pratiche di ricerca aperta. L’attività di revisione tra pari aperta non è sempre riconosciuta come “attività scientifica” relativamente alle progressioni di carriera (ad esempio, in molti casi, gli esperti che valutano i progetti di finanziamento non considerano nemmeno le revisioni tra pari aperte più brillanti come degli oggetti scientifici di per sè). Inoltre, molte metriche di valutazione - specialmente certe tipologie di indici bibliometrici - non sono così aperti e trasparenti come la comunità scientifica auspicherebbe.

In questo contesto e, nella migliore delle ipotesi, praticare la Scienza Aperta è percepito come un’altra incombenza fine a sè stessa, senza alcun riconoscimento. Nella peggiore delle ipotesi, è considerato un danno e un ostacolo per accedere a possibili finanziamenti futuri e a promozioni per non parlare di avanzamenti di carriera. Un recente Rapporto della Commissione Europea (2017) ha riconosciuto che ci sono fondamentalmente due approcci all’implementazione della Scienza Aperta e al modo in cui i riconoscimenti e la valutazione possono favorirla:

1. Sostegno puro e semplice dell’attuale stato dell’arte incoraggiando maggiore apertura, costruendo metriche adatte e quantificando i prodotti;

2. Sperimentazione di pratiche alternative di ricerca e valutazione, dati aperti, scienza partecipativa e risorse di insegnamento e apprendimento aperte.

67

Enti finanziatori ed istituzioni si stanno muovendo sempre di più verso queste due direzioni, prendendo distanza, ad esempio, dai semplici conteggi numerici e includendo nei loro esercizi di valutazione resoconti e indicazioni sull’impatto sociale. Altri passi che gli enti finanziatori stanno compiendo sono l’inclusione nei bandi di altri tipi di prodotti della ricerca (come i manoscritti non referati) e il finanziamento di diverse tipologie di studi di ricerca (come gli studi sulla replicazione).