Il processo di expert review: i punti chiave del REF

Entrando nello specifico del processo di valutazione, il REF prevede che i sub panels, sotto la guida dei rispettivi main panels e sulla base dei criteri e dei metodi di lavoro da loro

83

stabiliti, esaminino in maniera dettagliata la submission12 _{dell’area di valutazione (UOA) di}

loro competenza e, sulla base delle loro conoscenze, esperienze e competenze, esprimano un giudizio (professional judgement) sulla qualità.

In particolare, il REF prevede che siano valutate tre distinti elementi di ogni submission: 1)

qualità della ricerca (Outputs), in termini di “originalità”, “significatività” e “rigore” dei

prodotti di ricerca, valutati secondo gli standard di qualità riconosciuti a livello internazionale; 2) impatto della ricerca (Impact) al di fuori dall’accademia, in termini di “portata” e “significatività” dell’impatto generato sull’economia, la società e cultura in generale sostenuto da un’eccellente ricerca condotta all’interno dell’unità di ricerca valutata, cosi come l’approccio seguito dall’unità stessa per consentire l’impatto dalla sua ricerca; 3)

ambiente di ricerca (Environment), in termini della sua “vitalità” e “sostenibilità”, incluso il

12 _{La submission comprende l’invio da parte delle Istituzioni, per ognuna delle 36 UOA, di un insieme di dati}

riguardanti il personale in servizio, i prodotti di ricerca e altri output, l’impatto della ricerca e l’ambiente di ricerca. Nello specifico, la submission deve contenere le seguenti informazioni (Assessment framework and guidance on submissions, 2012):

a) Staff details (REF1a/b/c): informazioni sul personale in servizio selezionato dalle Università per essere incluso nella submission;

b) Research outputs (REF2): dettagli dei prodotti di ricerca e di altri outputs valutabili, prodotti durante il periodo di pubblicazione. Fino a 4 prodotti (tale numero può essere ridotto in presenza di alcune circostanze previste dal REF) di ricerca possono essere presentati per ogni membro del personale in servizio incluso nella submission;

c) Impact template e case studies (REF3a/b): un modello compilato che descriva l'approccio seguito dall’unità di ricerca, durante il periodo di valutazione, per consentire/favorire l'impatto della sua ricerca; e casi di studio che descrivano esempi specifici di impatto raggiunto durante il periodo di valutazione, sostenuto da ricerca eccellente in un determinato periodo.

d) Environment data (REF4a/b/c): Dati relativi ai titoli di dottorato di ricerca assegnati ogni anno nel periodo di valutazione; e all’ammontare delle entrate (research income) per ogni anno nel periodo di valutazione.

e) Environment template (REF5): un modello compilato con informazioni riguardanti l'ambiente di ricerca, relativo al periodo di valutazione.

Ogni unità che effettua la submission può comprendere il personale che lavora all’interno di un singolo dipartimento o altre unità organizzative all’interno dell’Università, cosi come il personale che lavora in diverse unità organizzative nell’Università.

Per quanto riguarda la valutazione invece, generalmente la submission viene valutata solamente dallo specifico sub panel dell’unità di valutazione in cui è stata effettuata. Tuttavia, in alcuni casi, come per esempio nel caso di ricerca interdisciplinare o multidisciplinare, specifici prodotti di ricerca o casi di studio di una submission possono essere inviati (cross-referred) ad altri sub panel per consulenza, al fine di assicurare una loro valutazione più accurata.

84

suo contributo alla vitalità e alla sostenibilità della disciplina o della ricerca in generale (wider research base).

Inoltre, il REF prevede che i suddetti distinti elementi della ricerca vengano pesati nella valutazione complessiva come riportato nella tabella seguente:

Tabella 1: REF Profilo di valutazione, peso assegnato ai singoli elementi

Profilo di valutazione Peso 1 Qualità della ricerca 65% 2 Impatto della ricerca al di fuori dell’accademia 20% 3 Ambiente di ricerca 15%

Fonte: REF Guide (2011)

Sostanzialmente, per ogni submission i sub panels sviluppano un sotto profilo per ognuno dei tre elementi sopraelencati (qualità della ricerca, impatto e ambiente di ricerca), assegnando un giudizio basato su una scala di scala di valori che va da unclassified a 4* (four stars), che vengono combinati poi in un profilo complessivo sulla qualità (overall

quality profile)13 basato anche esso sulla seguente scala di valori:

- unclassified, qualità al di sotto degli standard riconosciuti a livello nazionale, o prodotto non riconoscibile come ricerca scientifica;

- 1* (one star) Nationally recognized - 2* (two stars) Internationally recognized - 3* (three stars) Internationally excellent - 4* (four stars) World-leading

Senza entrare nello specifico del processo di valutazione dei tre elementi della ricerca, che viene analizzato in maniera dettagliata nei paragrafi successivi in riferimento all’UOA 19 –

13 _{Nel formulare il giudizio complessivo sulla qualità di ogni submission, i sub panels devono cercare di}

85

Business and Management, vale la pena evidenziare preliminarmente alcuni aspetti chiave

del REF riguardanti tutte le discipline.

Uno dei punti chiave del REF, come si evince da quanto detto sopra, riguarda l’introduzione per la prima volta, nel calcolo del profilo di qualità dell’unità di ricerca, della dimensione impatto della ricerca al di fuori dell’accademia14 definito nel REF come “un effetto, un

cambiamento, un beneficio portato all’economia, alla società, alla cultura, alle politiche pubbliche o ai servizi, alla salute, all’ambiente o alla qualità della vita, al di fuori dell’accademia” (“an effect on, change or benefit to the economy, society, culture, public

policy or services, health, the environment or quality of life, beyond academia”)15.

Sostanzialmente, il REF fa riferimento agli effetti e ai benefici che la ricerca genera sui comportamenti, le attività, le politiche, le pratiche ecc. di una platea di beneficiari (individui, comunità, organizzazioni ecc.) in qualsiasi località geografica (locale, regionale, nazionale o internazionale). Tuttavia, vale la pena precisare che il REF non include in questa categoria di impatto né il contributo dato alla ricerca scientifica e all’avanzamento della conoscenza di una determinata disciplina (in quanto valutati negli altri elementi), né l’impatto sugli studenti, sull’insegnamento e le altre attività all’interno della singola Istituzione16_.

Dunque, in questo modo il REF britannico permette una valutazione “globale” della qualità della ricerca scientifica che tiene conto, oltre alla qualità “intrinseca” dei prodotti di ricerca, anche dell’impatto generato dalla ricerca all’esterno dell’accademia. Questo aspetto merita particolare attenzione. Di fatti, come più volte sostenuto nel presente contributo, la ricerca dovrebbe essere finalizzata non solo ad accrescere la conoscenza all’interno della scienza, ma anche a produrre degli “output” utili sia per l’intera collettività, sia per i destinatari

14 _{Vale la pena precisare che la valutazione di tale elemento è focalizzata sull’impatto generato dall’unità di}

ricerca e non quello generato dai prodotti di ricerca dei singoli ricercatori.

15 _{Qualsiasi forma di impatto che rientra nella definizione fornita dal REF è ammessa alla valutazione.} 16 _{Tuttavia, se tale impatto si estende in maniera significativa al di là della singola Istituzione, può essere}

86

principali della ricerca che, per esempio, nelle discipline economico-aziendali sono le aziende, pubbliche amministrazioni e tutto il mondo dei professionals (manager, consulenti, contabili ecc.) (Marchi, Marasca, & Giuliani, 2013). Quindi, di conseguenza, il giudizio sulla qualità non può prescindere dalla valutazione degli effetti che la ricerca produce anche al di fuori della comunità scientifica.

Con l’introduzione della dimensione “impatto esterno” della ricerca nel profilo complessivo di qualità, il REF risponde quindi alle numerose richieste provenienti sia dal mondo accademico (Donovan, 2011; Paolini & Quagli, 2013; Broadbent, 2016) che dal mondo dei

professionals in merito alla necessità di considerare nel processo di valutazione anche gli

effetti “reali” che la ricerca produce all’esterno dell’accademia, e quindi sull’intera collettività. Ciò rappresenta un aspetto chiave soprattutto per le discipline economico- aziendali, dove la letteratura (Evans, Burritt, & Guthrie, 2011; Parker, Guthrie, & Linacre, 2011; Marchi, Marasca, & Giuliani, 2013; Tucker & Lowe, 2014; Quagli, Avallone, & Ramassa, 2016) ha fin da sempre evidenziato la necessità di avvicinare la ricerca scientifica al mondo dei practitioners, e quindi la necessità di produrre ricerca utile per i soggetti a cui la stessa è destinata come le aziende, i manager e il mondo dei professionals.

Il secondo aspetto chiave del REF riguarda i criteri per la valutazione del primo e più importante elemento, ovvero la “qualità della ricerca” (Outputs).

Innanzitutto, il REF prevede che siano valutati fino a quattro17 _{prodotti di ricerca, per ogni}

membro dell’unità di ricerca, che siano stati pubblicati in un determinato periodo di tempo (nel REF 2014, il periodo è dal 01 gennaio 2008 al 31 dicembre 2013). È importante osservare che, secondo il REF, ogni output di ricerca (articoli di ricerca, capitoli di libro, report tecnici ecc.) è definibile tale solo se esso rappresenta il risultato di una ricerca definita brevemente come “un processo di investigazione che ha portato nuove conoscenze,

87

effettivamente condivise” (“a process of investigation leading to new insights, effectively

shared”) (REF, 2011, p. 21). Dunque, in sostanza, la scientificità del prodotto è un

prerequisito per la valutazione della qualità della ricerca in esso contenuta.

Altro principio fondamentale del REF è che tutti i prodotti di ricerca vengano valutati su base equa e paritaria, indipendentemente dalla loro forma o tipologia18. Tuttavia, il REF

prevede la possibilità di richiedere che determinati prodotti di ricerca (per esempio le monografie), di “estesa dimensione e portata”, vengano pesati doppio (double-weighted), ovvero considerati come due prodotti di ricerca nella valutazione.

Per quanto riguarda la metodologia valutativa, il REF basa il processo di valutazione sul metodo della peer review vietando inoltre, per tutte le aree di valutazione, l’utilizzo di

journal impact factor, ranking, liste19 _{ecc. il cui obiettivo è quello di assegnare punteggi alle}

pubblicazioni in base alla qualità della rivista su cui vengono pubblicate. Tuttavia, per quelle discipline che presentano delle caratteristiche peculiari che le distinguono dalle altre facenti parte il main panel di riferimento, il REF prevede la possibilità di utilizzare informazioni aggiuntive e/o dati citazionali per informare il processo di revisione dei pari (che rimane tuttavia il criterio fondamentale) – informed peer review, al fine di cogliere le differenze nella natura della ricerca di tali discipline. Ciononostante, in riferimento all’utilizzo dell’analisi citazionale, il REF raccomanda di tener conto del loro valore limitato per le pubblicazioni recenti, della variabilità tra le diverse discipline, della possibilità di citazioni negative e dei limiti per quei prodotti scritti in una lingua diversa dall’inglese.

18 _{Un aspetto da evidenziare riguarda i prodotti di ricerca con più autori (co-authored outputs). In particolare,}

il REF prevede che le Istituzioni assegnino tali output solamente nei confronti dei soggetti che abbiano dato un “contributo sostanziale” al prodotto e, una volta accertato il contributo dato dagli autori, i sub panels devono valutare la qualità del prodotto di ricerca piuttosto che lo specifico contributo dato dal singolo autore al prodotto. Inoltre, nella valutazione tali prodotti vengano conteggiati come singolo output nei confronti di ognuno degli autori a cui è stato assegnato. Se per esempio un prodotto di ricerca co-autorato viene assegnato a due autori all’interno della stessa submission, il livello di qualità assegnato al prodotto stesso viene contato due volte nel sotto profilo “Output”.

19 _{No sub-panel will make use of journal impact factors, rankings or lists, or the perceived standing of the}

88

La scelta di basare il processo di valutazione principalmente sulla revisione dei pari, congiuntamente alle scelte di vietare l’utilizzo di journal ranking, liste ecc., e di utilizzare l’analisi bibliometrica in determinati casi solo per informare il processo di peer review (e non per sostituirlo), è stata dettata dai risultati di uno studio pilota, condotto nel 2009, sulla fattibilità dell’utilizzo dell’analisi bibliometrica nella valutazione della ricerca nell’ambito del REF. In particolare, l’agenzia di valutazione inglese Higher Education Funding Council

for England (HEFCE) mise in risalto tutti i dubbi circa l’utilizzo degli indicatori

bibliometrici nella valutazione della ricerca scientifica, giungendo alla seguente conclusione (HEFCE, 2009):

“Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace

expert review in the Ref. However there is considerable scope for citation information to be used to inform expert review”.

“The robustness of the bibliometrics varies across the fields of research covered by the pilot,

lower levels of coverage decreasing the representativeness of the citation information. In areas where publication in journals is the main method of scholarly communication, bibliometrics are more representative of the research undertaken”.

Tale scelta da parte del REF è ampiamente supportata anche dalla letteratura scientifica, dove numerosi studi (Moed, Burger, Frankfort, & Van Raan, 1985; Figà Talamanca, 2000; Van Raan A. F., 2005; Banfi & De Nicolao, 2013; Paolini & Quagli, 2013; Gingras, 2016) hanno criticato l’utilizzo dell’analisi bibliometrica nell’ambito del processo di valutazione della qualità della ricerca di Università, dipartimenti, ricercatori ecc. (e quindi nelle decisioni per allocare fondi di ricerca, reclutare il personale docente, dare promozioni ecc.). In particolare, tali studi hanno evidenziato come il valore degli indicatori possa essere condizionato da una serie di fattori (Moed, Burger, Frankfort, & Van Raan, 1985; Marchi, Marasca, & Giuliani, 2013) che ne alternano il risultato, come per esempio le caratteristiche del settore scientifico disciplinare di riferimento (Seglen, 1997; Batista, Campiteli, & Kinouchi, 2006), le caratteristiche della rivista su cui il prodotto viene pubblicato (Bordons, Fernàndez, & Isabel, 2002; Van Raan A. F., 2005) ecc..

89

Stesso discorso vale anche per l’utilizzo dei journal ranking basati sui valori degli indicatori bibliometrici, che hanno l’obiettivo di valutare un prodotto di ricerca (il contenuto) in base alla rivista (contenitore) su cui il prodotto stesso è stato pubblicato. In particolare, oltre alle evidenze fornite dalla letteratura (Seglen, 1997; Oswald, 2007; Rafols, Leydesdorff, O'Hare, Nightingale, & Stirling, 2012; Mingers & Yang, 2017) sulle problematiche dell’utilizzo dei

journal ranking nel contesto della valutazione della ricerca, l’esperienza dell’Australia nel

2010 ha evidenziato una serie di criticità legate soprattutto alla distorsione dell’attività scientifica (cambiamenti degli interessi di ricerca, strategie di pubblicazione ecc.) conseguente all’utilizzo della classifica delle riviste. In conseguenza di ciò, nel 2011 il ministro Kim Carr annunciò l’abolizione dei journal ranking affermando quanto segue: “There is clear and consistent evidence that the rankings were being deployed

inappropriately within some quarters of the sector, in ways that could produce harmful outcomes”.