Il REF nell’UOA19 Business and Management: il profilo “Output”

Con riferimento alla prima e più importante dimensione, “qualità della ricerca” (Outputs), il

Main panel C accetta qualsiasi output che contenga ricerca originale e che rientri nei criteri

di eleggibilità previsti dal REF menzionati nel paragrafo precedente21. In particolare, i

prodotti oggetto di valutazione previsti dal REF posso essere: libri, parti di libri, articoli, artefatti fisici e digitali, artefatti temporanei, note, cataloghi, conference papers, monografie, rapporti di ricerca, prodotti che derivano da progetti commissionati dal governo, dalle aziende o altri organismi di finanziamento della ricerca, ecc. Aspetto importante da evidenziare, riguarda il fatto che il REF prevede che tali prodotti siano valutati su base equa: quindi, il giudizio sulla loro qualità viene espresso senza considerare la forma o la tipologia di prodotto analizzata.

Rimanendo nell’ambito delle caratteristiche dei prodotti di ricerca, meritano particolare attenzione il trattamento dei prodotti di ricerca con più autori (i cosiddetti co-authored

outputs) e i prodotti per cui è richiesto la valutazione doppia (double-weighted), data la loro

numerosa presenza nelle discipline economico-aziendali.

Riguardo il primo aspetto, il main panel C riconosce l’importanza delle collaborazioni tra i ricercatori, e quindi dei prodotti di ricerca co-autorati, all’interno delle UOA di sua competenza. Tali prodotti, se facenti parte la submission, devono essere assegnati nei confronti di un membro dell’unità di ricerca che abbia dato un contributo sostanziale alla produzione dell’output22_{. Una volta accertato tale contributo, la commissione di valutazione}

21 _{Si fa riferimento alla scientificità del prodotto di ricerca, che rappresenta il prerequisito per essere ammesso}

alla valutazione.

22_{Nel caso in cui un prodotto di ricerca co-autorato venga assegnato a due membri facenti parte la stessa}

unità di ricerca che effettua la submission, bisogna provare che entrambi gli autori abbiano dato un sostanziale contributo e che esso sia stato distintivo. Tuttavia, in tal caso il REF prevede che il prodotto di ricerca possa essere assegnato a un massimo di due membri dello staff facente parte l’unità di ricerca che effettua la submission.

93

valuta la qualità del prodotto nel suo complesso, senza tener conto del contributo dato dal singolo autore alla ricerca.

Per quanto riguarda invece la possibilità di pesare doppio nella valutazione (double-

weighted) alcuni prodotti di ricerca, ovvero di considerare tali prodotti come due output di

ricerca sia nella submission che nel calcolo del profilo “output”, il REF consente tale opzione solo per quegli output, al di fuori degli articoli o dei capitoli di libro, di “estesa dimensione e portata”23. Dunque, le Istituzioni devono provare che il prodotto di ricerca sia di un’estesa

dimensione e portata tale da giustificare il doppio peso. Una volta accertato ciò, la commissione di valutazione valuta separatamente la richiesta di double weighted dalla valutazione della qualità del prodotto24 (è importante specificare infatti che un output

accettato per essere valutato come doppio prodotto, non necessariamente viene valutato di qualità elevata).

La possibilità di pesare doppio alcuni prodotti di ricerca come le monografie, rappresenta un aspetto importante per le discipline economico-aziendali dove il progresso è avvenuto tradizionalmente tramite monografie che, generalmente, rappresentano il risultato finale di anni di ricerche. In questo modo infatti, il REF permette di valorizzare tali prodotti di ricerca quando di estesa portata e dimensione.

Entrando nello specifico della valutazione del profilo “Output”, la guida REF di riferimento per i sub panels prevede che la qualità di un prodotto di ricerca venga valutata in merito a 3 elementi:

23 _{Il REF prevede la possibilità per un massimo di due output, per ogni singolo membro della submission, da}

poter richiedere il double weighted. Inoltre, tale richiesta non può essere fatta per quei prodotti di ricerca co- autorati che siano stati inviati due volte nella stessa submission.

24 _{Il REF prevede la possibilità per le Istituzioni di identificare un prodotto di ricerca come “riserva” per ogni}

richiesta di double weighted, che verrà valutato solo nel caso in cui la commissione di valutazione non accetti la richiesta presentata. Se nella submission non viene incluso nessun output di riserva e la richiesta di doppio peso non viene accettata dalla commissione di valutazione, l’output mancante viene valutato come “non classificato”.

94

1) “originalità” (originality), consistente nel carattere innovativo del prodotto di ricerca con riferimento al problema affrontato, ai metodi, alle metodologie e alle tecniche analitiche adottate, al materiale empirico esaminato, agli avanzamenti nella teoria o nell’analisi della dottrina, policy o prassi;

2) “significatività” (significance), in termini del contributo dato dal prodotto di ricerca allo sviluppo dell’agenda di ricerca del settore o disciplina, che può essere teorico, metodologico e/o concreto, sia attuale che potenziale;

3) “rigore” (rigour), in termini di precisione intellettuale, robustezza e appropriatezza dei concetti, delle analisi, delle metodologie e delle teorie impiegate nel prodotto di ricerca. Inoltre, vengono prese in considerazione qualità come l'integrità, la coerenza e la consistenza degli argomenti e delle analisi, come per esempio la considerazione delle questioni etiche.

Sulla base della valutazione dei suddetti elementi, la commissione di valutazione deve assegnare un giudizio sulla qualità del prodotto di ricerca basato su una scala di valori riportata nella Tabella 3 di seguito25.

Come anticipato nel paragrafo precedente, nell’ambito della valutazione del primo profilo di qualità il REF vieta l’utilizzo di journal impact factor, ranking, liste ecc. (“No sub-panel

will make use of journal impact factors, rankings or lists, or the perceived standing of the publisher, in assessing the quality of research outputs”). Inoltre, pur prevedendo in alcuni

casi la possibilità da parte dei panel di utilizzare i dati citazionali per informare il processo di revisione dei pari, per l’area di valutazione 19 Business and management il REF vieta espressamente anche l’utilizzo dei dati bibliometrici (“Sub-panels 16, 17, 19, 20, 21, 22, 23,

25 _{Nello specifico, la formazione di tale profilo di qualità (output sub-profile) avviene calcolando la percentuale}

dei prodotti di ricerca, appartenenti a una submission, che sono stati assegnati ad ogni livello di qualità, con ogni prodotto di ricerca che contribuisce in maniera uguale alla formazione del sotto profilo.

95

24, 25 and 26 will neither receive nor make use of citation data, or any other form of

bibliometric analysis including journal impact factors”).

Tabella 3: Outputs sub profile: criteri e definizione dei 4 livelli

Categoria Descrizione dei 4 livelli Caratteristiche del prodotto di ricerca

4 stelle

"quality that is world-leading in terms of originality, significance and

rigour"

 novità fuori dal comune nello sviluppo di concetti, tecniche o risultati;

 il prodotto costituisce o costituirà punto di riferimento per la disciplina;

 influenza rilevante sull’agenda di un tema di ricerca o della disciplina;

 eccezionale rigore metodologico e applicazione di tecniche di investigazione e analisi, e dei più elevati standard di precisione intellettuale;

 creazione di un data set o di una risorsa per la ricerca, di straordinaria importanza, che costituisce una fonte per la ricerca futura.

3 stelle

"quality that is internationally excellent in terms of originality, significance and rigour but which falls short of the highest standards of

excellence"

 il prodotto costituisce un importante punto di riferimento per la disciplina;

 il prodotto fornisce importanti conoscenze, idee e tecniche che avranno un'influenza duratura;

 applicazione di metodologie, tecniche di investigazione e analisi robuste e appropriate, con precisione intellettuale;

 creazione di un sostanziale, coerente e ampiamente ammirato data set o risorsa per la ricerca

2 stelle

"quality that is recognised internationally in terms of originality, significance and rigour"

 il prodotto fornisce conoscenze valide per la disciplina e per l’applicazione di tali conoscenze;

 il prodotto contribuisce a incrementare e ad accumulare conoscenza nella disciplina;

 applicazione professionale ed accurata di metodi di ricerca, tecniche di investigazione e analisi appropriate.

1 stella

"quality that is recognised nationally in terms of originality, significance

and rigour"

 il prodotto fornisce conoscenze utili, ma con influenza minore nella disciplina;

 contributo identificabile, ma largamente inquadrabile nei paradigmi esistenti;

 applicazione competente di metodi di ricerca, tecniche di investigazione e analisi appropriate.

non classificato

"quality that falls below the standard of nationally recognised work. Or

work which does not meet the published definition of research for

the purposes of this assessment"

Il prodotto non rientra nella definizione di ricerca applicata nel REF, o presenta un livello di qualità inferiore rispetto ai livelli sopraindicati.

96

Dunque, sostanzialmente, il processo di valutazione della qualità dei prodotti di ricerca dell’area di valutazione 19 è basato essenzialmente sulla peer review.

Le considerazioni svolte nel paragrafo precedente in merito al divieto previsto nel REF di utilizzare ranking e analisi bibliometrica nella valutazione della ricerca, valgono in particolar modo per le discipline economico- aziendali dove, date le peculiarità dovute al modo di fare ricerca, allo stile citazionale e alla comunicazione della ricerca (tramite monografie, contributi in volume ecc., in aggiunta ai contributi su riviste scientifiche), l’analisi bibliometrica e i journal ranking si prestano con difficoltà ad essere utilizzati per rappresentare adeguatamente la qualità dei prodotti di ricerca (Marchi, Marasca, & Giuliani, 2013; Paolini & Quagli, 2013).

Dunque, come evidenziato all’inizio del paragrafo, il REF tiene conto delle peculiarità della disciplina nella scelta dei criteri di valutazione.