La valutazione della ricerca nelle discipline economico-aziendali: alcune proposte

Sulla base delle riflessioni critiche svolte nei paragrafi precedenti, l’obiettivo di quest’ultimo paragrafo è quello di avanzare alcune proposte in merito alla valutazione della ricerca nelle discipline economico-aziendali.

Il primo aspetto da analizzare riguarda l’oggetto della valutazione la cui definizione, come più volte sostenuto nel presente contributo, è necessaria al fine della selezione del criterio valutativo più adeguato. Di fatti, solo una volta definito l’oggetto della valutazione si è in grado di poter scegliere il criterio e la metodologia più adatta per valutarlo.

L’analisi svolta nei paragrafi precedenti, ha evidenziato delle divergenze tra i due sistemi in merito alla definizione dell’oggetto della valutazione. Nello specifico, mentre nel REF l’oggetto della valutazione è costituito da tre distinti elementi, ovvero il profilo di qualità dei prodotti di ricerca (in termini di originalità, rigore metodologico e significatività), l’impatto della ricerca all’esterno della comunità scientifica e la qualità dell’ambiente di ricerca, nella VQR l’oggetto della valutazione è costituito da soli due elementi, ossia il profilo di qualità dei prodotti di ricerca e il profilo di competitività dell’ambiente di ricerca. Dunque, al contrario del REF britannico, nella VQR la dimensione impatto della ricerca all’esterno dell’accademia non viene considerata nel calcolo del profilo di qualità complessivo dell’unità di ricerca valutata, e quindi non concorre alla determinazione degli indicatori per la allocazione della quota premiale del FFO.

Nel presente contributo, è stato evidenziato come tale scelta possa contribuire ad aumentare il rischio di far allontanare il ricercatore aziendalista dal fine ultimo della ricerca nelle discipline economico-aziendali, ovvero offrire un contributo alle aziende, al mondo dei

professionals e alla società in generale. Di fatti, nell’attuale configurazione della VQR la

tendenza è quella di premiare maggiormente coloro che pubblicano su riviste scientifiche considerate “top”, dove i prodotti di ricerca sono considerati di alta qualità, a discapito di

149

coloro che pubblicano su riviste di fascia media, o comunque attraverso altre forme come le monografie, contributi in volume ecc., ma che comunque offrono un contributo anche potenziale alle aziende, alla prassi professionale, al territorio ecc.

Pur riconoscendo la difficoltà di catturare tale dimensione della ricerca, in particolar modo per le discipline economico-aziendali, il presente studio sostiene la necessità di far rientrare anche l’impatto della ricerca al di fuori dell’accademia all’interno del calcolo del profilo complessivo di qualità, in quanto il giudizio sulla qualità non può prescindere dalla valutazione degli effetti che la ricerca produce anche al di fuori della comunità scientifica. L’obiettivo ultimo della ricerca scientifica è produrre conoscenza in grado di generare benefici per l’intera collettività. Di conseguenza, la sua valutazione dovrebbe essere finalizzata non solo a verificarne la sua qualità intrinseca e l’impatto all’interno della comunità scientifica di riferimento, ma soprattutto l’impatto da essa prodotto all’esterno in termini di benefici generati sia per l’intera collettività, sia per i destinatari principali della ricerca, che per le discipline economico-aziendali sono rappresentati dalle aziende e tutto il mondo dei professionals (manager, consulenti, ecc.).

Dunque, d’accordo con la scelta del REF, si suggerisce di introdurre anche la dimensione impatto all’esterno dell’accademia nel calcolo del profilo complessivo della qualità. L’obiettivo deve essere quello di incentivare i ricercatori a produrre ricerca “utile” per i cosiddetti utenti della ricerca, e più in generale per l’intera collettività, al fine di alimentare quel circolo virtuoso tra teoria e prassi che nelle discipline economico-aziendale è fondamentale.

Al fine di catturare tale dimensione, il presente studio propone alcune considerazioni in merito. Innanzitutto, come avviene nel REF, si sostiene la necessità di coinvolgere all’interno dei gruppi di esperti della valutazione anche i cosiddetti utenti della ricerca in aggiunta agli accademici. Nella VQR per esempio, allo stato attuale i GEV sono composti

150

esclusivamente da soggetti appartenenti al mondo accademico scelti per lo più in base al loro “profilo bibliometrico”. Se da un lato ciò può permettere di scegliere soggetti in grado di valutare, con molta probabilità, adeguatamente la qualità intrinseca dei prodotti di ricerca, dall’altro lato non consente di catturare l’”utilità” della ricerca e quindi il suo impatto esterno.

Per questo motivo, ciò che si vuole evidenziare è la necessità di coinvolgere nel processo di valutazione anche i cosiddetti utenti primari della ricerca, che nelle discipline economico- aziendali sono i manager, i consulenti e tutti gli altri soggetti che ricoprono cariche importanti all’interno di aziende sia pubbliche che private. Quest’ultimi infatti, sono i soggetti in grado di giudicare se una ricerca può essere “utile” o meno.

Inoltre, il presente studio suggerisce di allargare la tipologia di prodotti di ricerca ammessi alla valutazione e di valutare la loro qualità indipendentemente dalla loro collazione nei

journal ranking. In particolare, si fa riferimento ai cosiddetti report tecnici o articoli

pubblicati sulle cosiddette riviste professionali, come per esempio i report di ricerca commissionati dagli organi del governo (per esempio il Ministero dell’economia e delle finanze), dalle agenzie e autorità sia nazionali che internazionali (per esempio Banca d’Italia, Banca Centrale Europea, Fondo Monetario Internazionale), associazioni (per esempio l’Istituto degli Internal Auditors) ecc., che nelle discipline economico-aziendali ricoprono un ruolo fondamentale e spesso hanno rilevanza per la comunità dei professionals, in quanto spesso forniscono un contributo alla formulazione di politiche, alla diffusione di buone pratiche professionali ecc.

Nella VQR per esempio, tali prodotti allo stato attuale vengono etichettati come ricerca di natura tecnica, di consulenza e quindi considerati di scarsa qualità rispetto agli articoli pubblicati sulle riviste scientifiche. Ciò, di conseguenza scoraggia il ricercatore nell’affrontare alcuni temi non considerati mainstream dalle riviste internazionali, ma che

151

tuttavia risultano essere rilevanti per la disciplina e più in generale per un Paese. Al contrario, data la rilevanza per le discipline economico-aziendali, tali prodotti devono essere valorizzati.

Infine, si ritiene necessario introdurre ulteriori misure che tengano conto dell’impatto esterno della ricerca, riguardanti per esempio il contributo della ricerca dato alla formazione delle politiche, alla diffusione di buone pratiche professionali, i ricavi derivanti dalla commercializzazione degli output della ricerca e così via. L’utilizzo del case study previsto nel REF rappresenta un primo passo importante verso la definizione di una metodologia di valutazione dell’impatto della ricerca all’esterno della comunità scientifica; tuttavia, lo strumento del case study presenta delle criticità e dei limiti dovuti all’approccio semplicistico e di natura descrittiva di valutazione dell’impatto. A tal fine, possono risultare utili alcuni degli indicatori già previsti dall’ANVUR nell’ambito della valutazione della terza missione, allo scopo di fornire una base informativa ampia e comparabile per la valutazione dell’impatto “esterno” generato.

Per quanto riguarda invece i criteri adottati nel processo di valutazione, che rappresentano l’oggetto di studio primario del presente contributo, occorre anzitutto proporre qualche riflessione in merito alla collocazione delle discipline economico-aziendali nell’ambito delle scienze sociali, in quanto ciò si ripercuote sulla scelta del criterio valutativo. Per esempio, come evidenziato nei paragrafi precedenti, nel REF le discipline economico-aziendali sono separate da quelle economico e statistiche e, di conseguenza, diversi sono i criteri valutativi adottati. In particolare, mentre nelle discipline economico-statistiche è previsto l’utilizzo dell’analisi bibliometrica in determinate circostanza per informare il processo di expert

review, nelle discipline economico-aziendali l’utilizzo dell’analisi bibliometrica è vietato.

Al contrario, la VQR include le discipline economico-aziendali nell’Area 13 - Scienze economico e statistiche prevedendo, di conseguenza, lo stesso criterio di valutazione adottato

152

per le discipline economico-statistiche, incentrato in particolar modo sull’analisi bibliometrica

Il presente studio ha evidenziato come le discipline economico-aziendali presentino degli elementi di peculiarità rispetto ad altre discipline come quelle economico-statistiche, dovute per esempio al modo di pubblicare, allo stile citazionale ecc., che ne delineano il suo carattere non bibliometrico. Di conseguenza, tali peculiarità richiedono un approccio differente per essere catturati, in quanto alcuni criteri come gli indicatori bibliometrici non permettono una rappresentazione adeguata della qualità della ricerca di tali discipline. Per questo motivo, si sottolinea la necessità di tenere separate le discipline economico-aziendali da quelle economico-statistiche. Per esempio nella VQR, dove tale separazione non avviene, si supporta la richiesta avanzata da parte di AIDEA (Accademia Italiana di Economia Aziendale) e dalle Società Scientifiche di area aziendale (ADEIMF, AISME, ASSIOA, SIDREA, SIM, SIMA e SISR) di definire un GEV di area aziendale autonomo all’interno dell’Area 13, al fine di assicurare una maggiore valorizzazione delle peculiarità metodologiche e culturali delle discipline economico-aziendali, che ne definiscono il carattere non bibliometrico rispetto alle discipline economico-statistiche.

Come evidenziato più volte nel presente contributo, l’analisi bibliometrica si presta con difficoltà ad essere utilizzata per rappresentare adeguatamente la qualità e/o l’impatto di un prodotto di ricerca o di un ricercatore in discipline, come quelle economico-aziendali, ancora fortemente orientate a pubblicare in lingua nazionale, attraverso le monografie o comunque in modi che non consentono una rilevazione accurata delle citazioni, e che spesso hanno per oggetto di studio argomenti d’interesse tipicamente locale. Tuttavia, questo non significa che l’analisi bibliometrica debba essere vietata nella valutazione della ricerca nelle discipline economico-aziendali, ma sottolinea la necessità di tener conto dei suoi limiti, soprattutto quando usata come unico criterio di valutazione. Di fatti, se usata correttamente e in

153

combinazione con altre metodologie come la revisione dei pari, l’analisi bibliometrica può offrire diversi vantaggi.

Sulla base di tali considerazioni, nell’ambito della valutazione della ricerca nelle discipline economico-aziendali, si suggerisce di incentivare un maggior utilizzo della revisione dei pari informata (informed peer review) rispetto all’analisi bibliometrica, al fine di assicurare un maggiore riconoscimento delle peculiarità metodologiche e culturali delle discipline economico-aziendali e, di conseguenza, pervenire a una valutazione più accurata della ricerca.

L’utilizzo dell’informed peer review potrebbe portare una serie di benefici derivanti dallo sfruttamento dei punti di forza di entrambe le metodologie e alla conseguente compensazione dei loro limiti. In particolare, l’utilizzo della peer review consentirebbe una valutazione accurata da parte di soggetti in grado di saper determinare la qualità di un prodotto di ricerca e coglierne i suoi elementi chiavi, ovvero originalità, rilevanza, rigore metodologico e, soprattutto, l’impatto per gli utenti della ricerca (azienda, pubbliche amministrazioni, istituzioni finanziarie, manager ecc.). Inoltre, la peer review consentirebbe di valutare adeguatamente, e quindi valorizzare, anche quei prodotti come le monografie, articoli su riviste professionali, o ancora tutti quei contributi che affrontano tematiche di carattere nazionale e quindi scritti in una lingua diversa dall’inglese, la cui qualità difficilmente viene catturata adeguatamente dall’analisi bibliometrica, ma che invece nelle discipline economico-aziendali rivestono un ruolo chiave, in quanto molto spesso offrono un contributo importante alla prassi professionale. In aggiunta, l’utilizzo dell’analisi bibliometrica, nell’ambito della revisione dei pari, potrebbe fornire informazioni aggiuntive e oggettive su un prodotto di ricerca, utili ai revisori nell’esprimere il giudizio sulla sua qualità e, in particolar modo, sul suo impatto all’interno della comunità scientifica. Inoltre,

154

l’utilizzo di una base dati oggettiva sulla qualità di un prodotto di ricerca, consentirebbe di eliminare uno dei principali limiti della revisione dei pari, ovvero la soggettività del giudizio. Dunque, così facendo, ovvero combinando i vantaggi di entrambe le metodologie, si riuscirebbe quindi ad assicurare una valutazione più adeguata della qualità dei prodotti di ricerca delle discipline economico-aziendali. Inoltre, l’utilizzo congiunto di entrambe le metodologie permetterebbe una valutazione della qualità globale di un prodotto di ricerca, ovvero che tenga conto sia della sua qualità intrinseca, sia del suo impatto all’interno e all’esterno della comunità scientifica.

Come evidenziato nel capitolo 3 del presente contributo, in letteratura numerosi studiosi (Butler, 2007; Donovan, 2007; Moed H. F., 2007; Derrick & Pavone, 2013) hanno promosso l’utilizzo dell’informed peer review, evidenziando i diversi benefici che si avrebbero dall’utilizzo congiunto della peer review con l’analisi bibliometrica. Lo stesso REF, nonostante sostenga l’impossibilità di sostituire la peer review con l’analisi bibliometrica, ne sottolinea tuttavia l’utilità come strumento di supporto alla revisione dei pari: “there is

considerable scope for citation information to be used to inform expert review”.

Per esempio, fornendo informazioni oggettive, verificate e sistematiche sulla qualità del prodotto di ricerca o dell’attività del ricercatore, l’utilizzo dell’analisi bibliometrica potrebbe rappresentare un ottimo strumento per rendere la revisione dei pari un processo più esplicito, onesto e trasparente. Inoltre, come sostenuto da Derrik e Pavone (2013), l’utilizzo degli indicatori bibliometrici nell’ambito del processo di revisione potrebbe ampliare la platea dei revisori in quanto, fornendo informazioni oggettive sulla qualità e impatto di un lavoro scientifico, permetterebbe anche ai soggetti esterni alla comunità scientifica di poter partecipare nel processo di valutazione.

Dunque, nella definizione del processo di valutazione della ricerca nelle discipline economico-aziendali, si sottolinea la necessità di porre un limite all’utilizzo esclusivo

155

dell’analisi bibliometrica, che dovrebbe essere utilizzata invece come strumento di supporto alla revisione dei pari, incentivando quindi un maggior utilizzo dell’informed peer review al fine di giungere a un sistema di valutazione adeguato a cogliere le peculiarità della disciplina.

156

Conclusioni

Il tema della valutazione della ricerca scientifica ha assunto negli ultimi anni un ruolo centrale sia all’interno del mondo accademico, sia nelle agende politiche di numerosi Paesi. Soprattutto in Europa il tema è divenuto centrale in relazione all’efficiente allocazione delle risorse pubbliche, che in molti Paesi Europei rappresentano la principale fonte di finanziamento dell’Università, in conseguenza del crescente divario tra le disponibilità finanziarie delle amministrazioni pubbliche, in evidente declino, e i costi della ricerca, in progressivo aumento. Dunque, si è assistito a una maggiore attenzione da parte dei governi sul rapporto costi/benefici della ricerca.

È in un tale contesto che la valutazione della ricerca ricopre un ruolo critico, in quanto necessaria ai fini dell’efficiente allocazione delle risorse pubbliche, scarse, alle varie Università, Enti di ricerca, Dipartimenti, gruppi di ricerca ecc. alternativi più performanti in termini di qualità della ricerca. Di fatti, l’obiettivo della valutazione è quello di ricavare una serie di informazioni fondamentali, necessarie sia per gli organi di governo delle Università (per esempio l’ANVUR) ai fini dell’assegnazione dei fondi per la ricerca tra le varie Università e Enti di ricerca, sia per le Università stesse ai fini della selezione o progressioni di carriera del personale, e dell’allocazione delle risorse tra i gruppi di ricerca ecc.

Nel presente lavoro sono stati messi in risalto i due aspetti principali del processo di valutazione della ricerca, ovvero i criteri valutativi e l’oggetto della valutazione.

Partendo dall’oggetto della valutazione, la definizione esaustiva fornita da Marchi et al. (2013) di valutazione della ricerca evidenzia innanzitutto la natura complessa e multidimensionale del concetto di qualità della ricerca, che rappresenta l’oggetto della valutazione. In particolare, ciò che è emerso è la necessità di includere nel processo di

157

valutazione sia la qualità intrinseca dei prodotti di ricerca, in termini di originalità, significatività e rigore, sia l’impatto che la ricerca produce nei confronti della comunità. Quest’ultimo, fa riferimento agli effetti che la ricerca produce sia nei confronti della comunità scientifica, in termini di progresso della scienza, sia al di fuori dell’accademia e quindi, in senso più ampio, in termini di conseguenze sociali, culturali, ambientali ed economiche che da essa derivano.

Riguardo i criteri della valutazione, sono state discusse le due principali metodologie utilizzate nell’ambito degli esercizi nazionali di valutazione della ricerca, ovvero la revisione dei pari (peer review) e l’analisi bibliometrica, evidenziando i punti di forza e di debolezza di entrambi. In particolare, è stato messo in evidenzia come la revisione dei pari assicuri una valutazione accurata e dettagliata della qualità dei prodotti di ricerca in quanto effettuata da un gruppo di esperti - i cosiddetti “pari” (peer). Tali soggetti, essendo dotati di determinate conoscenze e esperienze, sono considerati pari rispetto a colui che ha prodotto il lavoro scientifico, e quindi capaci di giudicarne la sua qualità. Tuttavia, la revisione dei pari soffre di una serie di criticità legate alla mancanza di affidabilità, dovuta alla natura soggettiva del giudizio espresso dal gruppo di esperti, e al fatto che risulta essere molto costosa e lenta da effettuare.

Al contrario, rispetto alla revisione dei pari, l’analisi bibliometrica offre numerosi vantaggi riguardanti soprattutto i costi limitati e i tempi ridotti per effettuare la valutazione, così come la possibilità di avere misurazioni oggettive con esiti verificabili e trasparenti. Tuttavia, anche l’analisi bibliometrica soffre di una serie di criticità dovute principalmente alla difficoltà di racchiudere in un unico numero il concetto complesso di qualità della ricerca. In particolare, è stato messo in evidenza come il valore degli indicatori risenta fortemente di una serie di fattori, tra cui le caratteristiche del settore scientifico disciplinare di riferimento,

158

come per esempio le differenti abitudini a pubblicare, lo stile citazionale e le forme di comunicazione della ricerca.

Sulla base di tali considerazioni, il presente contributo ha affrontato il tema della valutazione della ricerca scientifica nell’ambito delle discipline economico-aziendali. Soprattutto in Italia, il tema ha attirato l’attenzione di numerosi studiosi aziendalisti a seguito della riforma dell’Università del 2010 che ha introdotto gli indicatori bibliometrici come criterio per la valutazione della qualità dei prodotti di ricercanelle cosiddette aree non bibliometriche, tra cui le discipline economico-aziendali. Nello specifico, si è assistito all’introduzione di strumenti mal disegnati e non sperimentati in discipline come quelle economico-aziendali, ignorando completamente il dibattito internazionale in materia, dove l’utilizzo degli indicatori bibliometrici in tali discipline è stato fortemente criticato.

Nell’affrontare il tema, l’obiettivo del presente contributo è stato quello di proporre delle riflessioni critiche sugli attuali criteri di valutazione della ricerca scientifica (analisi bibliometrica e peer review) utilizzati nell’ambito delle discipline economico-aziendali, al fine di avanzare delle proposte utili a definire un processo di valutazione della ricerca adeguato alle peculiarità della disciplina. Inoltre, sono state avanzate delle proposte in merito anche all’oggetto della valutazione, la cui definizione è necessaria ai fini della scelta del criterio valutativo più adeguato.

A tal fine, il presente studio ha effettuato una comparazione tra l’esercizio nazionale di Valutazione della Qualità della Ricerca (VQR) adottato in Italia con il Research Excellence

Framework (REF) adottato nel Regno Unito, con l’obiettivo di individuare le diverse

modalità di implementazione dell’analisi bibliometrica e della peer review nell’ambito delle discipline economico-aziendali nei due sistemi di valutazione. La scelta del REF britannico come benchmark, è stata dettata da un duplice motivo: da un lato, tale sistema risulta essere in qualche modo simile a quello italiano in quanto incentrato su una valutazione della ricerca

159

periodica e ad ampio raggio, pur presentando tuttavia delle differenze significative; dall’altro lato, la valutazione della ricerca nel Regno Unito è ormai prassi consolidata, il cui elevato livello di qualità è ampiamente riconosciuto e cui la stessa esperienza dell’ANVUR s’ispira. Partendo dalla definizione dell’oggetto della valutazione, l’analisi effettuata mostra delle differenze tra i due sistemi. In particolare, mentre il REF consente una valutazione “globale” della qualità della ricerca, ovvero che tiene conto sia della qualità intrinseca dei prodotti di ricerca (in termini di originalità, significatività e rigore), sia dell’impatto che la ricerca stessa genera al di fuori dell’accademia (e quindiin termini di benefici portati all’economia, alla società e in generale all’intera collettività), la VQR consente di catturare solo una delle dimensioni del concetto di qualità. In particolare, la VQR consente di valutare solo la qualità