4. L’applicazione dell’analisi bibliometrica e della peer review nell’ambito degli eserciz
4.2. Il sistema della valutazione della ricerca in Italia: la VQR
4.2.3. La VQR nell’ambito delle Scienze Economiche e Statistiche (Area 13)
Nell’ambito della VQR, le discipline economico-aziendali rientrano nell’AREA 13 “Scienze Economiche e Statistiche”, che raccoglie 19 settori scientifico – disciplinari (SSD), tra loro diversi, come riportate nella tabella seguente.
Tabella 11: Settori scientifico-disciplinari (SSD) di riferimento dell’Area 13
AREA 13 – Scienze Economiche e Statistiche
Settori scientifico-disciplinari (SSD) di riferimento
SECS/P01 Economia Politica SECS/P02 Politica Economica SECS/P03 Scienza delle Finanze SECS/P04 Storia del pensiero economico SECS/P05 Econometria
SECS/P06 Economia applicata SECS/P07 Economia aziendale SECS/P08 Economia e gestione delle imprese SECS/P09 Finanza aziendale SECS/P10 Organizzazione aziendale SECS/P11 Economia degli intermediari finanziari SECS/P12 Storia economica
SECS/P13 Scienze merceologiche SECS/S01 Statistica
SECS/S02 Statistica per la ricerca sperimentale e tecnologica SECS/S03 Statistica economica
SECS/S04 Demografia SECS/S05 Statistica sociale
SECS/S06 Metodi matematici dell’economia e delle scienze attuariali e finanziarie
Fonte: VQR (2011-2014), Criteri GEV 13
Data l’eterogeneità delle diverse discipline all’interno dell’Area 13, il Gruppo di Esperti della Valutazione di tale Area (GEV13) è stato suddiviso in diversi Sub – GEV, ognuno
136
responsabile dell’area di ricerca di sua competenza. In particolare, il Sub – GEV “Economia aziendale” comprende le seguenti aree di ricerca (ANVUR, 2015d):
- SECS/P07 – Economia aziendale,
- SECS/P08 – Economia e gestione delle imprese, - SECS/P09 – Finanza aziendale,
- SECS/P10 – Organizzazione aziendale,
- SECS/P11 – Economia degli intermediari finanziari, - SECS/P13 – Scienze merceologiche.
Nonostante la costituzione del sub-GEV “Economia aziendale” all’interno dell’Area 13, in Italia la separazione tra le discipline economico-aziendali e quelle economico-statistiche non avviene. In particolare, la VQR prevede l’applicazione degli stessi criteri di valutazione, incentrati in particolar modo sull’analisi bibliometrica, sia per le discipline economico- aziendali che per quelle economico – statistiche.
Dunque, ciò che emerge da un primo confronto tra la VQR e il REF britannico, è la maggiore attenzione da parte del REF a quelle che sono le caratteristiche peculiari delle discipline economico-aziendali, in cui la comunicazione della ricerca avviene tramite diverse tipologie di prodotti di ricerca come le monografie, i contributi su riviste scientifiche, i capitoli di libro ecc., scritti sia in lingua italiana che in lingua inglese, che ne definiscono il carattere non bibliometrico rispetto alle discipline economico-statistiche.
Per quanto riguarda il processo di valutazione della qualità dei prodotti di ricerca53 dell’Area
13, i criteri adottati dal GEV 13 prevedono l’utilizzo in combinazione del metodo della revisione dei pari e dell’analisi bibliometrica.
53 L’attribuzione dei prodotti di ricerca al GEV si basa sul SSD dell’addetto, tuttavia, il GEV stesso può decidere,
sulla base dell’indicazione del SSD contenuta nella scheda prodotto, di attribuire il prodotto ad un altro GEV qualora riscontri che il contenuto sia ad esso più appropriato; in questo caso, la valutazione del prodotto si baserà sui criteri del GEV di destinazione.Mentre, l’attribuzione dei prodotti di ricerca ai componenti del GEV (o subGEV) incaricati di gestire la loro valutazione sarà effettuata sulla base del SSD indicato dall’autore nella scheda prodotto.
137
Nello specifico, uno dei metodi di valutazione previsti dal GEV 13 è la peer review affidata a due revisori esterni54, scelti indipendentemente da due membri del GEV a cui il prodotto è
stato inizialmente attribuito. I revisori esterni (sia italiani che stranieri) sono scelti tra gli studiosi e gli specialisti più autorevoli e scientificamente qualificati delle discipline cui appartengono i prodotti di ricerca da esaminare e scientificamente attivi nel periodo della VQR.
La valutazione di ciascun prodotto di ricerca consiste nella sua attribuzione ad una delle 5 classi di merito, definite nella Tabella 12, sulla base dei tre seguenti criteri di valutazione:
originalità, da intendersi come il livello a cui il prodotto introduce un nuovo modo di pensare in relazione all’oggetto scientifico della ricerca, e si distingue così in modo significativo da precedenti lavori sullo stesso argomento, ponendo nuove domande, e/o proponendo nuove risposte, e/o utilizzando nuovi dati o metodologie;
rigore metodologico, da intendersi come il livello di chiarezza con cui il prodotto presenta gli obiettivi della ricerca e lo stato dell’arte nella letteratura, adotta una metodologia appropriata rispetto all’oggetto di ricerca e dimostra che gli obiettivi sono stati raggiunti;
impatto attestato o potenziale nella comunità scientifica internazionale di riferimento, da intendersi come il livello al quale il prodotto ha esercitato – o è presumibile eserciti in futuro – un’influenza teorica e/o empirica su tale comunità, come verificabile anche da quanto il prodotto viene citato o recensito da altri ricercatori.
Riguardo la tipologia dei prodotti di ricerca da valutare, oltre ai prodotti non valutabili specificati nel Bando VQR, il GEV 13 non considera valutabili neanche i working paper (o discussion paper, o prodotti equivalenti) in quanto, essendo tali prodotti destinati a una futura pubblicazione, saranno sottoposti a un successivo esercizio di valutazione.
54 Mantenuti anonimi sia nella fase di predisposizione dell’elenco dei revisori, che nella fase operativa di
138
Tabella 12: Classi di merito GEV 13
Classi di
merito Peso Descrizione
Eccellente 1
La pubblicazione raggiunge i massimi livelli in termini di originalità e rigore metodologico, e ha conseguito – o è presumibile che consegua – un forte impatto nella comunità scientifica di riferimento, a livello internazionale e/o nazionale. Idealmente, quindi indipendentemente dalla ripartizione percentuale empirica che risulterà dagli esiti finali della valutazione complessiva, il prodotto si dovrebbe collocare nel primo 10% della distribuzione della produzione scientifica internazionale dell’area cui appartiene.
Elevato 0,7
La pubblicazione raggiunge buoni livelli in termini di originalità e rigore metodologico, e ha conseguito – o è presumibile che consegua – un impatto significativo nella comunità scientifica di riferimento, a livello internazionale e/o nazionale. Idealmente, quindi indipendentemente dalla ripartizione percentuale empirica che risulterà dagli esiti finali della valutazione complessiva, il prodotto si dovrebbe collocare nel successivo segmento 10-30% della distribuzione della produzione scientifica internazionale dell’area cui appartiene.
Discreto 0,4
La pubblicazione raggiunge discreti livelli in termini di originalità e rigore metodologico, e ha conseguito – o è presumibile che consegua – un apprezzabile impatto nella comunità scientifica di riferimento, a livello internazionale e/o nazionale. Idealmente, quindi indipendentemente dalla ripartizione percentuale empirica che risulterà dagli esiti finali della valutazione complessiva, il prodotto si dovrebbe collocare nel successivo segmento 30-50% della distribuzione della produzione scientifica internazionale dell’area cui appartiene.
Accettabile 0,1
La pubblicazione raggiunge livelli sufficienti in termini di originalità e rigore metodologico, e ha conseguito – o è presumibile che consegua – un impatto circoscritto nella comunità scientifica di riferimento, a livello internazionale e/o nazionale. Idealmente, quindi indipendentemente dalla ripartizione percentuale empirica che risulterà dagli esiti finali della valutazione complessiva, il prodotto si dovrebbe collocare nel successivo segmento 50-80% della distribuzione della produzione scientifica internazionale dell’area cui appartiene.
Limitato 0
La pubblicazione raggiunge scarsi livelli in termini di originalità e rigore metodologico, e ha conseguito – o è presumibile che consegua – un impatto molto limitato nella comunità scientifica di riferimento, a livello internazionale e/o nazionale. Idealmente, quindi indipendentemente dalla ripartizione percentuale empirica che risulterà dagli esiti finali della valutazione complessiva, il prodotto si dovrebbe collocare nel segmento inferiore, corrispondente al segmento 80%-100%, della distribuzione della produzione scientifica internazionale dell’area cui appartiene.
Fonte: VQR (2011-2014), bando di partecipazione
In particolare, la valutazione tramite peer review si basa su un’apposita scheda revisore in cui il revisore assegna un punteggio (da 1 a 10) per ognuno dei tre criteri di valutazione (originalità, rigore metodologico e impatto attestato o potenziale) stabiliti dall’ANVUR. La somma di tali punteggi conduce poi all’assegnazione del prodotto a una delle classe di merito suddette, sulla base delle corrispondenze illustrate nella Tabella 1355. Tuttavia, va
55 Nel caso di valutazioni non convergenti dei revisori, è prevista la creazione all’interno del Sub-GEV di
riferimento di un Gruppo di Consenso con il compito di proporre al GEV il punteggio finale del prodotto oggetto della valutazione, mediante la metodologia del consensus report. Inoltre, è previso anche che il
139
evidenziato che l’attribuzione finale del prodotto ad una classe di merito viene stabilita dal GEV, che ha la responsabilità finale della valutazione, tenendo conto sia della valutazione
peer che, se disponibile, dell’analisi bibliometrica.
Tabella 13: Corrispondenza tra punteggi e classi di merito
Classe di merito Punteggio singolo criterio Somma punteggi dei 3 criteri Soglie Soglie Eccellente 10 27 – 30 Elevato 8 – 9 22 – 26 Discreto 6 – 7 16 – 21 Accettabile 3 – 5 8 – 15 Limitato 1 – 2 3 – 7
Fonte: VQR (2011-2014) Appendice D – Scheda di valutazione e linee guida per i revisori
In aggiunta alla peer review affidata a revisori esterni, i criteri del GEV 13 prevedono inoltre la valutazione diretta da parte del GEV stesso che, in presenza delle competenze e delle condizioni di assenza di conflitti di interesse, svolge una peer review interna (ovvero coinvolgendo due membri del GEV) secondo le stesse modalità di svolgimento della peer
review affidata ai revisori esterni, come sopra descritto.
L’altro metodo di valutazione previsto dal GEV 13 è l’analisi bibliometrica56, effettuata
utilizzando specifici indicatori e algoritmi. In particolare, l’analisi bibliometrica viene applicata agli articoli sulle riviste che fanno parte della lista riviste prodotta del GEV, compilata integrando la lista riviste del GEV utilizzata per la VQR 2004-2010 con una selezione di riviste provenienti da tre fonti: la lista fornita dal CINECA con le sedi di
Gruppo di Consenso possa avvalersi del giudizio di un terzo esperto nel caso di valutazione fortemente divergenti.
56 Tuttavia, prima dell’assegnazione dei prodotti ai membri GEV per la valutazione bibliometrica, la
Coordinatrice del GEV e i Coordinatori dei subGEV devono esaminare i suggerimenti degli autori di valutare un prodotto bibliometrico utilizzando la peer review. Tale opzione è offerta dal Bando in presenza di una serie di motivazioni come per esempio per i prodotti di ricerca in aree emergenti, aree di forte specializzazione, carattere interdisciplinare ecc.
140
pubblicazione di tutti i ricercatori italiani dell’Area nel periodo di valutazione (2011-2014) e le banche dati ISI Web of Science (WoS) di Thomson Reuters (WoS) e Scopus di Elsevier57. In particolare, per le riviste indicizzate appartenenti alla lista finale58, vengono raccolti i
valori, relativi a un determinato anno (2014 nell’ultima VQR), dei seguenti indicatori bibliometrici: da ISI WoS, il Five – Year Impact Factor (IF5Y), quale indicatore di popolarità e l’Article Influence Score (AIS), quale indicatore di prestigio, e da Scopus, l’Impact Per Pubblication (IPP) quale indicatore di popolarità, e lo SCimago Journal Rank (SJR), quale indicatore di prestigio59.
Inoltre, per tutte le riviste, vengono raccolti anche gli indici h da Google Scholar relativi al periodo di valutazione (le riviste con un indice h mancante o pari a zero non sono incluse nella lista finale) in modo da consentire che, per le riviste non indicizzate e indicizzate parzialmente, i valori mancanti degli indicatori bibliometrici di ISI WoS e Scopus vengano imputati sulla base dell’indice h di GS (l’imputazione è effettuata separatamente per ogni indicatore e ogni sotto-area)60. Infine, separatamente per ogni sotto-lista, il GEV13 genera
una classificazione in termini delle 5 classi di merito corrispondenti ai percentili previsti dal bando VQR (10/20/20/30/20) per ognuno dei quattro indicatori bibliometrici sopra menzionati (IF5, AIS, IPP e SJR).
57 Le banche dati ISI WoS e Scopus sono utilizzate limitatamente alle categorie rilevanti per l’Area. Tuttavia,
altre riviste non appartenenti alle categorie elencate possono essere aggiunte, qualora il GEV concordi sulla loro rilevanza per l’Area.
58 La lista riviste viene divisa in cinque liste senza sovrapposizioni con riferimento alle seguenti sotto-aree:
Economia, Economia aziendale, Storia economica, Statistica e metodi matematici per le decisioni e Generalista.
59 La VQR prevede la possibilità per l’autore di individuare (indicandolo nella scheda prodotto) l’indicatore
che deve essere utilizzato per la valutazione, scegliendo tra gli indicatori sopra menzionati (IF5, AIS, IPP e SJR). Per ognuno di tali indicatori, viene definita poi una classificazione per classi di merito, separatamente per ogni sotto area.
60 Nello specifico, ciò avviene tramite un modello di regressione semplice che mette in relazione il logaritmo
degli indicatori con il logaritmo dell'indice h di Google Scholar relativo al 2010-2014, accompagnato da controlli di robustezza (regressione locale su log h, albero di regressione).
141
Dunque, sostanzialmente, il GEV13 valuta gli articoli sulle riviste comprese nella lista riviste del GEV utilizzando l’analisi bibliometrica61 (in particolare, un algoritmo bibliometrico)
basata su un rating delle riviste scientifiche62 mentre, tutti gli altri prodotti di ricerca quali
le monografie, i contributi a volume e gli articoli su riviste non incluse nella lista delle riviste del GEV, vengono valutati con il metodo della peer review con revisori interni o esterni al GEV (in prevalenza tramite revisori esterni). In particolare, il rapporto finale di Area 13 mostra che l’analisi bibliometrica è stata applicata a quasi il 68% dei prodotti, mentre il 32% è stato valutato con peer review. Inoltre, vale la pena precisare che nonostante la possibilità di ricorrere anche all’utilizzo dell’informed peer review per la valutazione dei prodotti di ricerca dell’Area 13, il GEV 13 ha utilizzato tale metodologia in pochissimi casi. Nello specifico, come riportato nel Rapporto finale di Area 13 (p. 27), l’informed peer review è stata applicata a soli 10 prodotti (nessuno appartenente all’area Economia aziendale) valutati, su richiesta degli autori, da altri GEV.
Dunque, ciò che emerge da quanto detto sopra è una forte divergenza della VQR rispetto al REF in merito ai criteri utilizzati per la valutazione delle discipline economico-aziendali. Nello specifico, mentre il REF basa il processo di valutazione esclusivamente sulla peer
review, vietando l’utilizzo sia dell’analisi bibliometrica che dei journal ranking, nella VQR
61 Tuttavia, vale la pena sottolineare che i prodotti di ricerca suscettibili di valutazione bibliometrica non sono
automaticamente (cioè utilizzando in automatico la classe finale suggerita dall’applicazione dell’algoritmo bibliometrico) attribuiti alle classi di merito previste dalla VQR, ma la loro attribuzione si basa invece sul giudizio esperto del GEV che utilizza ogni possibile elemento di valutazione oltre agli indicatori bibliometrici, come le competenze dei membri GEV e le informazioni contenute nella scheda descrittiva del prodotto. In particolare, la classe di merito finale di ogni prodotto bibliometrico viene determinata da: 1) la classe di merito della rivista corrispondente, così come indicata dalla classificazione delle riviste del GEV e basata su quattro diversi indicatori bibliometrici, e 2) le citazioni individuali ricevute dall’articolo.
62 Un aspetto importante da menzionare nell’ambito della valutazione dei prodotti di ricerca dell’Area 13,
riguarda il trattamento delle riviste italiane In particolare, la VQR prevede che nel caso in cui un numero di riviste italiane inferiore a 20-25 sia classificato nelle prime tre classi di valutazione definite dal Bando (ovvero Eccellente, Elevato e Discreto), il GEV assegni a una classe immediatamente superiore un numero di riviste italiane, distribuite tra tutte le sotto-aree, pari a 20-25 meno il numero di riviste italiane classificate nelle prime tre classi.
142
invece, in aggiunta alla revisione dei pari, vengono utilizzati sia il journal ranking che l’analisi bibliometrica, che risulta essere il criterio maggiormente adottato dal GEV 13. La scelta da parte del GEV 13 di orientare il processo di valutazione verso un maggior utilizzo dell’analisi bibliometrica anche nelle discipline economico-aziendali viene supportata da uno studio condotto dallo stesso ANVUR (Bertocchi, Gambardella, Jappelli, Nappi, & Peracchi, 2015; Bertocchi, Gambardella, Jappelli, Nappi, & Peracchi, 2016), che fornisce evidenze empiriche su una buona concordanza tra i risultati ottenuti tramite
informed peer review e quelli ottenuti tramite analisi bibliometrica per un campione di
articoli appartenenti all’Area 13.
Tuttavia, non sono mancate le critiche da parte della comunità accademica al nuovo sistema di valutazione e, soprattutto, alla sua forte spinta verso l’utilizzo dell’analisi bibliometrica. In particolare un recente studio condotto da Baccini e De Nicolao (2016, p. 1651), che riesamina i risultati ottenuti dallo studio condotto da Bertocchi, Gambardella, Jappelli, Nappi & Peracchi (2016), fornisce evidenze empiriche per una scarsa concordanza tra i risultati ottenuti tramite informed peer review e quelli tramite analisi bibliometrica, giungendo alla seguente conclusione: “The evidence of a poor agreement supports the conclusion that IR
and bibliometrics do not produce similar results, and that the adoption of both methods in the Italian research assessment possibly introduced systematic and unknown biases in its final results.”.
Giudicare quale dei due criteri di valutazione risulti essere più adeguato per le discipline economico-aziendali esula dal presente lavoro, tuttavia, alcune riflessioni sulla scelta adottata dal GEV 13 vanno sollevate. Di fatti, non si può non tener conto del fatto che l’ANVUR sia andata in una direzione del tutto opposta alle prassi osservate a livello internazionale in Paesi come il Regno Unito, Australia ecc., e che non abbia adeguatamente
143
considerato i numerosi studi presenti in letteratura sulle criticità dovute all’applicazione della bibliometria nella valutazione della ricerca.
Come più volte evidenziato nel presente contributo, l’analisi bibliometrica si presta con difficoltà ad essere utilizzata per rappresentare adeguatamente la qualità e/o l’impatto di un prodotto di ricerca o di un ricercatore di discipline di carattere non bibliometrico come quelle economico-aziendali, che presentano delle peculiarità dovute alle modalità di pubblicazione e allo stile citazionale.
La letteratura, sia nazionale che internazionale, ha ampiamente riconosciuto i limiti degli indicatori bibliometrici nella valutazione della ricerca scientifica nelle aree non bibliometriche (Rebora & Turri, 2010), e in particolar modo nelle scienze sociali come quelle economico-aziendali (Harzing & Van Der Wal, 2009; Paolini & Quagli, 2013). In particolare, se da un lato gli indicatori bibliometrici costituiscono un’opportunità per contribuire alla valutazione della ricerca, dall’altro lato si prestano con difficoltà ad essere applicati in quelle discipline ancora fortemente orientate a pubblicare in lingua italiana, attraverso le monografie o comunque in modi che non consentono una rilevazione accurata delle citazioni, e che spesso hanno per oggetto di studio argomenti d’interesse tipicamente locale (o territoriale). Caratteristiche queste che fanno sì che il ricercatore italiano di materie aziendali o anche una rivista del settore, hanno minori opportunità di conseguire buone misure bibliometriche o addirittura di comparire nelle statistiche (De Robbio, 2007; Dalli, 2011).
Innanzitutto, i valori degli indicatori bibliometrici delle riviste, delle pubblicazioni e dei ricercatori delle discipline economico-aziendali (e più in generale delle scienze sociali) sono inferiori rispetto a quelli delle scienze dure, a causa delle differenti abitudini citazionali e delle caratteristiche della disciplina. Inoltre, vale la pena precisare che anche all’interno delle discipline economico-aziendali si possono notare differenze significative anche tra i diversi
144
settori scientifico disciplinari (Giuliani & Marasca, 2015). Per esempio, generalmente l’Accounting presenta valori degli indici più bassi rispetto ad altri settori come il
Management, il Marketing e le altre scienze economiche. Questo perché, come evidenziato
nel capitolo 2, il valore degli indicatori bibliometrici viene influenzato da una serie di fattori, come per esempio: il numero di riviste indicizzate (piuttosto basso per le discipline economico-aziendali); il campo di ricerca (molto spesso è locale rispetto ad altre discipline che beneficiano della maggior ampiezza, a livello internazionale, del campo di ricerca di riferimento); ecc.
Per quanto riguarda poi l’Economia aziendale, bisogna fare ulteriori considerazioni. Aspetto rilevante, evidenziato da Giuliani e Marasca (2015), è che l’Economia aziendale è una disciplina esclusivamente italiana che non trova corrispondenti all’estero e che quindi non può neanche essere paragonata alle discipline come l’Accounting o il Management. Secondo i due autori, l’Economia aziendale “nella concettualizzazione originaria è infatti la scienza
dell’amministrazione delle aziende che combina le scienze della rilevazione, gestione e organizzazione” (p. 147). Dunque, il parallelismo tra l’Economia aziendale e l’Accounting
o altre discipline presenti all’estero non risulta essere corretto.
Per questo motivo, oltre alle già citate criticità dell’applicazione dell’analisi bibliometrica nelle discipline economico-aziendali, particolari riflessioni devono essere svolte per l’Economia aziendale.
Prima di tutto, la matrice nazionale degli studi di Economia aziendale fa sì che questi non vengano catturati dalle principali base dati di riferimento come WoS e Scopus, con la conseguenza che i ricercatori, gli articoli e le riviste del settore presentino indicatori bibliometrici di basso valore rispetto ai ricercatori, alle riviste e alle pubblicazioni di carattere internazionali, o addirittura rischiano di non comparire neanche nelle statistiche (Paolini & Quagli, 2013). In particolare, tali database sono considerati poco attendibili e
145
adeguati a catturare la produzione scientifica di un ricercatore di una disciplina come l’Economia aziendale, che viene espressa attraverso differenti forme di pubblicazioni, come per esempio le monografie (Meho & Yang, 2007; Harzing A.-W. , 2013), molto spesso di carattere nazionale (Nederhof, 2006) e quindi non sempre espresse in lingua inglese. Di fatti, tematiche di carattere nazionale, come quelle affrontate dall’Economia aziendale, difficilmente trovano spazio nelle riviste internazionali, maggiormente propense ad accettare
paper basati su framework e letteratura noti a livello internazionale. Altro aspetto legato al
carattere nazionale della disciplina è la lingua con cui vengono scritte le pubblicazioni: essendo le tematiche trattate d’interesse nazionale, le relative pubblicazioni saranno scritte