U
NIVERSITÀ DI
P
ISA
Dipartimento di Economia e Management
Corso di dottorato in Economia aziendale e Management
Ciclo XXXI
L
A VALUTAZIONE DELLA RICERCA NELLE
DISCIPLINE ECONOMICO
-
AZIENDALI
:
ANALISI
BIBLIOMETRICA O PEER REVIEW
?
Settore scientifico-disciplinare SECS-P07
Relatori
Candidato
Chiar.mo Prof. Luciano Marchi
Pierluigi Martino
Prof. Giacomo Manetti
Coordinatore del Dottorato
Alla mia famiglia; a Milena.
1
Indice
Lista delle tabelle ... 3
Introduzione ... 4
1. La valutazione della ricerca scientifica ... 12
1.1. La ricerca scientifica e il ruolo delle Università ... 12
1.2. La valutazione della ricerca scientifica: quale necessità? ... 15
1.2.1. La valutazione della ricerca scientifica: aspetti definitori e obiettivi ... 18
1.3. L’oggetto della valutazione della ricerca scientifica ... 21
1.3.1. Qualità interna della ricerca scientifica ... 25
1.3.2. Impatto della ricerca ... 28
1.4. L’oggetto della valutazione nelle discipline economico-aziendali: alcune considerazioni ... 30
2. Gli indicatori bibliometrici nella valutazione della ricerca scientifica ... 33
Introduzione ... 33
2.1. Lo sviluppo degli indicatori bibliometrici ... 33
2.2. I database citazionali ... 38
2.3. Gli indicatori bibliometrici ... 41
2.3.1. Impact factor ... 43
2.3.1.1. Gli altri indici di ISI... 47
2.3.2. H-index ... 47
2.3.3. Eigenfactor ... 53
2.3.4. SCImago Journal Rank (SJR) ... 55
2.3.5. Source Normalized Impact per Paper (SNIP) ... 56
2.4. Gli indicatori bibliometrici basati sui dati del web: la Webmetrica ... 57
2.5. L’utilizzo degli indicatori bibliometrici nella valutazione della ricerca ... 60
3. Il sistema della revisione dei pari ... 63
Introduzione ... 63
3.1. La revisione dei pari (peer review): cenni storici ... 63
3.1.1. Il sistema della peer review: definizione e caratteristiche principali ... 65
2
3.2.1. Criticità della peer review nell’ambito della valutazione della ricerca scientifica
... 70
3.3. L’informed peer review ... 73
4. L’applicazione dell’analisi bibliometrica e della peer review nell’ambito degli esercizi nazionali di valutazione della ricerca... 77
Introduzione ... 77
4.1. Il Research Excellence Framework (REF) ... 78
4.1.1. I gruppi di esperti della valutazione (main e sub panels) ... 80
4.1.2. Il processo di expert review: i punti chiave del REF... 82
4.1.3. Il REF nell’UOA19 - Business and Management ... 89
4.1.3.1. Il REF nell’UOA19 - Business and Management: il profilo “Output” ... 92
4.1.3.2. Il REF nell’UOA19 - Business and Management: il profilo “Impact” ... 96
4.1.3.3. Il REF nell’UOA19 - Business and Management: il profilo “Environment” ... 102
4.2. Il sistema della valutazione della ricerca in Italia: la VQR ... 106
4.2.1. I gruppi di esperti della valutazione (GEV) ... 108
4.2.2. Il processo di valutazione della ricerca ... 110
4.2.2.1. La valutazione della terza missione ... 119
4.2.3. La VQR nell’ambito delle Scienze Economiche e Statistiche (Area 13) ... 135
4.3. La valutazione della ricerca nelle discipline economico-aziendali: alcune proposte ... 148
Conclusioni ... 156
Bibliografia ... 166
3
Lista delle tabelle
Tabella 1: REF profilo di valutazione, peso assegnato ai singoli elementi………84
Tabella 2: Unità di valutazione Main Panel C………..90
Tabella 3: Outputs sub profile: criteri e definizione dei 4 livelli………..95
Tabella 4: Main panel C, categoria d’impatto ed esempi………..97
Tabella 5: Impact sub profile: criteri e definizione dei 4 livelli………...102
Tabella 6: Environment sub profile: criteri e definizione dei 4 livelli………..106
Tabella 7: VQR profilo di valutazione, peso assegnato ai singoli profili……….111
Tabella 8: VQR (2011 - 2014), Classi di merito qualità dei prodotti di ricerca………116
Tabella 9: Criteri di valutazione Macro area “attività di valorizzazione della ricerca”……124
Tabella 10: Criteri di valutazione Macro area “produzione di beni pubblici di natura sociale, educativa e culturale”………..130
Tabella 11: Settori scientifico-disciplinari (SSD) di riferimento dell’Area 13………135
Tabella 12: Classi di merito GEV 13………...138
4
Introduzione
Il tema della valutazione della ricerca scientifica, sebbene non costituisca assolutamente un tema nuovo, è divenuto negli ultimi anni uno dei temi centrali nel mondo accademico e non solo. Soprattutto in Italia, il tema è di grande attualità nel dibattito politico – istituzionale. Le ragioni alla base del crescente interesse verso il tema della valutazione della ricerca scientifica sono riconducibili a una serie di fattori, dovuti principalmente al definanziamento del sistema universitario pubblico posto in essere dagli ultimi governi, al declino della ricerca scientifica, ai temi legati alla recente crisi economico-finanziaria e ai percorsi attraverso il quale costruire un futuro di crescita (Abatemarco & Dell'Anno, 2011). Nello specifico, l’attenzione è stata dedicata soprattutto allo sviluppo di nuovi modelli costi – risultati, in conseguenza del crescente divario tra le disponibilità finanziarie delle amministrazioni pubbliche, in evidente declino, e i costi della ricerca, in progressivo aumento, con l’obiettivo di individuare modalità standardizzate, oggettive e di metodi quantitativi e soprattutto qualitativi per la valutazione della produzione scientifica (Guerrini, 2009).
Valutare la ricerca scientifica vuol dire valutare la qualità e la quantità dei prodotti di ricerca (articoli su rivista, libri, capitoli di libro ed altri prodotti similari), ma anche la qualità del processo e dei ricercatori coinvolti nel processo e delle strutture nelle quali operano tali ricercatori (in particolare Università e Enti di ricerca). Inoltre, valutare la ricerca vuol dire anche valutare l’impatto della stessa, ovvero gli effetti che la ricerca stessa produce nei confronti della comunità scientifica e non scientifica (impatto pratico sulla sub-comunità dei
5
ampio, le conseguenze sociali, culturali, ambientali ed economiche che da essa derivano (Marchi, Marasca, & Giuliani, 2013).
L’obiettivo della valutazione della ricerca è quello di ricavare una serie di informazioni fondamentali, necessarie ai fini della selezione (o progressioni di carriera) del personale all’interno delle Università, dell’assegnazione di fondi per la ricerca tra i vari dipartimenti e della valutazione della capacità di ricerca delle Università stesse (e degli Enti di ricerca). Dunque, nell’ambito della ricerca scientifica la valutazione ricopre un ruolo critico in quanto, dai suoi risultati, derivano una serie di decisioni fondamentali relative alla gestione delle risorse pubbliche da allocare alle Università, ai Dipartimenti, ai Centri di ricerca, e ai ricercatori stessi.
Nell’ambito di tale attività, e soprattutto nell’attuale scenario in cui essa si trova ad essere attuata, caratterizzato dalla scarsità delle risorse messe a disposizione per il finanziamento della ricerca, uno degli elementi chiave risulta essere il criterio e i metodi con cui si effettua la valutazione in quanto, come sopra menzionato, esso incide sull’allocazione delle risorse pubbliche tra gli Atenei, sulla selezione del personale nelle Università e soprattutto sul progresso della conoscenza.
Ai fini della valutazione è possibile disporre di diversi approcci e modelli di tipo qualitativo e quantitativo i quali, potenzialmente, possono essere utilizzati ciascuno autonomamente o in sinergia tra di loro per la valutazione di docenti, ricercatori e prodotti di ricerca (Guédon, 2004). È importante fin da subito precisare che non esiste un sistema di valutazione perfetto o un modello migliore di un altro, in quanto i vari strumenti a disposizione presentano potenzialità e limiti oggettivi ben noti.
Ad oggi, le due principali e differenti metodologie utilizzate nell’ambito dei sistemi nazionali di valutazione della ricerca scientifica di numerosi Paesi (per esempio Italia, Regno Unito, Australia, ecc.), sono:
6
1. revisione dei pari (peer review), valutazione di tipo qualitativo basata sul giudizio dei “pari”, quindi di tipo soggettiva. Tale metodologia, definita da Baccini (2010, p. 52) come “un insieme di pratiche eterogenee e non standardizzate, attraverso le
quali un gruppo di individui esprime un giudizio sul lavoro scientifico di altri per determinarne la qualità”, è basata essenzialmente su una valutazione di merito
realizzata da un gruppo di esperti, che operano nello stesso settore scientifico – disciplinare o in settori affini a quello oggetto della valutazione (de Vries, 2001; Pistotti, 2005; Di Donato, 2007);
2. analisi bibliometrica, valutazione di tipo quantitativo basata sull’utilizzo degli indicatori bibliometrici, definiti da Baccini (2010, p. 67) come “un indicatore di
qualità o impatto costruito, con opportune tecniche statistiche, a partire da informazioni elementari ricavate da riferimenti bibliografici contenuti in pubblicazioni scientifiche o in archivi creati appositamente”.
Quest’ultima metodologia ha assunto negli ultimi anni un ruolo sempre più centrale nel processo di valutazione della ricerca. Ciò è dovuto essenzialmente per due ragioni. In primo luogo, il diffondersi di tale metodologia è dovuto ad alcuni aspetti di carattere politico ed economico, ovvero a politiche pubbliche di incentivazione e disincentivazione il cui fine è stato quello di massimizzare il rendimento dei fondi allocati (in un periodo in cui le risorse messe a disposizione per la ricerca sono scarse) e quindi assicurare che i finanziamenti siano distribuiti a chi offre una maggiore e migliore produttività. È proprio a questo proposito che l’utilizzo degli indicatori bibliometrici offre numerosi vantaggi in quanto, trattandosi di metriche quantitative fondate su basi di dati, i costi sono ridotti in modo estremamente significativo rispetto alla peer review. In secondo luogo, è lo sviluppo di nuove tecnologie, come per esempio la nascita degli archivi elettronici e dei database per il calcolo delle
7
citazioni, che ha favorito lo sviluppo dell’analisi bibliometrica nella valutazione della ricerca (Banfi & De Nicolao, 2013).
L’analisi bibliometrica mette a disposizione un panorama molto ampio di indicatori per valutare riviste, articoli, ricercatori ecc.; ne sono esempi l’Impact factor (If), l’H-index, l’Eigenfactor, SCImago Journal Rank (SJR), Source Normalised Impact per Paper (SNIP). Questi indicatori, data la loro semplicità, immediatezza di calcolo e impiego, offrono numerosi vantaggi che rendono l’analisi bibliometrica preferibile rispetto ad altre metodologie come la revisione dei pari (Banfi & De Nicolao, 2013). Tra i numerosi vantaggi, i più importanti che la letteratura ha evidenziato riguardano i costi limitati (dovuti per lo più all’acquisizione dei dati presenti nei database), i tempi ridotti per effettuare la valutazione, la possibilità di avere misurazioni oggettive con esiti verificabili e trasparenti.
Tuttavia, bisogna tener in considerazione anche i numerosi limiti che gli stessi presentano e che, se non considerati, possono inficiare l’esito della valutazione con effetti negativi che potrebbero ricadere sullo scopo finale della valutazione. Di fatti, la letteratura multidisciplinare sul tema, oltre ad evidenziare le opportunità che i vari indicatori offrono, ha ampiamente discusso anche i numerosi limiti e i diversi problemi che gli stessi possono generare (Bordons, Fernàndez, & Isabel, 2002; Van Raan, 2005; Batista, Campiteli, & Kinouchi, 2006; Egghe, 2006; Glänzel, Debackere, Thijs, & Schubert, 2006; Costas & Bordons, 2007; Bornmann, 2011), evidenziando come un abuso di tali strumenti nell’ambito della valutazione della ricerca possa comportare dei risultati del tutto opposti a quanto desiderato. Numerosi infatti sono gli studiosi che contestano l’utilizzo degli indicatori bibliometrici nella valutazione della ricerca scientifica (Figà Talamanca, 2000), in quanto la loro applicazione ha determinato effetti discutibili (Paolini & Quagli, 2013).
In particolare, questi studi hanno messo in evidenza come alcuni dei limiti e delle problematiche legati all’utilizzo degli indicatori bibliometrici nella valutazione della ricerca
8
scientifica siano accentuati maggiormente in alcune discipline piuttosto che in altre. Per esempio, particolarmente delicato è il tema della valutazione della ricerca nell’ambito delle scienze sociali e nelle scienze umane, dove l’utilizzo dell’analisi bibliometrica è stato ampiamente criticato. Di fatti, se da un lato essa costituisce un’opportunità per contribuire alla valutazione della ricerca, dall’altro lato si presta con difficoltà ad essere applicata in quelle discipline ancora fortemente orientate a pubblicare in lingua nazionale (diversa dall’inglese), attraverso le monografie o comunque in modi che non consentono una rilevazione accurata delle citazioni, e che spesso hanno per oggetto di studio argomenti d’interesse tipicamente locale (o territoriale). Caratteristiche queste che fanno sì che il ricercatore di tali discipline, o anche una rivista del settore, abbiano minori opportunità di conseguire buone misure bibliometriche o addirittura di comparire nelle statistiche (De Robbio, 2007; Dalli, 2011).
Per questo motivo, la crescente spinta verso l’utilizzo dell’analisi bibliometrica nell’ambito degli esercizi nazionali di valutazione della ricerca scientifica di numerosi Paesi, ha portato all’attuale dibattito sul tema della valutazione della ricerca. In particolare in Italia, tale problematica ha attirato l’attenzione di numerosi studiosi a seguito della riforma dell’Università del 2010, dove gli indicatori bibliometrici sono stati adottati sia ai fini della valutazione della ricerca prodotta dalle strutture, sia ai fini del reclutamento del personale docente, generando non poche perplessità (Banfi & De Nicolao, 2013). Nello specifico, si è assistito all’introduzione di strumenti mal disegnati e non sperimentati in discipline come quelle economico-aziendali, ignorando completamente il dibattito internazionale in materia, dove l’utilizzo degli indicatori bibliometrici in tali discipline è stato fortemente criticato. Di conseguenza, negli ultimi anni anche nella letteratura accademica italiana è cresciuto il numero dei contributi che ha affrontato il tema della valutazione della ricerca in generale (Baccini, 2010; Rebora & Turri, 2010) e, più nello specifico, la questione dell’utilizzo degli
9
indicatori bibliometrici per la valutazione periodica della ricerca nelle cosiddette aree non bibliometriche, tra cui le discipline economico-aziendali (Marchi, Marasca, & Giuliani, 2013; Paolini & Quagli, 2013; Greco, 2014; Rusconi, 2014; Giuliani & Marasca, 2015), contribuendo così al dibattito sul tema e suscitando numerose riflessioni. Per esempio, oltre ai limiti riscontrati nella letteratura internazionale, nel contesto italiano potrebbero aggiungersi anche quelli derivanti dal fatto che in alcune aeree disciplinari la pratica di indicizzare i prodotti di ricerca è iniziata solo recentemente e quindi è ancora limitata. Inoltre, la ricerca scientifica in alcune aree disciplinari, come le discipline economico-aziendali, presenta tratti del tutto peculiari rispetto ad altre discipline che rendono complicato l’utilizzo degli indicatori bibliometrici nella valutazione della qualità di un prodotto di ricerca o di un ricercatore.
Per questo motivo, qualche riflessione sui vantaggi e i limiti degli attuali criteri utilizzati nei sistemi nazionali di valutazione della ricerca nell’ambito delle discipline economico-aziendali si rende quanto mai opportuna.
Obiettivo del presente contributo è proporre delle riflessioni critiche sugli attuali criteri di valutazione della ricerca scientifica (analisi bibliometrica e peer review) utilizzati nell’ambito delle discipline economico-aziendali, al fine di avanzare delle proposte che stimolino ulteriormente il dibattito e le ricerche sul tema, e che siano di interesse per gli organi di governo delle Università nella definizione degli esercizi nazionali di valutazione della qualità della ricerca scientifica. In aggiunta alla scelta dei criteri valutativi, vengono inoltre avanzate delle proposte in merito all’oggetto della valutazione (qualità e impatto), la cui definizione è necessaria ai fini della selezione del criterio valutativo più adeguato. A tal fine, vengono analizzati due differenti sistemi nazionali di valutazione della ricerca scientifica con l’obiettivo di individuare le modalità di implementazione dell’analisi bibliometrica e della peer review nell’ambito delle discipline economico-aziendali. Nello
10
specifico, viene effettuata una comparazione tra il sistema nazionale di Valutazione della Qualità della Ricerca (VQR) 2011-2014 attuato in Italia nell’Area 13 – “Scienze economiche
e statistiche”, e in particolar modo nell’area “Economia aziendale”, con il sistema di
valutazione adottato nel Regno Unito – Research Excellence Framenwork (REF) 2014, la cui avanzata esperienza nella valutazione della ricerca ha ispirato anche l’ANVUR. Il sistema di valutazione del Regno Unito, pur essendo in qualche modo simile a quello italiano, in quanto incentrato su una valutazione della ricerca periodica e ad ampio raggio (Greco, 2014), presenta delle peculiarità che lo rendono distante dal sistema italiano, soprattutto per quanto riguarda la valutazione nelle discipline economico-aziendali. Inoltre, la valutazione della ricerca nel Regno Unito è ormai prassi consolidata (Broadbent, 2010), il cui elevato livello di qualità del processo di valutazione è ampiamente riconosciuto. Per tali ragioni, la scelta del Regno Unito risulta essere quella migliore per fare un confronto con il sistema italiano.
Nel perseguire tali obiettivi, il presente contributo è strutturato come di seguito. Nel primo capitolo, viene affrontato a livello generale il tema della valutazione della ricerca con l’obiettivo di delinearne gli aspetti più importanti, in particolar modo in riferimento all’oggetto della valutazione. In particolare, nell’ultimo paragrafo vengono proposte alcune riflessioni in merito alla definizione dell’oggetto della valutazione nelle discipline economico-aziendali. Nel secondo e terzo capitolo vengono trattati in maniera approfondita i due principali criteri di valutazione della ricerca: l’analisi bibliometrica e la revisione dei pari. Nello specifico, vengono messe in risalto le caratteristiche principali di entrambe le metodologie, i vantaggi che offrono e i rispettivi limiti evidenziati in letteratura. Nel quarto capitolo, vengono analizzati i due sistemi nazionali di valutazione della ricerca adottati in Italia – VQR - e nel Regno Unito – REF, con particolare riguardo alle discipline economico-aziendali. Nello specifico, il confronto tra i due sistemi riguarda gli elementi chiave del
11
processo di valutazione della ricerca, ovvero l’oggetto della valutazione e i criteri utilizzati. Dopo aver discusso i punti chiave dei due sistemi, nell’ultimo paragrafo vengono avanzate alcune proposte in merito alla definizione dell’oggetto della valutazione e alla scelta dei criteri valutativi (analisi bibliometrica o peer review) più adeguati nell’ambito delle discipline economico-aziendali. Infine, nelle conclusioni vengono discussi i risultati della ricerca.
Il contributo di tale ricerca è duplice. Da un lato, tale studio si posiziona all’interno del dibattito nella letteratura accademica, sia nazionale che internazionale, sul tema della valutazione della ricerca scientifica nelle discipline economico-aziendali, rispondendo ad alcune questioni sollevate da precedenti studi (Marchi, Marasca, & Giuliani, 2013; Paolini & Quagli, 2013; Rusconi, 2014; Giuliani & Marasca, 2015) in particolar modo in merito ai criteri adottati per la valutazione (analisi bibliometrica e peer review). Nello specifico, l’obiettivo è quello di avanzare delle proposte che stimolino ulteriormente il dibattito e le ricerche sul tema. Dall’altro lato, il presente studio ha l’obiettivo di offrire un contributo pratico fornendo, ai vari enti e/o agenzie (per esempio l’Agenzia nazionale di valutazione del sistema universitario e della ricerca in Italia) responsabili della valutazione della ricerca, dei suggerimenti e delle indicazioni in merito alla definizione dell’oggetto della valutazione e alla scelta dei criteri valutativi nell’ambito degli esercizi nazionali di valutazione della ricerca, che siano utili al fine di definire un sistema di valutazione in grado di cogliere quelle che sono le peculiarità delle discipline economico-aziendali.
12
1. La valutazione della ricerca scientifica
1.1. La ricerca scientifica e il ruolo delle Università
In letteratura, non esiste una definizione univoca di ricerca scientifica, ma sono numerose le definizioni esistenti. Generalmente, essa viene definita come lo sviluppo di conoscenza astratta e non finalizzata (Baccini, 2010). Per esempio, il Manuale di Frascati dell’OCSE (Organizzazione per la cooperazione e lo sviluppo economico), che contiene le linee guida concordate a livello internazionale per la misurazione statistica delle attività di ricerca e sviluppo, tende a distinguere la ricerca in tre tipologie:
ricerca di base (basic research), lavoro sperimentale o teorico condotto principalmente per acquisire nuova conoscenza sui fondamenti sottostanti i fatti e i fenomeni osservabili;
ricerca applicata (applied research), investigazione originale condotta per acquisire nuove conoscenze ma con obiettivi specifici e soprattutto pratici;
sviluppo sperimentale (experimental development), riguarda il lavoro sistematico basato sulla conoscenza esistente prodotta dalle attività di ricerca o dall’esperienza pratica, diretta a produrre nuovi materiali, prodotti e a installare o migliorare prodotti già esistenti.
Secondo Baccini (2010), mentre lo sviluppo sperimentale è da ricondurre al concetto di ricerca “tecnologica”, la ricerca di base e applicata sono da far rientrare nell’ambito della ricerca scientifica. In generale quindi, la ricerca scientifica può essere definita come quell’attività svolta con l’obiettivo di studiare, descrivere, interpretare, criticare o ancora scoprire un determinato fenomeno, un comportamento o delle teorie, con la finalità di
13
produrre e accrescere la conoscenza all’interno della scienza e, di conseguenza, generare benefici economici, sociali, culturali per la società in generale.
Quest’ultimo punto, rappresenta uno degli aspetti più importanti della ricerca scientifica: in letteratura infatti, è ampiamente riconosciuta l’esistenza di un legame tra scienza e sviluppo economico, così come la crescita del livello di conoscenza dei cittadini. Nello specifico, la ricerca scientifica è considerata uno dei fattori chiave per la crescita e lo sviluppo (non solo economico, ma anche culturale, sociale, tecnologico ecc.) di un Paese (Adams, 1990; Henderson, Jaffe, & Trajtenberg, 1998).
Come sostenuto da Siegel (1960), il ruolo della ricerca scientifica è quello di produrre ed incrementare il numero di opportunità e le condizioni utili alla crescita e allo sviluppo di un Paese. Numerosi studi economici presenti in letteratura (Ewell, 1955; Siegel, 1960; Adams, 1990; Romer, 1990; Mansfield, 1991; Mansfield, 1995; Stephan, 1996; Cohen, Nelson, & Walsh, 2002; Veugelers, 2014) hanno studiato la relazione tra ricerca scientifica e benefici generati per la collettività, dimostrando come la ricerca scientifica giochi un ruolo chiave per lo sviluppo tecnologico, l’innovazione e la crescita economica di un Paese.
Questo ruolo chiave della ricerca scientifica per lo sviluppo di un Paese, viene riconosciuto anche al di fuori dell’ambito accademico. Per esempio, a seguito della crisi economico – finanziaria del 2008, in numerosi Paesi i governi hanno puntato proprio sugli investimenti nella ricerca come politiche da attuare per affrontare la crisi e l’attuale mercato globalizzato e competitivo (Daraio & Moed, 2011; Abatemarco & Dell'Anno, 2013). Gli investimenti in ricerca scientifica (e tecnologica) infatti, costituiscono uno dei principali strumenti attraverso la quale i governi possono alimentare la crescita nel medio – lungo periodo del Paese. Ne sono un esempio gli Stati Uniti dove in passato gli investimenti in ricerca hanno rappresentato una delle questioni centrali nell’agenda politica del governo, come si può evincere dal documento del 2011 “A strategy for American innovation” in cui viene
14
enfatizzato il ruolo chiave dell’innovazione e della ricerca scientifica per alimentare lo sviluppo e la crescita del Paese (Khazragui & Hudson, 2014):
“For in a global economy, the key to our prosperity will never be to compete by paying our
workers less or building cheaper, lower-quality products. That’s not our advantage. The key to our success – as it has always been – will be to compete by developing new products, by generating new industries, by maintaining our role as the world’s engine of scientific discovery and technological innovation. It’s absolutely essential to our future” (Obama,
2011).
All’interno di tale sistema, un ruolo chiave è giocato dalle Università (Khazragui & Hudson, 2014) essendo il luogo in cui viene prodotta la ricerca scientifica. In letteratura infatti, viene ampiamente riconosciuto il ruolo delle Università come attore strategico nella creazione e diffusione della conoscenza (Bonaccorsi & Daraio, 2007).
La cosiddetta “terza missione” dell’Università e della ricerca è favorire l’applicazione diretta, la valorizzazione e l’impiego della conoscenza per contribuire allo sviluppo sociale, culturale ed economico della società (Marchi, Marasca, & Giuliani, 2013; Carlesi & Marchi, 2017). Nello specifico, l’Università contribuisce allo sviluppo e alla crescita di un Paese attraverso l’incremento della conoscenza, la formazione di laureati qualificati, la creazione di strumentazione e metodologie scientifiche, la creazione di nuove aziende ecc. (Martin, Hicks, & Salter, 1996; Mariani, Carlesi, & Scarfò, 2018). Ne sono esempi la Silicon Valley in California, la Boston area e la regione intorno a Cambridge nel Regno Unito, aree in cui il contributo delle Università allo sviluppo dell’economia locale è chiaro ed evidente (Veugelers & Del Rey, 2014). Relativamente al contesto italiano, i risultati di un recente studio condotto da Mariani, Carlesi e Scarfò (2018) mostrano che gli investimenti nel trasferimento tecnologico dell'Università di Pisa hanno un impatto positivo, sia in termini economici che di creazione di capitale intellettuale, sulla comunità locale attraverso il sistema di creazione e supporto di spin-off.
Per questo motivo, oggi, i governi nazionali dei vari Paesi in tutto il mondo sono alla ricerca di modi per rafforzare il ruolo delle Università come attori chiave nel trasferimento di
15
conoscenza, nello sviluppo di innovazioni e nel loro contributo allo sviluppo e alla crescita dei Paesi (Geuna & Muscio, 2009). È proprio all’interno di tale contesto, come vedremo in maniera approfondita nel paragrafo successivo, che l’attività di valutazione della ricerca scientifica assume un ruolo fondamentale.
1.2. La valutazione della ricerca scientifica: quale necessità?
La valutazione della ricerca scientifica è uno dei temi più importanti e ricchi di conseguenze pratiche dell’attuale dibattito pubblico – istituzionale degli ultimi anni. Il tema infatti, su cui è presente un’ampia letteratura interdisciplinare, ha suscitato l’interesse non solo dei bibliometrici e gli scientometrici puri, ma anche degli studiosi di altre discipline come gli economisti, gli aziendalisti, i fisici, matematici e, più in generale, degli scienziati interessati alla valutazione della propria disciplina (Baccini, 2010).
Nella letteratura, sia nazionale che internazionale, numerosi sono gli studi che hanno affrontato tale tematica: in particolare, il tema è stato studiato principalmente in relazione all’oggetto della misurazione - che cosa misurare? - (Donovan, 2011; Czellar & Lanarès, 2013; Penfield, Baker, Scoble, & Wykes, 2014); ai criteri utilizzati per la valutazione (analisi bibliometrica, revisione dei pari, ecc.) (Abramo & D'Angelo, 2011; Bornmann, 2011; Bertocchi, Gambardella, Jappelli, Nappi, & Peracchi, 2015); e all’analisi dei differenti sistemi di valutazione attuati nei vari Paesi (Geuna & Martin, 2003; Rebora & Turri, 2013; Greco, 2014).
Tuttavia, nonostante la letteratura abbia affrontato i diversi aspetti del tema della valutazione della ricerca scientifica, si può affermare che il fulcro dell’attuale dibattito è legato principalmente al tema del finanziamento pubblico della ricerca, e ai relativi criteri (revisione dei pari vs analisi bibliometrica) con cui allocare le risorse finanziarie messe a disposizione dai governi tra le numerose linee e gruppi di ricerca alternative (Baccini, 2010).
16
Il tema della valutazione della ricerca scientifica infatti, è divenuto centrale negli ultimi anni proprio in relazione all’efficiente allocazione delle risorse pubbliche che, in molti Paesi Europei, rappresentano la principale fonte di finanziamento dell’Università (Bertocchi, Gambardella, Jappelli, Nappi, & Peracchi, 2015). In particolare, a seguito “delle politiche pubbliche messe in atto dai paesi dell’Unione Europea dopo gli impegni presi con la Bologna Declaration (1999, riforma degli ordinamenti didattici) e con la strategia di Lisbona (2000, economia fondata sulla conoscenza, ricerca e sviluppo), complice l’esigenza di una rendicontazione pubblica del denaro che gli Stati nazionali e gli enti finanziatori investono nella ricerca pubblica” (Cassella & Bozzarelli, 2011, p. 1), si è assistito a una maggiore attenzione posta sul rapporto costi/benefici della ricerca, e alla necessità di dover dimostrare i benefici positivi generati dalla stessa per la società in generale. Ciò, come menzionato nell’introduzione di questo lavoro, in conseguenza del crescente divario tra le disponibilità finanziarie a disposizione dei governi, sempre più scarse, e i costi della ricerca, in progressivo aumento, insieme ad una maggiore competizione tra le nazioni (Geuna & Martin, 2003; Geuna & Piolatto, 2016).
In sostanza, nel decidere sulla distribuzione delle risorse pubbliche tra le diverse aree/settori (per esempio, difesa, sanità, istruzione, ecc.), i governi si trovano davanti alla necessità di dover analizzare i costi/benefici di tali investimenti, e l’impatto che gli stessi possono avere sulla società in generale e, più nello specifico, sui problemi rilevanti del Paese (Finkel, 2014; Khazragui & Hudson, 2014; Morgan, 2014; Thwaites, 2014). Tale processo avviene anche per il finanziamento della ricerca scientifica e quindi per la distribuzione dei fondi tra le Università, gli Enti di ricerca, i Dipartimenti e i ricercatori stessi. Nello specifico, l’obiettivo è quello di distribuire i fondi in maniera efficiente e quindi finanziare la ricerca considerata più utile alla società e valutata come ricerca di maggiore qualità (Baccini, 2010; Giuliani & Marasca, 2015).
17
Questa questione ha riguardato principalmente i Paesi dell’Europa, e soprattutto l’Italia, dato che le risorse pubbliche rappresentano la componente principale del finanziamento delle Università e quindi della ricerca (Bertocchi, Gambardella, Jappelli, Nappi, & Peracchi, 2015). Infatti, a partire dalla fine degli anni ’80, si è assistito a una significativa ristrutturazione del sistema di finanziamento universitario in vari Paesi Europei che, al fine di favorire lo sviluppo della ricerca di qualità e supportare il suo ruolo chiave come promotore dello sviluppo e la crescita dei Paesi, ha portato alla crescente implementazione degli esercizi nazionali per la valutazione della ricerca nelle Università e negli istituti di ricerca (Abramo & D'Angelo, 2015). In particolare, si è assistito alla nascita dei cosiddetti sistemi di finanziamento della ricerca basati sulle performance (Geuna & Martin, 2003), come l’attuale VQR (Valutazione Qualità della Ricerca) in Italia e il REF (Research
Excellent Framework) nel Regno Unito, ovvero quei sistemi disegnati per valutare
Università e centri di ricerca pubblici con l’obiettivo di allocare le risorse pubbliche, a tali soggetti, sulla base degli outputs e outcomes della ricerca da loro prodotta (Geuna & Piolatto, 2016). Quindi, l’obiettivo di tali sistemi è quello di allocare le risorse pubbliche agli atenei più performanti, ovvero agli atenei che producono ricerca di maggiore qualità.
È alla base delle considerazioni sopra svolte che il tema della valutazione della ricerca scientifica trova il suo fondamento: se la scienza è rilevante per lo sviluppo di un Paese, e questa necessita di risorse pubbliche che vanno ripartite tra linee di ricerca alternative, allora l’attività di valutazione della ricerca assume un ruolo chiave nel distribuire in modo efficiente le risorse (Geuna & Martin, 2003; Van Raan, 2004; Baccini, 2010) alle Università e ai centri di ricerca più produttivi.
La disponibilità dei fondi da investire nella ricerca influisce in modo significativo sullo sviluppo della scienza (Laudel, 2006; Melin & Danell, 2006). Quindi, un efficiente controllo delle risorse dedicate alla ricerca, tramite i sistemi di valutazione della stessa, ha effetti
18
rilevanti sulla ricchezza dei Paesi in quanto necessario per allocare in maniera efficiente e secondo criteri competitivi le risorse, sempre più ridotte, alle Università e ai centri di ricerca più efficienti in termini di benefici apportati al progresso della scienza e al benessere sociale (Bornmann, 2017).
1.2.1. La valutazione della ricerca scientifica: aspetti definitori e obiettivi
Valutare la qualità della ricerca scientifica è un’attività fondamentale, ma allo stesso tempo complessa e problematica (Czellar & Lanarès, 2013). In letteratura, le diverse definizioni di valutazione della ricerca evidenziano come essa rappresenti quell’attività che ha lo scopo di esprimere, tramite specifiche metodologie e determinati criteri, un giudizio sulla qualità e/o sull’impatto di un determinato prodotto di ricerca, sia esso un articolo o l’intera produzione scientifica di un ricercatore.
Per esempio, secondo Baccini (2010) valutare la ricerca significa “stabilire norme e criteri
per esprimere giudizi sulla qualità dei prodotti dell’attività di ricerca” (Baccini, 2010, p.
17). Una definizione esaustiva invece, che ne mette in risalto tutta la sua complessità, viene fornita da Marchi et al. (2013) che sostengono:
“valutare la ricerca vuol dire valutare la quantità e la qualità dei prodotti di ricerca (articoli, monografie, capitoli di libri ecc.), ma anche la qualità del processo e dei ricercatori coinvolti nel processo e delle strutture nelle quali operano tali ricercatori (Università ed Enti di ricerca) ... Valutare la ricerca vuole anche dire valutare l’impatto ossia gli effetti che la ricerca produce nei confronti della comunità” (Marchi, Marasca, &
Giuliani, 2013, p. 100).
Quindi, come emerge dalle definizioni sopra menzionate, l’obiettivo di tale attività è quello di ricavare una serie di informazioni, sintetiche e corrette, sulla qualità e l’impatto della ricerca scientifica e quindi sulla qualità del lavoro svolto dai ricercatori e più in generale dalle Università (Baccini, 2010).
Queste informazioni costituiscono poi la base per alcune decisioni fondamentali all’interno delle Università, così come per alcune scelte da parte dello Stato attraverso gli organi di governo delle Università e del sistema economico e di controllo/valutazione (per esempio
19
l’ANVUR in Italia) e, più in generale, la comunità politica (Marchi, Marasca, & Giuliani, 2013). Nello specifico, le Università utilizzano tali informazioni per prendere decisioni riguardo le assunzioni e le progressioni di carriera dei ricercatori/professori universitari, per il finanziamento dei progetti di ricerca ecc. Per quanto riguarda gli organi di governo invece, queste informazioni sono alla base delle decisioni riguardo l’allocazione delle risorse finanziarie pubbliche per il finanziamento della scienza e quindi per il finanziamento di Università, dipartimenti, enti di ricerca ecc. (Geuna & Martin, 2003).
Dunque, le finalità della valutazione della ricerca scientifica sono varie e possono dipendere da fattori di carattere politico e socio economico (Penfield, Baker, Scoble, & Wykes, 2014). Tuttavia, è possibile individuare alcuni obiettivi principali comuni ai differenti sistemi di valutazione adottati dai vari Paesi. Per esempio, Panfield et al. (2014) individuano quattro obiettivi principali alla base delle ragioni della valutazione:
1. overview - fornire alle Università e agli altri istituti di ricerca (compreso gli organi di governo delle Università e del sistema economico e di controllo/valutazione) informazioni utili ai fini della valutazione e della gestione della loro performance e della valutazione del contributo da esse dato alla comunità locale, nazionale e internazionale;
2. accountability - dimostrare ai vari stakeholder e alla comunità in generale il valore della ricerca e i benefici da essa generata, al fine di giustificare ai contribuenti l’utilizzo delle risorse pubbliche;
3. inform funding - fornire informazioni utili al governo per consentire di allocare le risorse pubbliche, scarse, in maniera efficace ad efficiente alle Università e agli istituti di ricerca più efficienti;
4. understand - capire quali sono i punti di forza e di debolezza del sistema della ricerca, le metodologie e i percorsi migliori che consentono di massimizzare i
20
benefici generati dalla ricerca scientifica, con l’obiettivo di supportare i governi nella formulazione delle politiche sulla ricerca, e le Università nella gestione della loro strategia.
Abramo e D’Angelo (2015) concordano con quanto sostenuto da Panfield et al. (2014) aggiungendo, tuttavia, un ulteriore obiettivo ai precedenti. Nello specifico, tale obiettivo riguarda la riduzione dell’asimmetria informativa tra gli utenti e i fornitori della nuova conoscenza, ed è considerato dagli autori il più importante tra i diversi obiettivi alla base della valutazione della ricerca. In particolare, secondo Abramo e D’Angelo (2015) fornire agli studenti, alle aziende e a tutti coloro che usufruiscono della ricerca scientifica informazioni sul lavoro dei ricercatori, consente ai primi di essere informati sulla produttività e sulle “performance” dei secondi e quindi di poter scegliere il “soggetto” che genera conoscenza di maggiore qualità. Ciò, a sua volta incentiva i ricercatori a migliorare la loro produttività e quindi la qualità del lavoro svolto, con ripercussioni positive sull’intero sistema educativo.
Dunque, sulla base delle considerazioni sopra svolte, è possibile ricondurre l’insieme degli obiettivi sopra individuati, alla base della valutazione della ricerca scientifica, a una duplice ragione. In primo luogo, la valutazione può essere vista come una vera e propria forma di “rendicontazione” dell’attività di ricerca svolta (Penfield, Baker, Scoble, & Wykes, 2014) necessaria, da un lato, a fornire informazioni utili agli organi di governo delle Università ai fini della distribuzione delle risorse pubbliche tra i diversi Atenei, Dipartimenti, ricercatori ecc. e, dall’altro lato, a giustificare nei confronti dei numerosi stakeholder l’impiego delle risorse pubbliche (Czellar & Lanarès, 2013). Ciò, soprattutto in conseguenza di una cultura di public accountability dell'operatore pubblico rispetto ai cittadini e di value for money riferito al valore sociale ed economico degli investimenti pubblici, affermatasi nelle moderne democrazie. In secondo luogo, la valutazione mira a stimolare indirettamente la
21
competitività dei ricercatori, dei Dipartimenti delle Università ecc., con l’obiettivo finale di favorire un miglioramento complessivo della produzione da parte dell’intero sistema (Banfi & De Nicolao, 2013; Abramo & D'Angelo, 2011; Abramo & D'Angelo, 2015).
1.3. L’oggetto della valutazione della ricerca scientifica
Il processo di valutazione della ricerca richiede per il suo svolgimento la definizione di due elementi chiave: l’oggetto della valutazione e i criteri utilizzati per attuarla. Dato che i criteri utilizzati nella valutazione della ricerca saranno oggetto dei capitoli successivi, in questo paragrafo verrà focalizzata l’attenzione sull’oggetto della valutazione, che rappresenta uno degli aspetti principali di tutto il processo.
In generale, in letteratura e nei sistemi di valutazione nazionale della ricerca si tende a parlare di valutazione della qualità della ricerca scientifica. Tuttavia, in letteratura non esiste una definizione univoca ed universalmente accettata di qualità e, soprattutto nell’ambito della valutazione della ricerca scientifica, la sua definizione risulta essere molto più complessa (Butler, 2007; Czellar & Lanarès, 2013). In particolare, le difficoltà nel definire il concetto di qualità della ricerca nascono principalmente dalla sua natura complessa e multidimensionale (Butler, 2007; Baccini, 2010), come evidenziato dalle diverse definizioni presenti in letteratura.
Per esempio, Moed, Burger, Frankfort e Van Raan (1985) nel definire il concetto di qualità della ricerca individuano tre dimensione specifiche: quella cognitiva, che fa riferimento all’importanza del contenuto e delle idee scientifiche del prodotto di ricerca; quella
metodologica ovvero la precisione dei metodi e delle tecniche utilizzate nel condurre la
ricerca; infine, la dimensione estetica che fa riferimento alla chiarezza con cui la ricerca viene presentata.
Un ulteriore dimensione del concetto di qualità viene messa in risalto da van Raan (1996), che definisce la qualità come “una misura del grado con cui un gruppo o un singolo
22
scienziato contribuisce al progresso della nostra conoscenza”. In sostanza, egli parla di
contributo dato alla scienza in termini di capacità di risolvere problemi, di fornire nuovi intuizioni alla realtà e di favorire lo sviluppo di nuove tecnologie.
Per risolvere il problema definitorio del concetto di qualità della ricerca scientifica, e tenere separate le diverse dimensioni che lo costituiscono, alcuni studiosi hanno provato ad individuare quelle che, in linea di principio, rappresentano le principali dimensioni costitutive la qualità di un lavoro scientifico.
Per esempio, Martin e Irvine (1983) sostenevano la necessità di dover distinguere tra tre concetti tra loro differenti, ovvero la “qualità”, “l’importanza” e “l’impatto” di un lavoro scientifico. Per quanto riguarda il primo concetto, i due autori definiscono la “qualità” come “una proprietà della pubblicazione e della ricerca descritta in essa” (Martin & Irvine, 1983, p. 70). Nello specifico, i due autori sostengono che il concetto di qualità faccia riferimento al riconoscimento di quanto bene sia stata condotta la ricerca, al fatto che essa sia priva di errori, che presenti una buona metodologia di ricerca e che fornisca un contributo originale al progresso della scienza e così via. Mentre il concetto di “qualità” si riferisce a una dimensione interna della ricerca, le altre due dimensioni si riferiscono alla dimensione esterna della stessa. Nello specifico, mentre l’“importanza” di un prodotto di ricerca rappresenta la “potenziale influenza” che lo stesso potrebbe avere sull’avanzamento della scienza se ci fosse perfetta comunicazione nella scienza, la dimensione “impatto” rappresenta invece l’“attuale influenza” esercitata dal prodotto di ricerca sul progresso della scienza in un determinato periodo di tempo. Inoltre, i due autori evidenziano anche come quest’ultima dimensione sia influenzata da una serie di fattori, come la lingua della pubblicazione, il prestigio, la disponibilità della rivista ecc.
Simile alla precedente, è la distinzione suggerita da Baccini (2010) che individua tre dimensioni della nozione di qualità in riferimento a un prodotto di ricerca: 1) la “qualità
23
interna”, 2) l’“importanza e l’impatto nella comunità scientifica di riferimento”, 3) l’“impatto al di fuori dell’accademia e della comunità degli scienziati”. Nello specifico, con il concetto di “qualità interna” egli si riferisce al modo in cui la ricerca è stata condotta e, in particolare, al riconoscimento di una serie di elementi che la stessa dovrebbe possedere per essere considerata di qualità, come per esempio l’originalità, il rigore scientifico, la chiarezza dell’esposizione ecc. Con la seconda dimensione invece, ovvero l’“importanza e l’impatto all’interno della comunità scientifica”, Baccini si riferisce alla capacità di un lavoro scientifico “di influenzare le ricerche condotte da altri, di produrre conoscenza utilizzata da
altri nel proprio lavoro e di aprire la strada a nuove vie per lo sviluppo della scienza”
(Baccini, 2010, p. 42). Tuttavia, l’autore ritiene necessario un ulteriore distinzione tra i concetti di “importanza” e “impatto interno”. In particolare, Baccini parla di “importanza scientifica” di un prodotto di ricerca in riferimento al riconoscimento della sua rilevanza per gli sviluppi della scienza che, generalmente, può essere pienamente apprezzata solo nel lungo periodo a causa delle imperfezioni nei modi di comunicare la scienza. L’“impatto interno” sulla comunità scientifica invece, rappresenta “il riconoscimento tributato a un
contributo scientifico dalla comunità dei pari in un dato intervallo temporale” (Baccini,
2010, p. 44). Tale distinzione, sembra essere in linea con quanto suggerito da Martin e Irvine (1983). Inoltre, Baccini (2010) introduce un ulteriore dimensione della valutazione che fa riferimento all’“impatto” della ricerca all’“esterno” della comunità scientifica. In particolare, egli si riferisce alle ricadute socio economiche dell’attività di ricerca sulla comunità in generale.
Il riconoscimento di tali dimensioni viene messo in risalto anche da Marchi et al. (2013) che, nel definire l’attività di valutazione della ricerca, evidenzia come tale processo sia finalizzato al riconoscimento di due particolari dimensioni della ricerca, ovvero la “qualità” e il suo “impatto” interno ed esterno alla comunità scientifica.
24
In letteratura, non viene fatta una distinzione chiara e netta delle diverse dimensioni costitutive la qualità di un lavoro scientifico. Come evidenzia Donovan (2011), alcuni studiosi e alcuni esercizi nazionali di valutazione separano le diverse dimensioni della qualità mentre, in altri casi, si tende ad utilizzare il termine impatto includendo anche gli elementi di qualità e viceversa. Per esempio, in alcuni contesti come il REF nel Regno Unito e il Research Quality Framework (RQF) in Australia, viene fatta una netta distinzione tra “qualità” e “impatto” della ricerca, con la conseguenza che la valutazione delle due dimensioni viene svolta separatamente (Donovan, 2011; Penfield, Baker, Scoble, & Wykes, 2014). In altri contesti invece, come spesso accade anche in letteratura in cui si tende a sovrapporre i due concetti, queste due dimensioni vengono valutate insieme. In particolare, si tende a considerare l’“impatto” come un’approssimazione della “qualità” di un prodotto di ricerca (Baccini, 2010), con la conseguenza di includere nella definizione di “qualità” anche gli elementi caratterizzanti l’“impatto”.
Tuttavia, vale la pena precisare che se un prodotto di ricerca viene valutato di qualità, ciò non comporta necessariamente che quel prodotto abbia anche un impatto all’interno della comunità scientifica di riferimento o addirittura al di fuori di essa. Dunque, trattandosi di due concetti distinti e ben definiti, essi dovrebbero essere trattati separatamente nell’ambito del processo della valutazione della ricerca.
La definizione precisa ed accurata di qualità e impatto è una questione assai importante e soprattutto necessaria, in quanto solo una volta definito l’oggetto della valutazione si è in grado di poter scegliere il criterio e la metodologia più adatta per valutarlo. Per questo motivo, nei paragrafi successivi le diverse dimensioni della nozione di qualità sopra menzionate verranno analizzate separatamente, dato che rappresentano distinte dimensioni della ricerca scientifica. Nello specifico, sulla base delle considerazioni sopra svolte, il
25
concetto di qualità della ricerca nel presente lavoro viene suddiviso in tre dimensioni specifiche: “qualità interna”, “impatto interno” e “impatto esterno” alla comunità scientifica.
1.3.1. Qualità interna della ricerca scientifica
Il concetto di “qualità interna”, che da ora in avanti indicheremo con il solo termine “qualità”, viene definito in maniera diversa a seconda dei diversi sistemi di valutazione nazionali. Tuttavia, quando si parla di qualità di un prodotto scientifico si fa riferimento, in generale, alla qualità intrinseca del prodotto valutato e quindi a una serie di elementi che il prodotto stesso dovrebbe possedere.
Per esempio, Martin e Irvine (1983) sostengono che il concetto di “qualità” faccia riferimento ad una serie di elementi interni al prodotto di ricerca legati al modo in cui la ricerca è stata condotta, al fatto che sia priva di errori e che presenti una solida metodologia di analisi ecc. Allo stesso modo anche Moed et al. (1985), che individuano una serie di elementi costitutivi il concetto di qualità. In particolare, essi individuano tre particolari dimensioni: quella cognitiva, che fa riferimento all’importanza del contenuto e delle idee scientifiche del prodotto di ricerca; quella metodologica ovvero la precisione dei metodi e delle tecniche utilizzate nel condurre la ricerca; e infine, la dimensione estetica che fa riferimento alla chiarezza con cui la ricerca viene presentata.
Quindi, come si evince da quanto detto sopra, valutare la dimensione “qualità” di un prodotto scientifico significa verificare che il prodotto stesso rispetti determinati standard (di qualità) riconosciuti a livello nazionale e/o internazionale. Come menzionato sopra, tali standard di qualità riguardano una serie di elementi, tra loro diversi, che fanno riferimento al modo in cui la ricerca è stata condotta e scritta. Inoltre, tali standard non sono universali e, soprattutto, possono variare nel tempo.
Tuttavia, diversi studi sul tema (Baccini, 2010; Czellar & Lanarès, 2013) hanno messo in evidenza una serie di elementi comuni, utilizzati all’interno dei diversi esercizi nazionali di
26
valutazione, al fine di determinare quella che è la “qualità” intrinseca di un prodotto di ricerca. Questi elementi sono:
1. il rigore della metodologia adottata, inteso come il livello al quale il prodotto presenta in modo chiaro gli obiettivi della ricerca e lo stato dell’arte nella letteratura, adotta una metodologia appropriata all’oggetto della ricerca e dimostra che gli obiettivi sono stati raggiunti. Nello specifico, ciò che si va a valutareè la robustezza dell’impianto teorico, dell’apparato metodologico, dei dati utilizzati nella ricerca e altri elementi che possono essere più o meno esplicitati, come per esempio la chiarezza dell’esposizione, lo stile della scrittura, il linguaggio utilizzato ecc. 2. la presenza di elementi di originalità, cosi come anche di innovazione e
internazionalizzazione. In questo caso, si fa riferimento al livello al quale il prodotto
introduce un nuovo modo di pensare in relazione all’oggetto scientifico della ricerca e si distingue dagli approcci precedentemente utilizzati allo stesso oggetto di ricerca. In particolare, si va a verificare che una ricerca non sia solo una replica di un precedente lavoro, ma che sia un lavoro che consenta allo studioso di cimentarsi in dibattiti con domande nuove, di affrontare problemi esistenti secondo prospettive innovative ecc. Dunque, tale aspetto riguarda la capacità del prodotto di ricerca di produrre nuova conoscenza, che può avvenire tramite lo sviluppo di nuovi progetti, metodi e metodologie, modelli teorici e così via.
Altro aspetto importante è quello dell’internazionalizzazione della ricerca, in cui si va a verificare il grado di interesse generato dalla ricerca a livello internazionale. In sostanza, una ricerca viene definita di qualità se questa contribuisce non solo a produrre nuova conoscenza all’interno della letteratura nazionale, ma anche e soprattutto nella letteratura internazionale e quindi, se è in grado di suscitare l’interesse anche di un lettore internazionale.
27
3. la rilevanza della ricerca, ovvero l’importanza scientifica che un prodotto di ricerca può rivestire nell’ambito della comunità scientifica di riferimento. Nello specifico, si valuta la capacità di un prodotto di ricerca di contribuire allo sviluppo del settore scientifico di riferimento, la capacità di influenzare le ricerche condotte da altri, di produrre conoscenza utilizzata da altri nel proprio lavoro, di aprire la strada a nuove vie per lo sviluppo della scienza ecc. Dunque, si fa riferimento al riconoscimento della rilevanza di un prodotto di ricerca per lo sviluppo di una certa area disciplinare che, generalmente, può essere apprezzato solo nel lungo periodo (Baccini, 2010). Dunque, sulla base di questi elementi e della loro valutazione rispetto agli standard di qualità prevalentemente adottati a livello sia nazionale che internazionale, il revisore andrà a determinare se una ricerca può essere definita di qualità o meno. Tali elementi infatti, sono quelli che vengono utilizzati per esempio nell’attuale VQR in Italia, dove il giudizio di qualità finale viene espresso sulla base dei criteri di originalità, rigore metodologico,
impatto attestato o potenziale nella comunità scientifica internazionale di riferimento, e nel
REF inglese dove viene indicato che: “I sotto-gruppi valuteranno la qualità dei prodotti
ricerca presentati in termini della loro "originalità, significatività e rigore", con riferimento agli standard internazionali di qualità della ricerca” (REF, 2011, p. 6).
Ai fini del presente lavoro, è importante precisare che valutare se un prodotto di ricerca contenga gli elementi caratterizzanti la sua “qualità” intrinseca è un’attività che può essere svolta, in modo adeguato, solo attraverso un’analisi attenta da parte di un soggetto dotato di competenze e conoscenze specifiche della comunità scientifica di riferimento. Quindi, come suggerito da diversi studiosi (Moed, Burger, Frankfort, & Van Raan, 1985; van Raan, 1996; Baccini, 2010) tale dimensione può essere catturata solo attraverso un adeguato processo di revisione dei pari.
28
1.3.2. Impatto della ricerca
La seconda dimensione che costituisce l’oggetto del processo di valutazione della ricerca si riferisce all’“impatto” del prodotto scientifico. Marchi et al. (2013) definiscono tale dimensione della ricerca come gli effetti, positivi o negativi, che un prodotto di ricerca ha generato sulla comunità scientifica di riferimento, sulla comunità professionale, sociale, politica ecc.
Tuttavia, in letteratura esistono diverse accezioni di impatto (Levin, 2004; Harzing, 2010; Donovan, 2011; Martin, 2011). Nello specifico, si tende a distinguere tra: “impatto accademico”, inteso come contributo teorico dato all’interno di una determinata disciplina o campo di studi, e “impatto socio-economico” ovvero al di fuori dell’ambito accademico (Penfield, Baker, Scoble, & Wykes, 2014).
Per quanto riguarda il primo aspetto – “impatto accademico” - si fa riferimento all’influenza che un prodotto di ricerca può avere all’interno della comunità scientifica di riferimento (Levin, 2004). In particolare, come evidenziato da Martin e Irvine (1983) e Baccini (2010), tale dimensione rappresenta il riconoscimento dato dalla comunità scientifica a un prodotto di ricerca in termini di influenza esercitata dallo stesso sul progresso della scienza in un determinato periodo di tempo. Quindi, ciò che si valuta è l’apporto dato da un prodotto di ricerca al progresso e allo sviluppo della scienza, cosi come la sua capacità di influenzare in futuro i lavori degli altri accademici.
Il riconoscimento dell’impatto all’interno della comunità scientifica avviene, generalmente, nella forma della citazione di un contributo scientifico da parte di altri studiosi nei propri lavori (Martin & Irvine, 1983; Moed, Burger, Frankfort, & Van Raan, 1985). Infatti, è alla base di questa idea, ovvero che la citazione possa essere considerata un indicatore dell’impatto e dell’importanza di un prodotto scientifico, che si è avuto lo sviluppo delle pratiche scientometriche contemporanee e quindi degli indicatori bibliometrici. Quindi, nel catturare l’impatto all’interno della comunità scientifica di riferimento, nel processo di
29
valutazione viene preferito l’utilizzo dei metodi quantitativi, basati sul conteggio del numero di citazioni ricevute da un prodotto di ricerca che, avendo la caratteristica di essere misure oggettive, riescono a cogliere bene l’impatto sulla comunità scientifica. Tale impostazione, è per certi versi quella adottata da alcuni sistemi di valutazione come quello italiano, focalizzati sull’utilizzo degli indicatori bibliometrici e dei ranking per valutare l’impatto sulla comunità scientifica (Marchi, Marasca, & Giuliani, 2013).
La seconda accezione di “impatto” invece, fa riferimento all’impatto che un prodotto di ricerca ha, o può avere, all’esterno della comunità scientifica. In sostanza, con tale concetto ci si riferisce all’impatto pratico sulla sub-comunità dei professionals e l’impatto sociale sulla comunità intesa in senso lato. Per esempio, Baccini (2010) definisce tale dimensione come le ricadute socio economiche dell’attività di ricerca sulla società in generale. Khazragui e Hudson (2014) descrivono invece l’impatto della ricerca in termini di contributo dato alla crescita economica e al benessere globale di un Paese. Nello specifico, secondo i due studiosi, tale contributo può essere misurato in termini di effetti (positivi o negativi) generati da un prodotto di ricerca sulla società in generale (ricerche che impattano in maniera positiva sul benessere dei consumatori, sulla qualità della vita delle persone, sulla salute, sulla tutela dell’ambiente), sulle aziende (benefici derivanti dall’aumento dei profitti o dalla diminuzione dei costi, dallo sviluppo di nuove tecnologie) e sulle politiche del governo. Quindi, in sostanza, si fa riferimento alle conseguenze sociali, culturali, ambientali ed economiche della ricerca. L’idea di fondo, sviluppatasi soprattutto negli ultimi anni, è che anche tali ricadute socioeconomiche dell’attività di ricerca debbano essere considerate all’interno delle procedure di valutazione della ricerca. Ne è un esempio il Research
Excellence Framework (REF) britannico, dove la dimensione impatto, definita come “un effetto, un cambiamento, un beneficio portato all’economia, alla società, alla cultura, alle politiche pubbliche o ai servizi, alla salute, all’ambiente o alla qualità della vita, al di fuori
30
dell’accademia” (REF, 2011, p. 26), rappresenta una componente chiave del processo di
valutazione (Khazragui & Hudson, 2014).
Tuttavia, vale la pena precisare che la valutazione di tale dimensione richiede delle metodologie differenti rispetto ai criteri utilizzati per catturare la “qualità” intrinseca e l’“impatto accademico” di un prodotto di ricerca e, allo stato attuale, non esiste una metodologia prevalente.
1.4. L’oggetto della valutazione nelle discipline economico-aziendali:
alcune considerazioni
Nonostante la tendenza è stata sempre quella di valutare la qualità intrinseca dei prodotti di ricerca e il loro impatto all’interno della comunità scientifica di riferimento, negli ultimi anni, sempre più l’attenzione si sta spostando sulla seconda dimensione dell’impatto, ovvero sugli effetti generati dalla ricerca al di fuori dell’ambito accademico. Questa tendenza viene dimostrata da un lato, dai tentativi avviati in alcuni Paesi, in particolare Australia, Belgio, Regno Unito, Italia, Francia (Bornmann, 2017), di far riferimento nel processo di valutazione anche alla dimensione esterna dell’impatto e, dall’altro lato, dalla crescente letteratura sia nazionale che internazionale (Scapens, 1994; Laughlin, 2011; Marchi, Marasca, & Giuliani, 2013; Paolini & Quagli, 2013; Khazragui & Hudson, 2014) sul tema.
In particolare, questi studi sostengono la necessità di catturare, nell’ambito della valutazione della ricerca, non solo gli elementi di qualità di un prodotto scientifico e il suo impatto all’interno della comunità scientifica di riferimento, ma anche e soprattutto l’impatto generato dal prodotto al di fuori dell’accademia (Marchi, Marasca, & Giuliani, 2013). A tal fine, emerge la necessità di trovare strumenti adeguati in grado di stimare il “reale” impatto della ricerca, date le difficoltà e i numerosi limiti degli attuali strumenti utilizzati negli esercizi nazionali di valutazione della qualità della ricerca (Paolini & Quagli, 2013).
31
Di fatti, come anticipato nel paragrafo precedente, catturare tale dimensione della ricerca è cosa assai difficile e complessa. Non sempre l’impatto socio economico di una ricerca è facilmente quantificabile e, soprattutto, non sempre gli effetti di una ricerca si verificano immediatamente ma, il più delle volte, c’è bisogno di tanto tempo per verificarne l’impatto. Inoltre, non sempre è facile attribuire tali effetti e benefici a una singola ricerca (Grant, Brutscher, Kirk, Butler, & Wooding, 2010; Martin, 2011). Tale difficoltà, è maggiore in alcune discipline, tra cui quelle economico-aziendali, dove vuoi per le caratteristiche della disciplina, vuoi per la tendenza a distinguere in modo netto e spesso ad allontanare la ricerca dalla pratica quotidiana, l’impatto esterno alla comunità scientifica risulta più difficile da catturare (Tilt, 2010).
Tuttavia, il giudizio sulla qualità non può prescindere dalla valutazione degli effetti che la stessa produce anche al di fuori della comunità scientifica. Come sostenuto da Marchi et al. (2013), la ricerca svolge un ruolo fondamentale non solo per il mondo accademico, ma anche all’esterno. Di conseguenza, essa dovrebbe essere finalizzata non solo ad accrescere la conoscenza all’interno della scienza, ma anche a produrre degli “output” utili sia per l’intera collettività, sia per i destinatari principali della ricerca che, nelle discipline economico-aziendali, sono rappresentati dalle aziende (Zappa, 1956; Franceschi, 1978), pubbliche amministrazioni, istituzioni finanziarie e tutto il mondo dei professionals, come per esempio i manager, i consulenti, contabili ecc.
Come menzionato all’inizio del presente capitolo, l’obiettivo della ricerca scientifica è produrre conoscenza in grado di produrre benefici per l’intera collettività. Quindi, di conseguenza, la sua valutazione dovrebbe essere finalizzata non solo a verificarne la sua qualità intrinseca e l’impatto all’interno della comunità scientifica di riferimento, ma soprattutto l’impatto da essa prodotto all’esterno della comunità scientifica, ovvero i benefici generati per i cosiddetti utenti della ricerca e, più in generale per l’intera collettività.
32
Ai fini del presente studio, sulla base delle considerazioni sopra svolte, l’autore considera come oggetto della valutazione della ricerca scientifica nelle discipline economico-aziendali la “qualità globale” della ricerca, intesa sia come qualità intrinseca in termini di originalità, rigore metodologico e rilevanza della ricerca, sia come impatto interno ed esterno alla comunità scientifica di riferimento. Tale premessa è fondamentale ai fini del presente lavoro in quanto, solo dopo aver definito l’oggetto della valutazione, è possibile analizzare i limiti e i vantaggi dei criteri (analisi bibliometrica e revisione dei pari) utilizzati per la valutazione della ricerca nell’ambito degli esercizi nazionali di valutazione della ricerca.
33
2. Gli indicatori bibliometrici nella valutazione della ricerca
scientifica
Introduzione
All’interno della letteratura sulla valutazione della ricerca scientifica, numerosi studiosi hanno focalizzato la loro attenzione, oltre che sull’oggetto della valutazione (qualità e/o impatto) come visto nel capitolo precedente, sulle metodologie/strumenti utilizzati per valutare i diversi prodotti di ricerca, i ricercatori, i Dipartimenti ecc.
Quest’ultimo tema, negli ultimi anni ha assunto un ruolo centrale nella letteratura sulla valutazione della ricerca data la scarsità delle risorse pubbliche da destinare al finanziamento della ricerca e della conseguente necessità di trovare metodologie oggettive in grado di allocare in maniera efficace ed efficiente le risorse, scarse, ai Dipartimenti, ricercatori ecc. più performanti.
In questo ambito, accanto alla tradizionale valutazione qualitativa basata sul giudizio dei “pari” (peer review), un ruolo particolare è ricoperto dalla valutazione quantitativa basata sull’utilizzo degli indicatori bibliometrici, su cui viene focalizzata l’attenzione in questo capitolo.
2.1. Lo sviluppo degli indicatori bibliometrici
Gli indicatori bibliometrici rappresentano oggi lo strumento principale dei policy-maker per la valutazione dei prodotti di ricerca, ricercatori, Dipartimenti, Università ecc. (Esterle, 2007). Nonostante la crescente attenzione sugli indicatori bibliometrici si è avuta negli ultimi venti anni con lo sviluppo delle grandi banche dati bibliografiche, bisogna tornare indietro agli inizi degli anni ‘60 per ripercorrere la nascita di tali strumenti, inizialmente nati con
34
finalità diverse rispetto al loro attuale utilizzo nel processo di valutazione della ricerca scientifica (Czellar & Lanarès, 2013).
Lo sviluppo degli indicatori bibliometrici infatti, si ha con la nascita della bibliometria e, più in generale, della scientometria.Quest’ultima, fondata in torno agli anni ’60 da John De Solla Price, è l’insieme delle tecniche, procedure e strumenti atti a misurare e analizzare la scienza e in particolare le produzioni scientifiche (De Robbio, 2007; Banfi & De Nicolao, 2013). La scientometria è un campo di studio molto specialistico e piuttosto complesso che coinvolge varie figure e comunità in tutto il mondo, specialisti e ricercatori in bibliometria, società scientifiche, periodici e i partecipanti ai forum e liste di discussione entro le varie discipline.
Il concetto di bibliometria invece, termine utilizzato per la prima volta da Pritchard (1969) che la definì come “l’applicazione di metodi matematici e statistici a libri e altri mezzi di
comunicazione”, fa riferimento a quella scienza, all’interno della scientometria, che utilizza
tecniche matematiche e statistiche per analizzare i modelli di distribuzione delle pubblicazioni scientifiche e per verificare il loro impatto all’interno delle comunità scientifica di riferimento. Essa quindi ha l’obiettivo di valutare la qualità della ricerca scientifica in termini di produttività e impatto, popolarità e prestigio, attraverso l’utilizzo di metodi quantitativi (Cassella & Bozzarelli, 2011; Banfi & De Nicolao, 2013).
È all’interno della bibliometria che nascono gli indicatori bibliometrici, strumento di misurazione quantitativa per eccellenza, declinato in numerose varianti e calcolato sulla base di una fonte bibliografica accreditata (Giuliani & Marasca, 2015). La nascita degli indicatori bibliometrici e, più in generale lo sviluppo dal punto di vista teorico della scientometria e della bibliometria, è da far risalire in gran parte al lavoro di una persona, Eugene Garfield,
