Appendice A. Confronto tra valutazione peer e valutazione bibliometrica

(1)

Appendice A. Confronto tra valutazione peer e valutazione bibliometrica

A.1 Il campione casuale

Un campione casuale di 631 articoli su rivista passibili di valutazione bibliometrica è stato estratto dalla popolazione di 6758 articoli, valutabili bibliometricamente, sottomessi alla valutazione nel GEV01. La popolazione è stratificata in base della distribuzione dei prodotti all’interno dei 4 sub- GEV identificati nell’Area, ossia: Informatica; Matematica fondamentale; Analisi e probabilità;

Matematica applicata. La classificazione degli articoli all’interno dei sub-GEV si basa sul sub-GEV di effettiva valutazione dell’articolo, ed è calcolata escludendo i casi di articoli duplicati presentati da diversi autori all’interno di uno stesso strato campionario. Il campione include il 10% dei prodotti di Informatica, il 9,1% di prodotti di Matematica fondamentale, il 9% di prodotti di Analisi e probabilità e il 9,3% di prodotti di Matematica applicata (Tab. A.1). Il campione è stato estratto ai primi di settembre 2012, prima dell’inizio del processo di revisione peer, mediante una procedura casuale con il vincolo di selezionare una proporzione significativa di prodotti in ciascun sub-GEV.

Sub-GEV Popolazione Campione %

Informatica 1636 164 10,0

Matematica fondamentale 1337 121 9,1

Analisi e probabilità 1994 179 9,0

Matematica applicata 1791 167 9,3

Totale 6758 631 9,3

Tabella A.1 Distribuzione degli articoli su rivista nel campione e nella popolazione

Classe Popolazione % Campione %

Informatica

E 1023 62,53 100 60,98

B 170 10,39 16 9,76

A 31 1,89 5 3,05

L 105 6,42 8 4,88

IR 307 18,77 35 21,34

Matematica fondamentale

E 591 44,20 51 42,15

B 176 13,16 18 14,88

A 87 6,51 9 7,44

L 169 12,64 16 13,22

(2)

IR 314 23,49 27 22,31 Analisi e probabilità

E 890 44,63 82 45,81

B 233 11,69 22 12,29

A 102 5,12 9 5,03

L 144 7,22 12 6,70

IR 625 31,34 54 30,17

Matematica applicata

E 597 33,33 44 26,35

B 243 13,57 19 11,38

A 108 6,03 11 6,59

L 175 9,77 16 9,58

IR 668 37,30 77 46,11

Totale

E 3101 45,89 277 43,90

B 822 12,16 75 11,89

A 328 4,85 34 5,39

L 593 8,77 52 8,24

IR 1914 28,32 193 30,59

Tabella A.2 Distribuzione delle valutazioni bibliometriche nel campione e nella popolazione

La Tabella A.2 riporta la distribuzione nelle classi di valutazione VQR (Eccellente; Buono;

Accettabile; Limitato; Incerto (IR)) ottenuta utilizzando la valutazione bibliometrica degli articoli su rivista nei quattro sub-GEV, per il campione e per la popolazione. Come si vede, la distribuzione delle valutazioni bibliometriche (E/ B/ A/ L/ IR) è sufficientemente vicina nella popolazione e nel campione, sia per il totale che per i sub-GEV così da concludere che il campione estratto è rappresentativo della popolazione di riferimento.

Per ciascun articolo su rivista incluso nel campione casuale sono disponibili le seguenti informazioni:

•

Rapporto del primo revisore (P1)

•

Rapporto del secondo revisore (P2)

•

Rapporto di un eventuale terzo e quarto revisore (P3 e P4)

•

Valutazione di sintesi dei giudizi del primo e secondo revisore (P)

•

Valutazione bibliometrica (F)

Le variabili P e P1-P4 assumono come valore una delle 4 classi di valutazione E, B, A, L; la

valutazione bibliometrica F ha come possibile risultato anche la classe di valutazione “IR”, ossia il

suggerimento di procedere con la “informed peer review” nel caso di risultati molto diversi tra i due

(3)

indicatori bibliometrici (riviste e numero citazioni, cfr. i criteri del GEV descritti nell’Appendice B). Le quattro classi, secondo il Bando VQR, sono definite con riferimento ai percentili della distribuzione della qualità degli articoli pubblicati nel mondo. In particolare, la qualifica eccellente corrisponde ad un articolo che si colloca nel 20% superiore della distribuzione della qualità degli articoli pubblicati nel mondo, quella di buono nel successivo 20%, di accettabile nel successivo 10% e, infine, quella di limitato nel 50% inferiore. Le variabili P1-P4 sono originariamente misurate su una scala numerica compresa tra 0 e 9, con un punteggio da 0 a 3 assegnato a 3 diversi criteri; tali punteggi sono successivamente utilizzati per determinare per ciascun prodotto sottomesso a valutazione la classe di valutazione peer del prodotto, sulla base dei criteri fissati dal GEV

¹

; le variabili P ed F sono invece rispettivamente espresse in termini delle 4 o 5 classi di valutazione sopra elencate. Sulla base del Bando VQR, alle quattro classi E, B, A, L corrispondono rispettivamente i punteggi 1; 0,8; 0,5; 0.

La classificazione adottata nell’analisi bibliometrica si basa sui criteri descritti nell’Appendice B di questo rapporto. Nella revisione dei pari, ai revisori esterni è stato richiesto di valutare ciascun prodotto sulla base della loro percezione soggettiva della qualità del prodotto rispetto alla distribuzione mondiale dei prodotti della ricerca nel settore scientifico a cui il prodotto faceva riferimento. La valutazione dei revisori è stata quindi sintetizzata sulla base di un algoritmo specifico al GEV01, secondo il quale, rispettivamente: i prodotti di classe E erano quelli con un punteggio complessivo pari a 8-9; i prodotti di classe B avevano un punteggio complessivo pari a 6- 7; i prodotti di classe A un punteggio complessivo pari a 5 e i prodotti di classe L un punteggio inferiore o uguale a 4. Al fine di confrontare i risultati della valutazione bibliometrica e della revisione tra pari, si procede nel seguito a confrontare gli indicatori F e P. Anche altri confronti possono essere tuttavia di importanza significativa: in particolare il confronto tra le valutazioni tra pari P1 e P2 consente di valutare il grado di corrispondenza dei giudizi tra i due revisori

²

.

A.2 Le distribuzioni F e P

Le distribuzioni F e P sopra descritte non sono immediatamente confrontabili, dato che la distribuzione F delle valutazioni bibliometriche comprende una classe IR che non è invece prevista nella valutazione dei pari. E’ però possibile ipotizzare che una discordanza di almeno due classi tra la valutazione del primo e secondo revisore segnali un’incertezza della revisione dei pari del tutto analoga a quella che emerge dal confronto tra numero di citazioni e fattore di impatto della sede di pubblicazione nell’analisi bibliometrica: in analogia con la classificazione IR della valutazione bibliometrica, si è creata dunque una corrispondente classificazione “Incerta Peer” (IP) per la valutazione dei pari, al fine di consentire il confronto tra le distribuzioni F e P. La Tabella A.3 mostra la distribuzione in numeri assoluti e percentuali degli indicatori F e P sopra descritti per il totale del campione del GEV01.

1 L’etichetta “P1” e “P2” assegnata ai due revisori è puramente convenzionale e riflette esclusivamente l’ordine di accettazione della proposta di revisione avanzata al potenziale revisore.

2 Nel GEV1, per 15 prodotti è stato necessario procedere anche a una terza valutazione dei pari. La terza valutazione non è stata qui considerata.

(4)

Valutazione bibliometrica (F) Valutazione peer (P)

E B A L IP Totale

E 114 92 13 8 50 277

% rispetto al totale delle valutazioni

bibliometriche di classe E 41,2 33,2 4,7 2,9 18,1 100

B 7 28 7 22 11 75

bibliometriche di classe B 9,3 37,3 9,3 29,3 14,7 100

A 1 7 2 14 10 34

bibliometriche di classe A 2,9 20,6 5,9 41,2 29,4 100

L 2 13 2 22 13 52

bibliometriche di classe L 3,8 25,0 3,8 42,3 25,0 100

IR 41 60 16 32 44 193

bibliometriche IR 21,2 31,1 8,3 16,6 22,8 100

Totale 165 200 40 98 128 631

bibliometriche 26,1 31,7 6,3 15,5 20,3 100

Tabella A.3: Confronto tra F e P – totale del campione

Gli elementi sulla diagonale principale della Tabella A.3 corrispondono ai casi in cui la valutazione dei pari e quella bibliometrica coincidono. Gli elementi al di fuori della diagonale principale corrispondono invece ai casi di non coincidenza tra F e P, o perché la valutazione F è migliore della P (elementi al di sopra della diagonale principale) o viceversa (elementi al di sotto della diagonale).

La Tabella A.3 mostra che la principale discordanza tra la valutazione bibliometrica e quella dei

pari è dovuta al fatto che la valutazione bibliometrica è più generosa. In particolare, gli articoli

classificati come eccellenti sulla base degli indicatori bibliometrici sono 277, contro i soli 165

articoli eccellenti della valutazione tra pari: solo il 41,2% degli articoli classificati come E secondo

la bibliometria ottiene E anche secondo la revisione dei pari, mentre rispettivamente nel 33,2%,

4,7% e 2,9% dei casi i prodotti bibliometricamente eccellenti risultano buoni, accettabili o limitati

nella valutazione dei pari. D’altro lato, il numero di articoli che sono classificati in B, A e L dalla

valutazione dei pari (200, 40 e 98 articoli rispettivamente) è nettamente più elevato rispetto agli

articoli che risultano in B, A ed L secondo la valutazione bibliometrica (75, 34 e 52 articoli

rispettivamente). Infine, la numerosità di valutazioni incerte è maggiore nel caso della valutazione

bibliometrica rispetto alle revisioni tra pari (193 casi contro 128). Le valutazioni bibliometriche

incerte hanno in oltre il 50% dei casi una valutazione almeno pari a B nell’analisi peer, e viceversa.

(5)

Complessivamente, l’analisi bibliometrica e la revisione tra pari coincidono in circa un terzo dei casi. Se si sommano alle valutazioni coincidenti quelle che differiscono di una sola classe, si arriva al 54% del campione. Gli articoli con valutazioni che differiscono per due classi sono 49, l’8% del campione, quelli con massima discordanza (ossia, che differiscono per 3 classi) sono solo 10 (l’1,6% del campione). Il restante 37% del campione ha una assegnazione IR o IP con uno dei due metodi, e arriva invece ad una classe di assegnazione definita secondo l’altro metodo.

La Tabella A.4 mostra la distribuzione degli indicatori P1 e P2. Le valutazioni dei due revisori coincidono nel 46% dei casi, sono diverse per una classe di valutazione nel 34% dei casi e divergono invece rispettivamente per 2 o 3 classi di valutazione nel 14% e nel 6% dei casi. E’ da notare anche che le valutazioni su un giudizio di assegnazione alla classe E sono convergenti in 141 casi, pari a circa il 57% del totale delle valutazioni eccellenti (249) fornite dal primo revisore e a circa il 61% delle valutazioni eccellenti (228) del secondo revisore.

P1 P2

E B A L Totale

E 141 63 24 21 249

bibliometriche di classe E 56,6 25,3 9,6 8,4 100

B 52 85 28 26 191

bibliometriche di classe B 27,2 44,5 14,7 13,6 100

A 19 26 9 24 78

bibliometriche di classe A 24,4 33,3 11,5 30,8 100

L 16 22 21 54 113

bibliometriche di classe L 14,2 19,5 18,6 47,8 100

Totale 228 196 82 125 631

bibliometriche 36,1 31,1 13,0 19,8 100,0

Tabella A.4: Confronto tra le valutazioni P1 e P2 – totale del campione

Le Tabelle A.5 e A.6 estendono i risultati delle Tabelle A.3 e A.4 ai singoli sub-GEV. In

particolare, dall’analisi dei dati presentati dalla Tabella A.5 emerge che in tutti i sub-GEV il numero

di valutazioni eccellenti è maggiore secondo la valutazione bibliometrica rispetto alla peer. D’altra

parte, il numero di valutazioni buone, accettabili e limitate è invece sempre maggiore secondo

l’analisi peer rispetto a quella bibliometrica, ad indicazione che la tendenza della valutazione

bibliometrica ad essere più vantaggiosa rispetto a quella peer è comune a tutti i sub-GEV (un test

formale di tale ipotesi è presentato nella Sezione A.3). I casi di discordanza di due classi o più tra le

(6)

due valutazioni sono più frequenti in Analisi e probabilità (12,8%) rispetto ad Informatica (6,1%), Matematica fondamentale (8,3%) e Matematica applicata (9,6%).

Informatica

E B A L IP Totale

E 57 22 2 2 17 100

% rispetto al totale delle valutazioni bibliometriche di classe E

57,0 22,0 2,0 2,0 17,0 100,0

B 2 9 0 4 1 16

% rispetto al totale delle valutazioni bibliometriche di classe B

12,5 56,3 0,0 25,0 6,3 100,0

A 0 1 0 2 2 5

% rispetto al totale delle valutazioni bibliometriche di classe A

0,0 20,0 0,0 40,0 40,0 100,0

L 0 2 0 4 2 8

% rispetto al totale delle valutazioni bibliometriche di classe L

0,0 25,0 0,0 50,0 25,0 100,0

IR 15 9 5 2 4 35

% rispetto al totale delle

valutazioni bibliometriche IR 42,9 25,7 14,3 5,7 11,4 100,0

Totale 74 43 7 14 26 164

valutazioni bibliometriche 45,1 26,2 4,3 8,5 15,9 100,0

E B A L IP Totale

E 21 22 1 1 6 51

41,2 43,1 2,0 2,0 11,8 100,0

B 1 8 3 2 4 18

5,6 44,4 16,7 11,1 22,2 100,0

A 0 4 1 2 2 9

0,0 44,4 11,1 22,2 22,2 100,0

L 2 4 0 4 6 16

(7)

12,5 25,0 0,0 25,0 37,5 100,0

IR 4 7 0 5 11 27

Totale 28 45 5 14 29 121

Analisi e probabilità

E B A L IP Totale

E 27 29 7 3 16 82

32,9 35,4 8,5 3,7 19,5 100,0

B 2 4 2 10 4 22

9,1 18,2 9,1 45,5 18,2 100,0

A 1 2 0 4 2 9

11,1 22,2 0,0 44,4 22,2 100,0

L 0 2 1 8 1 12

0,0 16,7 8,3 66,7 8,3 100,0

IR 11 16 5 10 12 54

Totale 41 53 15 35 35 179

E B A L IP Totale

E 9 19 3 2 11 44

20,5 43,2 6,8 4,5 25,0 100,0

B 2 7 2 6 2 19

10,5 36,8 10,5 31,6 10,5 100,0

A 0 0 1 6 4 11

(8)

0,0 0,0 9,1 54,5 36,4 100,0

L 0 5 1 6 4 16

0,0 31,3 6,3 37,5 25,0 100,0

IR 11 28 6 15 17 77

Totale 22 59 13 35 38 167

Tabella A.5: Confronto tra F e P per sub-GEV

La Tabella A.6 estende i risultati della Tabella A.4 ai singoli sub-GEV. In particolare, dall’analisi emerge che la convergenza nelle valutazioni dei due revisori è più elevata in Informatica (60%) rispetto a Matematica fondamentale (40%), Analisi e probabilità (43%) e Matematica applicata (38%). Le divergenze per almeno 2 classi di valutazione sono più frequenti in Matematica fondamentale (24% dei casi) rispetto a Informatica (15,8%), Analisi e probabilità (19,5%) e Matematica applicata (22,9%). E’ da notare anche che le valutazioni su un giudizio di assegnazione alla classe E sono convergenti in almeno la metà dei casi in tre sub-GEV sui quattro considerati: fa eccezione infatti la Matematica applicata, dove meno della metà delle valutazioni eccellenti del revisore 1 sono eccellenti anche per il revisore 2, e viceversa.

Informatica

P1 P2

E B A L Totale

E 70 7 6 5 88

% rispetto al totale delle valutazioni di classe E

del primo revisore 79,5 8,0 6,8 5,7 100

B 16 19 5 3 43

% rispetto al totale delle valutazioni di classe B

A 4 5 2 3 14

% rispetto al totale delle valutazioni di classe A

L 3 5 3 8 19

% rispetto al totale delle valutazioni di classe L

Totale 93 36 16 19 164

% rispetto al totale delle valutazioni del primo

revisore 56,7 22,0 9,8 11,6 100

(9)

P1 P2

E B A L Totale

E 24 16 3 5 48

B 8 20 6 8 42

A 4 4 0 4 12

L 4 5 5 5 19

Totale 40 45 14 22 121

revisore 33,1 37,2 11,6 18,2 100

Analisi e probabilità

P1 P2

E B A L Totale

E 33 18 4 6 61

B 15 20 9 6 50

A 5 10 4 10 29

L 6 8 5 20 39

Totale 59 56 22 42 179

revisore 33,0 31,3 12,3 23,5 100

P1 P2

E B A L Totale

E 14 22 11 5 52

(10)

B 13 26 8 9 56

A 6 7 3 7 23

L 3 4 8 21 36

Totale 36 59 30 42 167

revisore 21,6 35,3 18,0 25,1 100

Tabella A.6: Confronto tra le valutazioni P1 e P2 per sub-GEV

A.3 Il confronto tra le distribuzioni di F e P

Il confronto tra la valutazione dei pari e quella bibliometrica si può basare su due criteri fondamentali:

1. Grado di concordanza tra la distribuzione F e la distribuzione P, ossia se F e P tendono ad assegnare lo stesso punteggio ad ogni articolo

2. Grado di differenza sistematica esistente tra F e P misurata mediante la differenza media del punteggio assegnato da F e P sulla base dei pesi attribuiti alle classi della VQR.

Ovviamente, una perfetta concordanza implica anche la non esistenza di differenze sistematiche tra F e P, ma il contrario non è necessariamente vero, e in generale i due criteri misurano due diversi aspetti della differenza esistente tra le due distribuzioni. Si consideri ad esempio una distribuzione con un basso grado di concordanza tra F e P (molti articoli ricevono differenti valutazioni F e P).

Anche in tale caso può accadere che, in media, F e P forniscano un punteggio complessivo simile.

Questa distribuzione sarebbe caratterizzata da un basso livello di concordanza e da un basso grado di differenza sistematica: adottare uno dei due metodi di valutazione (per esempio quella bibliometrica, F) comporterebbe una frequente differenza di valutazione degli articoli sulla base della bibliometria e della valutazione peer (ossia, si avrebbero molti articoli con una buona valutazione in base a F, ma una peggiore valutazione in base a P, o viceversa).

Alternativamente, si consideri un caso di elevata (ma non perfetta) concordanza tra F e P. In questo

caso, potrebbe ancora succedere che, per esempio, il numero di articoli con classificazione elevata

sia sistematicamente maggiore in F che in P. In questo caso si avrebbe un elevato grado di

concordanza, ma anche un alto grado di differenza sistematica tra le due distribuzioni, dato che il

punteggio medio attribuito da F differirebbe dal punteggio medio di P. Adottare uno dei due metodi

di valutazione può risultare in una sopravalutazione (o sottovalutazione) in relazione all’altro

(11)

criterio: ossia, gli articoli riceverebbero un punteggio notevolmente diverso se valutati con F o con P.

Da un punto di vista statistico, il grado di concordanza tra F e P può essere misurato utilizzando la statistica K di Cohen; differenze sistematiche tra F e P possono invece essere misurate guardando alle differenze tra le medie delle distribuzioni e valutandone la significatività con un test t di Student.

A.3.1 Il grado di concordanza tra le distribuzioni F e P

La Tabella A.7 riporta i valori della statistica K di Cohen, calcolati per l’intero campione e separatamente per ciascun sub-GEV. I risultati sono riferiti a campioni omogenei (paired sample), ossia ai prodotti del campione per i quali sono disponibili sia i risultati della valutazione peer sia quelli relativi alla valutazione bibliometrica, eliminando cioè dal campione i prodotti per i quali la valutazione bibliometrica fornisce come risultato una classificazione IR; nel caso del GEV di Matematica, le osservazioni a disposizione si riducono a 438. La statistica K è costruita in modo tale da essere pari a zero quando la concordanza tra due (o più) valutazioni è del tutto casuale, vale a dire nel caso in cui le valutazioni siano indipendenti l’una dall’altra; la statistica assume invece valore pari ad 1 nel caso in cui ci sia perfetta concordanza. E’ possibile calcolare il test utilizzando una matrice standard di pesi lineari (1; 0,67; 0,33; 0) attribuiti ai casi di concordanza, discordanza di una classe e così via, rispettivamente. In questo caso, nel totale del campione, K è uguale a 0,32, un valore statisticamente diverso da zero agli usuali livelli di significatività. Il grado di concordanza è maggiore in Informatica e Matematica fondamentale rispetto a Analisi e probabilità e Matematica applicata; il test K presenta comunque sempre valori statisticamente diversi da zero ad un livello di confidenza dell’1%.

Come accennato sopra, il calcolo di K riportato nella prima riga della tabella usa pesi lineari. E’

possibile argomentare che nel nostro caso i pesi appropriati da utilizzare debbano però essere quelli suggeriti dalle regole della VQR. Sulla base di questi pesi, è possibile calcolare la distanza tra le valutazioni utilizzando i punteggi numerici della VQR (1; 0,8; 0,5; 0), associati con le valutazioni qualitative (E, B, A, L). La seconda riga della Tabella 2.16 riporta i valori della statistica K calcolati utilizzando i pesi della VQR: la concordanza in questo caso risulta sostanzialmente in linea con quella riscontrata utilizzando le distanze lineari, sia nel totale del campione che nei singoli sub- GEV. In ogni caso, il test z conferma che la statistica K è diversa da zero agli usuali livelli di significatività.

Test Totale

campione Informatica Matematica fondamentale

Analisi e probabilità

Matematica applicata

F e P, pesi

lineari 0.3176 (10.25) * 0.3794 (6.61)* 0.3218 (4.70)* 0.2551 (4.90)* 0.2426 (3.69)*

F e P, pesi VQR

0,3173 (0,74)* 0.3896 (6.66)* 0.3102 (4,34)* 0.2755 (5,02)* 0,2403 (3,32)*

(12)

P1 e P2, pesi

lineari 0,3595 (10,22)* 0,4161 (6,22)* 0,2183 (2,98)* 0,3722 (5,69)* 0,2804 (3,74)*

P1 e P2, pesi VQR

0,3516 (9,82)* 0,4027 (6,06)* 0,1723 (2,38)* 0,3881 (5,68)* 0,2975 (3,79)*

Nota: La tabella riporta la statistica K e in parentesi il valore z³ ad essa associato. La presenza di un asterisco indica la significatività del test al livello dell’1%

Tabella A.7: Statistica K di Cohen sul grado di concordanza

La Tabella A.7 riporta anche la statistica K per il grado di concordanza tra i due revisori (P1 e P2), sia per il totale del campione che per i sub-GEV. Nel complesso del campione, il grado di concordanza tra la valutazione bibliometrica (F) e la revisione peer (P) è simile a quello a quello esistente tra i giudizi formulati dai due revisori esterni. Nel complesso del campione, la statistica K calcolata con pesi lineari è pari a 0,36 (0,35 con i pesi della VQR). Analoghi risultati si hanno a livello dei singoli sub-GEV. Il test z associato conduce sempre a rifiutare l’ipotesi nulla di non concordanza.

A.3.2 Il grado di differenza sistematica tra le distribuzioni F e P

La Tabella A.8 riporta il punteggio medio risultante dalle valutazioni F e P. I valori numerici sono ottenuti sommando i pesi assegnati dalla VQR alle quattro classi di merito e dividendo per il numero degli articoli valutati. Si noti ancora una volta come, date le regole della VQR, gli scarti tra F e P non abbiano lo stesso peso: ad esempio, la differenza tra L e A ha un peso di 0,5, mentre la differenza tra E e B ha un peso pari solo a 0,2. Come nel caso delle analisi contenute nella sezione precedente, i risultati riportati sono riferiti a campioni omogenei (paired sample), ossia ai prodotti del campione per i quali sono disponibili sia i dati della valutazione peer sia quelli relativi alla valutazione bibliometrica, eliminando cioè dal campione i prodotti per i quali la valutazione bibliometrica fornisce come risultato una classificazione IR. Come ricordato sopra, gli articoli a disposizione in questo caso sono 438.

La terza colonna mostra che il punteggio medio finale della revisione peer (punteggio P) è pari a 0,675: il punteggio è superiore alla media complessiva in Informatica (0,787) e Matematica fondamentale (0,711) ed inferiore alla media in Analisi e probabilità (0,615) e Matematica applicata (0,568). Le differenze tra i sub-GEV che emergono dall’analisi dei dati della terza colonna della tabella possono essere attribuite:

•

A una migliore qualità degli articoli sottomessi alla valutazione in Informatica e Matematica fondamentale rispetto a quella degli articoli di Analisi e probabilità e Matematica applicata

3 Il test z verifica se K è statisticamente pari a zero assumendone una distribuzione Gaussiana, o normale. Si calcola dividendo il valore di K per il suo errore standard. Se il valore di z è superiore al valore-soglia della distribuzione normale corrispondente a una certa probabilità, si conclude che la statistica K è statisticamente diversa da zero, ossia che le due valutazioni non sono indipendenti l’una dall’altra e mostrano quindi un grado statisticamente significativo di concordanza.

(13)

•

A una maggiore generosità dei revisori dei primi due sub-GEV rispetto a quelli degli ultimi due

•

All’intrinseca variabilità statistica nella scelta del campione.

La quarta colonna contiene il punteggio medio ottenuto nella valutazione bibliometrica: tale punteggio è pari a 0,808 per la media complessiva dei lavori sottoposti al GEV01, risultando inferiore alla media generale nella Matematica fondamentale (0,744) e nella Matematica applicata (0,719) e superiore ad essa in Informatica (0,894) e Analisi e probabilità (0,833).

L’ordinamento dei sub-GEV in base alla qualità degli articoli presentati è diverso a seconda che si consideri l’analisi bibliometrica e quella peer: secondo l’analisi bibliometrica, a ricevere la valutazione migliori sono gli articoli di Informatica, seguiti da Analisi e probabilità, dalla Matematica fondamentale e da Matematica applicata; nella peer, la valutazione migliore la riceve sempre l’Informatica, seguita però dalla Matematica fondamentale, da Analisi e probabilità e da Matematica Applicata. Il risultato più interessante dell’analisi è mostrato nella quinta colonna, che presenta la differenza tra valutazione peer e bibliometrica, con le colonne 7-8 che riportano il risultato del test t per campioni di uguale ampiezza ad esso associato. Nel totale del campione, emerge una differenza sistematica tra la valutazione bibliometrica e la valutazione peer: più precisamente, la valutazione media ottenuta con l’analisi bibliometrica è statisticamente maggiore a quella ottenuta con la valutazione peer. Il risultato è confermato anche per i dati riferiti ai sub-GEV di Informatica, Analisi e probabilità e Matematica applicata; nella Matematica fondamentale, invece, la differenza tra le due valutazioni non risulta essere statisticamente diversa da zero.

Area Punteggio P1

Punteggio P2

Punteggio P

Punteggio

F Diff F-P #

Osservazioni Test t p-value

Informatica 0,792 0,788 0,787 0,894 0,107 129 4,521 0,000

Matematica

fondamentale ^0,749 ^0,724 ^0,711 ^0,744 ^0,033 ⁹⁴ ^0,848 ^0,199

Analisi e

probabilità ^0,651 ^0,632 ^0,615 ^0,833 ^0,218 ¹²⁵ ^7,144 ^0,000

Matematica

applicata ^0,637 ^0,583 ^0,568 ^0,719 ^0,151 ⁹⁰ ^3,444 ^0,000

Totale 0,711 0,688 0,675 0,808 0,134 438 7,828 0,000

Tabella A.8: Test t sulla differenza tra i punteggi bibliometrici e peer review

A.4 Conclusioni

Nel totale del campione dei prodotti del GEV01 conferiti per la valutazione, si riscontra una più che

adeguata concordanza tra valutazioni effettuate con il metodo della revisione tra pari e con quello

bibliometrico. Inoltre, il grado di concordanza tra valutazione finale bibliometrica e peer è molto

simile al grado di concordanza tra le due valutazioni peer. D’altro lato, però, emerge evidenza di

(14)

differenze sistematiche tra i punteggi corrispondenti alle valutazioni peer e bibliometriche. In effetti, è possibile osservare che il numero di prodotti della ricerca classificati come eccellenti (E) con l’algoritmo di valutazione bibliometrica sia superiore a quello dei prodotti “eccellenti” secondo la valutazione tra pari.

Il grado di concordanza tra valutazioni peer e valutazioni bibliometriche è elevato in tutti i sub-

GEV. Le differenze sistematiche tra i punteggi medi sono statisticamente significative e sempre di

segno positivo (ossia, la valutazione biblometrica è significativamente più favorevole in media

rispetto a quella peer) in Informatica, Analisi e probabilità e Matematica applicata; non si registrano

invece differenze significative in Matematica fondamentale.

(15)

1

Appendice B. Documento sui Criteri per la valutazione dei prodotti di ricerca

(comprensivo di FAQ)

Criteri per la valutazione dei prodotti di ricerca

Gruppo di Esperti della Valutazione dell’Area 01 (GEV01)

1. Introduzione

Questo documento ha per oggetto l’organizzazione e il funzionamento del Gruppo di Esperti della Valutazione (GEV) istituito dal Consiglio direttivo dell’ANVUR per l’Area 01 Scienze Matematiche e Informatiche (GEV01) e comprendente i Settori Scientifico Disciplinari (SSD) da MAT/01 a MAT/09, e il settore INF/01.

L'obiettivo finale dell’esercizio di Valutazione della Qualità della Ricerca (VQR) 2004- 2010 è fornire un panorama qualitativo della ricerca in Italia. Nel complesso, i prodotti che il GEV01 esaminerà per questo esercizio sono principalmente articoli su riviste scientifiche, articoli su atti di congresso, libri e capitoli di libri. La valutazione verrà fatta utilizzando la tecnica della informed peer review, cioè un mix di criteri bibliometrici e di revisione peer. Più precisamente, gli articoli su rivista saranno classificati prevalentemente utilizzando indicatori bibliometrici integrati, considerando sia la qualità della rivista su cui sono pubblicati sia il loro impatto, quantificato in base al numero citazioni ricevute dall’articolo fino al 31 dicembre 2011.

Chiaramente, articoli pubblicati all'inizio del periodo di valutazione, 2004 e 2005, hanno avuto

più tempo per accumulare citazioni e costruire l'impatto rispetto ai lavori pubblicati nel 2010; di

conseguenza, nella scelta di quali prodotti valutare tramite peer review si terrà conto della data di

pubblicazione. Articoli su atti di congresso, libri e capitoli di libri, altri prodotti della ricerca

quali edizioni critiche, traduzioni e commenti scientifici, brevetti, banche dati e software, come

pure articoli delle aree di storia delle matematiche e di didattica della matematica, che per la loro

(16)

2

affinità con le materie umanistiche sono spesso sprovvisti di indicatori bibliometrici attendibili, saranno invece principalmente valutati usando la metodologia peer review. Si raccomanda che i soggetti valutati e le strutture di ricerca forniscano nella scheda descrittiva che accompagna i prodotti, in particolare per quelli che potrebbero essere valutati mediante peer review, ogni informazione utile alla valorizzazione del prodotto, quali, ad esempio, l’indicazione che il prodotto ha aperto un nuovo campo di ricerca o ha ottenuto riconoscimenti significativi, o possiede un carattere profondamente interdisciplinare.

2. Delimitazione dell’area GEV

Il GEV01: Scienze Matematiche e Informatiche (Area 01), ha come riferimento i seguenti settori scientifico disciplinari (SSD):

•

MAT/01 – Logica Matematica

•

MAT/02 – Algebra

•

MAT/03 – Geometria

•

MAT/04 – Matematiche Complementari

•

MAT/05 – Analisi Matematica

•

MAT/06 – Probabilità e Statistica Matematica

•

MAT/07 – Fisica Matematica

•

MAT/08 – Analisi Numerica

•

MAT/09 – Ricerca Operativa

•

INF/01 – Informatica I settori ERC di pertinenza sono:

-

PE1 Mathematics: all areas of mathematics, pure and applied, plus mathematical

foundations of computer science, mathematical physics and statistics

o

PE1_1 Logic and foundations

o

PE1_2 Algebra

o

PE1_3 Number theory

o

PE1_4 Algebraic and complex geometry

o

PE1_5 Geometry

o

PE1_6 Topology

o

PE1_7 Lie groups, Lie algebras

o

PE1_8 Analysis

o

PE1_9 Operator algebras and functional analysis

o

PE1_10 ODE and dynamical systems

o

PE1_11 Theoretical aspects of partial differential equations

o

PE1_12 Mathematical physics

o

PE1_13 Probability

o

PE1_14 Statistics

(17)

3

o

PE1_15 Discrete mathematics and combinatorics

o

PE1_16 Mathematical aspects of computer science

o

PE1_17 Numerical analysis

o

PE1_18 Scientific computing and data processing

o

PE1_19 Control theory and optimization

o

PE1_20 Application of mathematics in sciences

o

PE1_21 Application of mathematics in industry and society life

-

PE6 Computer science and informatics:informatics and information systems, computer

science, scientific computing, intelligent systems

o

PE6_1 Computer architecture, pervasive computing, ubiquitous computing

o

PE6_2 Computer systems, parallel/distributed systems, sensor networks, embeddedsystems, cyber-physical systems

o

PE6_3 Software engineering, operating systems, computer languages

o

PE6_4 Theoretical computer science, formal methods, and quantum computing

o

PE6_5 Cryptology, security, privacy, quantum crypto

o

PE6_6 Algorithms, distributed, parallel and network algorithms, algorithmic game theory

o

PE6_7 Artificial intelligence, intelligent systems, multi agent systems

o

PE6_8 Computer graphics, computer vision, multi media, computer games

o

PE6_9 Human computer interaction and interface, visualization and natural language processing

o

PE6_10 Web and information systems, database systems, information retrieval and digital libraries

o

PE6_11 Machine learning, statistical data processing and applications using signal processing (eg. speech, image, video)

o

PE6_12 Scientific computing, simulation and modelling tools

o

PE6_13 Bioinformatics, biocomputing, and DNA and molecular computation -

SH6The study of the human past: archaeology, historyand memory

o

SH6_9 History of ideas, intellectual history, history ofsciences and techniques -

SH4 The human mind and its complexity:cognition,psychology, linguistics,philosophy

and education

o

SH4_12 Education: systems and institutions, teaching andlearning

3. Organizzazione del GEV

3.1 Sub-GEV

Il GEV dell’Area 01 è organizzato come segue:

Presidente: Alfio QUARTERONI Vice presidente: Marco ABATE

(18)

4

• Sub-GEV01.1: INFORMATICA(INF/01) Pierangela SAMARATI: coordinatore Giuseppe CASTAGNA

Paolo CIANCARINI Alfredo DE SANTIS Elena FERRARI Vladimiro SASSONE Nobuko YOSHIDA

• Sub-GEV01.2: MATEMATICA FONDAMENTALE (MAT/01, MAT/02, MAT/03, MAT/04)

Corrado DE CONCINI: coordinatore Marco ABATE

Lucia CAPORASO Graziano GENTILI Livia GIACARDI Simon SALAMON

• Sub-GEV01.3: ANALISI e PROBABILITA’ (MAT/05, MAT/06) Nicola FUSCO: coordinatore

Alberto BRESSAN Haim BREZIS

Giuseppe Mario BUTTAZZO Maria J. ESTEBAN

Franco FAGNOLA

• Sub-GEV01.4: MATEMATICA APPLICATA (MAT/07, MAT/08, MAT/09) Franco BREZZI: coordinatore

Nicola BELLOMO Silvano MARTELLO Alfio QUARTERONI Valeria SIMONCINI Giuseppe TOSCANI

3.2 Regole di funzionamento del GEV

a) La convocazione del GEV avviene almeno 15 giorni prima della riunione. La riunione è convocata dal Presidente, che fissa anche l’ordine del giorno.

b) Le decisioni all’interno del GEV sono prese a maggioranza semplice dei presenti. Per partecipare alla votazione non è necessario essere fisicamente presenti alle riunioni, purché presenti in modalità telematica.

c) Alle riunioni del GEV partecipa, con funzioni di segretario senza diritto di voto, anche

l’assistente al GEV, Dott. Ric. Irene Mazzotta, attribuito da ANVUR al GEV. Al termine

di ciascuna riunione viene redatto un resoconto della seduta in italiano, e un verbale

succinto che riporta le conclusione principali in lingua italiana e inglese. I verbali

(19)

5

vengono fatti circolare tra i membri del GEV e approvati tramite email o utilizzando l’ambiente software predisposto dal CINECA.

3.3 Allocazione dei prodotti all’interno del GEV

L’allocazione dei prodotti ai sub-GEV avverrà sulla base del SSD indicato dal soggetto valutato così come trasmesso dalle strutture (fatte salve le eccezioni previste al punto 4 della Sezione 6.4). Il significato del SSD associato al prodotto, che può anche essere diverso dal SSD di appartenenza del soggetto valutato, si riferisce al sub-GEV che con maggior competenza, secondo il soggetto valutato, può valutare il prodotto in questione.

Nel caso in cui un prodotto sia assegnato a più GEV, in quanto presentato da più autori che hanno indicato per il prodotto SSD afferenti ad aree CUN diverse o per il suo carattere interdisciplinare, saranno adottati identici criteri di valutazione concordati tra i vari GEV. A tale scopo, i Presidenti dei GEV interessati istituiscono specifici Gruppi di Consenso Inter-Area.

4. Mix valutativo

Salvo restando che la responsabilità finale della valutazione di ogni prodotto è del GEV nel suo complesso, il GEV01 utilizzerà per la valutazione la tecnica della informed peer review, cioè un mix di criteri bibliometrici e di revisione peer.

Fra i prodotti elencati nella Sezione 2.3 del Bando ANVUR VQR 2004-2010, i prodotti delle tipologie b (libri, capitoli di libri e atti di congressi, solo se dotati di ISBN), c (edizioni critiche, traduzioni e commenti scientifici) e d (brevetti), e parte dei prodotti della tipologia e (specificatamente, banche dati e software), saranno valutati utilizzando la revisione peer. Dei prodotti di cui alla tipologia a (articoli su riviste) una percentuale non inferiore al 10% sarà valutata tramite revisione peer, come descritto nella Sezione 5; i restanti prodotti saranno valutati tramite analisi bibliometrica condotta dai sub-GEV come descritto nella Sezione 6.

La selezione dei prodotti di tipologia a da valutare tramite revisione peer sarà effettuata dal sub-GEV di riferimento tenendo conto dei seguenti criteri:

•

disponibilità di dati bibliometrici per il prodotto;

•

indicazione fornita in tal senso dall’analisi bibliometrica (vedi la Sezione 6.4);

•

eventuale raccomandazione in tal senso formulata dalle strutture nell’apposito campo dell’interfaccia CINECA (i prodotti per i quali la richiesta di revisione peer sarà ben motivata avranno maggiore probabilità di essere valutati con revisione peer);

•

data di pubblicazione del prodotto (prodotti più recenti hanno maggiore probabilità di essere

mandati a revisione peer);

(20)

6

•

tipologia di prodotto (gli articoli di rassegna hanno maggiore probabilità di essere mandati a revisione peer);

•

di norma, distribuzione sostanzialmente uniforme della percentuale di revisione peer fra le varie strutture;

•

di norma, distribuzione sostanzialmente uniforme della percentuale di revisione peer fra i vari SSD (con l’eccezione di MAT/04, che essendo più affine ai settori umanistici richiederà una percentuale sensibilmente maggiore di revisione peer).

Anche per i prodotti inviati alla revisione peer verrà effettuata, ove possibile, l’analisi bibliometrica, in modo da studiare il grado di correlazione tra i due metodi e la loro robustezza.

In particolare, ciò avverrà per un campione statisticamente significativo di prodotti individuati tramite un algoritmo di campionamento casuale stratificato studiato da un Gruppo di lavoro dell’ANVUR.

Come previsto nella Sezione 2.4 del bando ANVUR VQR 2004-2010, la valutazione di ciascun prodotto si conclude con l’attribuzione di una classe di merito, scelta fra quattro (A:

eccellente; B: buono; C: accettabile; D: limitato), e con la stesura di un giudizio di qualità di tipo descrittivo riferito ai seguenti criteri:

a) rilevanza, da intendersi come valore aggiunto per l’avanzamento della conoscenza nel settore e per la scienza in generale, anche in termini di congruità, efficacia, tempestività e durata delle ricadute;

b) originalità/innovazione, da intendersi come contributo all’avanzamento di conoscenze o a nuove acquisizioni nel settore di riferimento;

c) internazionalizzazione, da intendersi come posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni;

d) relativamente ai brevetti, il trasferimento, lo sviluppo tecnologico e le ricadute socio- economiche (anche potenziali).

Sempre come previsto nella Sezione 2.4 del bando ANVUR VQR 2004-2010, prodotti appartenenti a tipologie escluse dal presente esercizio, o che sono stati pubblicati in anni precedenti o successivi al settennio di riferimento, o che (per i prodotti di tipologia e) non sono corredati da pubblicazioni atte a consentirne un’adeguata valutazione, saranno penalizzati (classe di merito E), come pure a maggior ragione prodotti in accertati casi di plagio o frode (classe di merito F).

Infine, si ricorda che la valutazione si baserà principalmente sulla qualità scientifica, e non

didattica o divulgativa, dei prodotti presentati.

(21)

7

4.1 Gestione dei conflitti

In caso un sub-GEV non trovi un accordo sulla classe di merito finale di un determinato prodotto, la proposta di attribuzione della classe di merito finale è demandata a un Gruppo di

Consenso formato dai coordinatori dei sub-GEV affiancati dal presidente e dal vicepresidente del

GEV. In ogni caso, la responsabilità della valutazione conclusiva di ciascun prodotto rimane dell’intero GEV.

4.2 Assenza di dati bibliometrici

Tutti i prodotti non contenuti nelle basi di dati citazionali specificate nella Sezione 6.1 saranno sottoposti a valutazione diretta da parte del GEV, o, in assenza delle competenze necessarie al suo interno, a revisione peer da parte di revisori esterni selezionati dal GEV, con le procedure descritte nella Sezione 5.

5. Peer review

Anche nel caso di revisione peer la responsabilità della valutazione finale è del GEV, che allo scopo utilizzerà la metodologia della informed peer review tenendo conto di ogni possibile elemento di valutazione, quali peer review, indicazioni bibliometriche, competenze di membri GEV.

Nel caso di utilizzo di revisione peer il prodotto sarà inviato a due revisori esterni, oppure valutato, sussistendo le condizioni di competenza e di assenza di conflitti, all’interno del GEV utilizzando le stesse procedure e la stessa scheda di revisione.

5.1 Individuazione dei revisori peer

La selezione dei revisori esterni, italiani e stranieri, attese le sue rilevanti finalità di pubblico interesse, si informa al principio di leale cooperazione istituzionale ed è retta da criteri di correttezza, obiettività e imparzialità. Il GEV intende coinvolgere revisori esterni con un profilo di ricerca internazionale e un curriculum di alto livello, testimoniato, in particolare negli ultimi anni, da un elevato numero di pubblicazioni nelle sedi di riferimento della comunità scientifica internazionale del settore, un significativo numero di citazioni e la necessaria competenza nella specifica area di valutazione.

Il GEV preparerà un elenco di revisori esterni, stabilendo standard minimi di qualità scientifica, di impatto sulla comunità scientifica internazionale e di esperienza nella valutazione.

Nella fase di predisposizione dell’elenco, il Presidente GEV consulterà la lista di revisori della

propria area resa disponibile dal CINECA, e chiederà ai componenti GEV, tramite i coordinatori

(22)

8

dei sub-GEV, di suggerire un numero significativo di esperti che soddisfano ai criteri indicati nel paragrafo precedente.

Il Presidente GEV raccoglierà le indicazioni corredate di informazioni fornite sulla base di una scheda condivisa e, anche con l’ausilio dei coordinatori dei sub-GEV, provvederà a modificare la lista CINECA con integrazioni e/o cancellazioni. Il processo di integrazione della lista continuerà per tutta la durata della valutazione, sulla base delle necessità che dovessero emergere a valle della trasmissione dei prodotti da parte delle strutture.

Grande attenzione verrà posta al mantenimento dell’anonimato dei revisori, sia nella fase di predisposizione dell’elenco dei revisori che nella fase operativa di valutazione. Le informazioni acquisite ai fini della selezione dei revisori possono essere utilizzate esclusivamente ai fini della valutazione della qualità della ricerca.

L’individuazione dei revisori sarà fatta, ove possibile, da 2 membri diversi del GEV, evitando conflitti di interesse tra i revisori stessi e gli autori e/o la struttura di affiliazione. I revisori saranno scelti sulla base della loro competenza, degli indicatori bibliometrici e tenendo conto del loro tasso di attività recente. Inoltre, sarà garantita l’indipendenza dei revisori ponendo attenzione alla sede di affiliazione, alle collaborazioni scientifiche e, ove possibile, alla nazionalità. Per minimizzare i conflitti di interesse, si privilegeranno i revisori operanti al di fuori dei confini nazionali; si veda comunque la Sezione 8 per maggiori informazioni sulla gestione dei conflitti di interesse.

5.2 Assegnazione delle classi di merito VQR sulla base della revisione peer

La valutazione dei revisori peer si baserà su una apposita scheda-revisore predisposta dal GEV, costituita da una serie di domande a risposta multipla e da un campo libero con numero limitato di parole. Per ciascun prodotto inviato a revisione peer il sub-GEV di riferimento proporrà l’assegnazione della classe di merito finale basandosi sui pareri dei revisori esterni e sull’analisi bibliometrica, se effettuata. Nel caso di valutazioni fortemente divergenti fra i revisori peer o, nel caso di disponibilità di entrambe, fra revisione peer e analisi bibliometrica, il sub-GEV può avvalersi, se lo ritiene, del giudizio di un terzo esperto esterno. La Sezione 4.1 indica la procedura da seguire in caso non si trovi un accordo all’interno del sub-GEV. In ogni caso la responsabilità della valutazione conclusiva è dell’intero GEV.

6. Analisi bibliometrica

6.1 Basi di dati

Il GEV01 utilizzerà informazioni ricavate dalle seguenti banche dati:

(23)

9

•

Web of Science di Thomson Reuters (WoS);

•

Scopus di Elsevier B.V (Scopus);

•

MathSciNet: Mathematical Reviews on the web (MathSciNet).

6.2 Finestra temporale delle citazioni

Nel calcolo degli indicatori bibliometrici il GEV01 utilizzerà le citazioni fino al 31 dicembre 2011.

6.3 Auto-citazioni

L’opportunità di includere o escludere le autocitazioni nella valutazione bibliometrica è tuttora oggetto di dibattito nella comunità scientifica. Nella VQR 2004-2010, per motivi di ordine tecnico legati soprattutto all’uso di WoS, che non lo consente direttamente, e ai problemi legati alla disambiguazione dei nomi degli autori se lo si volesse realizzare a partire dai dati grezzi, non verranno escluse le autocitazioni.

6.4 Gli indicatori bibliometrici

La valutazione utilizzerà, per tutti gli articoli pubblicati su riviste indicizzate nelle basi di dati WoS o Scopus, un algoritmo che terrà conto sia della qualità della rivista ospitante che del numero di citazioni ricevute dall’articolo.

L’algoritmo che sarà utilizzato dal GEV01 per la classificazione degli articoli tramite analisi bibliometrica nelle 4 classi di merito della VQR è il seguente:

1. Preliminarmente, il GEV ha identificato, come descritto nella Sezione 6.5, degli insiemi di riviste di riferimento che integrano e sostituiscono le Subject Categories WoS, in quanto queste ultime non riflettono correttamente l’articolazione interna della ricerca matematica.

Gli insiemi identificati (le liste complete sono disponibili in allegato) sono i seguenti:

1.1. Computer science (SSD INF/01; sub-GEV01.1);

1.2. Logica matematica, algebra, geometria (SSD MAT/01, 02, 03; sub-GEV01.2);

1.3. Storia e didattica della matematica (SSD MAT/04; sub-GEV01.2);

1.4. Analisi matematica (SSD MAT/05; sub-GEV01.3);

1.5. Probabilità e statistica matematica (SSD MAT/06; sub-GEV01.3);

1.6. Matematica applicata (SSD MAT/07, 08, 09; sub-GEV01.4).

2. Ogni sub-GEV, con le procedure descritte nella Sezione 6.6, ha poi assegnato a ciascuna rivista degli insiemi di riferimento di sua competenza una classe di merito, da 1 a 4 in ordine decrescente di qualità, in modo che in ogni insieme il 20% delle riviste sia in classe 1, il 20%

in classe 2, il 10% in classe 3 e il resto in classe 4. L’elenco completo delle riviste comprese negli insiemi di riferimento con la relativa classe di merito è disponibile in allegato.

3. Per ogni anno, dal 2004 al 2010 inclusi, ciascun sub-GEV calcola la funzione di distribuzione

cumulativa empirica del numero di citazioni di tutti gli articoli (dalla data di pubblicazione al

(24)

10

31 dicembre 2011) pubblicati dalle riviste di ciascun insieme di riferimento (per cui si posseggano tali dati) nell’anno indicato e la suddivide in 4 classi, indicate dai numeri da 1 a 4, caratterizzate dai valori di probabilità 0.2, 0.2, 0.1, 0.5 partendo dalla parte superiore della distribuzione. Se lo ritiene necessario, il sub-GEV può calcolare funzioni di distribuzione distinte per gli articoli di rassegna e per gli articoli originali.

4. L’articolo è assegnato al sub-GEV competente in base al SSD attribuito all’articolo dalla struttura, a meno che il GEV, in base al contenuto dell’articolo, non ritenga di assegnarlo a un altro sub-GEV. Il sub-GEV competente associa poi l’articolo a un insieme di riferimento che contiene la rivista su cui è pubblicato, in base nuovamente al SSD dell’articolo o (in caso la rivista non appartenga all’insieme di riferimento corrispondente al SSD) in base al contenuto dell’articolo. In caso l’articolo sia pubblicato su una rivista non inclusa in alcun insieme di riferimento per il GEV01 ma appartenente a una Subject Category WoS di pertinenza di un altro GEV, l’articolo sarà valutato tramite informed peer review, nel senso che all’analisi bibliometrica, svolta con i criteri stabiliti del GEV di pertinenza della rivista, sarà affiancata una revisione peer dell’articolo per valutarne lo specifico contributo matematico/informatico. Infine, nel caso in cui l’articolo sia pubblicato su una rivista non contenuta in alcun insieme di riferimento per il GEV01 e non classificata nella banca dati WoS, l’articolo verrà valutato esclusivamente tramite revisione peer.

5. Il sub-GEV assegna all’articolo una coppia di indicatori di merito come segue:

5.1. Il primo indicatore è la classe di merito assegnata alla rivista su cui l’articolo è pubblicato, nell’insieme di riferimento a esso associato nel punto 4.

5.2. Il secondo indicatore è la classe assegnata in base al numero di citazioni dell’articolo, utilizzando la funzione di distribuzione ottenuta nel punto 3 applicata all’insieme di riferimento a cui è stato associato l’articolo nel punto 4.

6. L’attribuzione della classe finale di merito avviene usando la matrice riportata in Figura 1, nella quale la lettera “A” si riferisce alla classe finale “eccellente”, la “B” a “buono”, la “C”

ad “accettabile”, e la “D” a “limitato”, mentre si veda il punto 7 per il significato di “IR”:

(25)

11

Indicatore bibliometrico

1 2 3 4

n. di citazioni 1

A A IR IR

2

A B B D

3

A B C D

4

IR IR C D

Figura 1. Matrice di corrispondenza tra indicatori di merito della rivista e delle citazioni, e classe finale VQR

7.

L’indicazione “IR” significa che la classe di merito finale sarà decisa tramite informed peer

review, o effettuata direttamente dal sub-GEV di riferimento o affidando l’articolo a

revisione peer. In caso di conflitti all’interno di un sub-GEV, l’attribuzione della classe di merito finale sarà effettuata dal Gruppo di Consenso come indicato nella Sezione 4.1.

6.5 Riviste di riferimento

La determinazione degli insiemi di riviste di riferimento è stata effettuata dal GEV basandosi sulle proprie competenze rispettando le condizioni seguenti:

a. ciascun insieme di riferimento contiene più di 40 riviste;

b. per appartenere a un insieme di riferimento una rivista deve possedere un ISSN;

c. per appartenere a un insieme di riferimento di competenza dei sub-GEV01.2, 01.3 e 01.4 la rivista deve essere contenuta in una delle banche dati MathSciNet o WoS (con l’eccezione dell’insieme di riferimento di storia e didattica della matematica, come indicato nel punto f.);

d. sempre per gli insiemi di riferimento di competenza dei sub-GEV01.2, 01.3 e 01.4, riviste soddisfacenti la condizione c, su cui sono stati pubblicati nel settennio 2004-2010 almeno 5 articoli da parte di matematici italiani di un dato SSD matematico, appartengono automaticamente all’insieme di riferimento per quel SSD;

e. per appartenere all’insieme di riferimento di competenza del sub-GEV01.1 la rivista deve essere contenuta nella categoria Computer Science (ovvero nelle sue sottocategorie) della banca dati Scopus e/o della banca dati ISI WoS;

f. date le caratteristiche specifiche delle aree di storia e didattica della matematica comprese

nel SSD MAT/04, vicine per molti aspetti alle aree umanistiche, sono incluse nel

corrispondente insieme di riferimento anche riviste non contenute in MathSciNet o WoS,

scelte dal sub-GEV01.2 anche basandosi su indicazioni fornite dalle società scientifiche

di riferimento;

(26)

12

g. tutte le riviste incluse in un insieme di riferimento, indipendentemente dalla classe di merito assegnata, sono state ritenute essere rilevanti per i corrispondenti settori scientifico disciplinari.

Sono stati quindi determinati i seguenti insiemi di riviste di riferimento (già elencati):

1) Computer science (SSD INF/01; sub-GEV01.1);

2) Logica matematica, algebra, geometria (SSD MAT/01, 02, 03; sub-GEV01.2);

3) Storia e didattica della matematica (SSD MAT/04; sub-GEV01.2);

4) Analisi matematica (SSD MAT/05; sub-GEV01.3);

5) Probabilità e statistica matematica (SSD MAT/06; sub-GEV01.3);

6) Matematica applicata (SSD MAT/07, 08, 09; sub-GEV01.4).

Gli elenchi delle riviste contenute in ciascun insieme di riferimento, con relativa classe di merito, sono contenuti negli allegati.

6.6 Attribuzione delle classi di merito alle riviste

Il GEV ha attribuito una classe di merito a ciascuna rivista inclusa negli insiemi di riferimento, con il vincolo che in ciascun insieme il 20% delle riviste siano in classe “1”, il 20% in classe “2”, il 10% in classe “3”, e il restante 50% in classe “4”.

I criteri seguiti nell’assegnare le classi di merito sono i seguenti:

• sub-GEV01.1, insieme di riferimento “Computer Science”.Per l’attribuzione delle classi di

merito alle riviste incluse nell’insieme di riferimento di area informatica si è deciso di temperare l’uso dell’indice bibliometrico Impact Factor (IF) di Journal Citation Reports (JCR) di Thomson Reuterse dell’indice bibliometrico SJR di Scopus,banche dati che rappresentano solo parzialmente l'estensione delle ricerche di area informatica, con classificazioni analoghe effettuate da società scientifiche italiane e internazionali. Si è quindi provveduto a classificare le riviste nell’insieme di riferimento sulla base: dell’indice bibliometrico IF a 5 anni, dell’indice bibliometrico 2010 SJR, della classificazione effettuata dall’Australian Research Council nel 2010 all’interno del processo di valutazione Excellence

in Research for Australia (ERA), e della classificazione effettuata dal GRIN (GRuppo dei

professori e ricercatori in INformatica) nel 2004 completata con ACM e IEEE Transactions/Journals del settore stabilite dopo il 2004 e presenti in ISI e/o Scopus. La classe di merito “1” è quindi stata attribuita alle riviste nel primo 20% della classificazione risultante, la classe “2” alle riviste nel secondo 20%, e la classe “3” alle riviste nel successivo 10%. La classificazione è stata concordata con i membri del SSD ING-INF/05 del GEV09 (Ingegneria Industriale e dell'Informazione).

• sub-GEV01.2, insieme di riferimento “Logica matematica, algebra, geometria”.Per

l’attribuzione delle classi di merito alle riviste incluse in questo insieme di riferimento,

contraddistinte da una lunga vita citazionale degli articoli (misurabile in decenni), si è deciso

di temperare l’uso dell’indice bibliometrico MCQ fornito dalla banca dati MathSciNet, che

rimane comunque il più attendibile per quest’area, con classificazioni analoghe effettuate da

(27)

13

società scientifiche governative non europee. Si è quindi provveduto a ordinare le riviste nell’insieme di riferimento usando l’indice bibliometrico MCQ, la classificazione effettuata dall’Australian Research Council nel 2010 all’interno del processo di valutazione Excellence

in Research for Australia (ERA), e la classificazione effettuata dal Coordenação de Aperfeiçoamento de Pessoal de Nivel Superior (CAPES) brasiliano nel 2009. La classe di

merito “1” è quindi stata attribuita alle riviste nel primo 20% di questo ordinamento, la classe

“2” alle riviste nel secondo 20%, e la classe “3” alle riviste nel successivo 10%.

• Sub-GEV01.2, insieme di riferimento “Storia e didattica della matematica”.La storia delle

matematiche e la didattica della matematica, pur attenendo precipuamente alle discipline matematiche, hanno per loro natura un carattere interdisciplinare, per molti aspetti vicino alle aree umanistiche, e ricerche di valore possono quindi essere pubblicate anche su riviste non matematiche. Pertanto una classificazione rigida delle riviste in questi settori è ardua e non del tutto significativa e i criteri bibliometrici si rivelano inadeguati, anche per mancanza di dati citazionali adeguati. Per questi motivi, pur avendo provveduto ad attribuire classi di merito anche alle riviste dell’insieme di riferimento di quest’area, una percentuale rilevante degli articoli del settore sarà comunque valutata tramite revisione peer. Non potendo usare indici bibliometrici per la classificazione delle riviste, le classi di merito sono state attribuite tenendo presenti i seguenti criteri:

- carattere di riviste di ricerca (e non di divulgazione);

- presenza significativa di articoli pubblicati specificatamente di storia delle matematiche e delle scienze esatte, o di ricerca in didattica della matematica;

- comitato scientifico editoriale di rilievo internazionale con alta presenza di qualificati storici della matematica o ricercatori in didattica della matematica;

- sistema rigoroso di referaggio anonimo.

Di conseguenza, alcune riviste eccellenti nel loro settore (divulgazione scientifica, filosofia della scienza, eccetera) ma di minore rilevanza per le aree specifiche di storia delle matematiche e didattica della matematica, come pure riviste di qualità ma con carattere eminentemente locale, possono aver ricevuto una classe di merito relativamente bassa, anche a causa del necessario rispetto della distribuzione percentuale di tali classi.

• Sub-GEV01.3, insieme di riferimento “Analisi matematica”. Per questa area della

matematica si è ritenuto che l’indice bibliometrico MCQ fornito dalla banca dati MathSciNet fosse il più attendibile. Si è quindi provveduto a ordinare le riviste nell’insieme di riferimento in base all’indice bibliometrico MCQ. La classe di merito “1” è quindi stata attribuita alle riviste nel primo 20% di questo ordinamento, la classe “2” alle riviste nel secondo 20%, e la classe “3” alle riviste nel successivo 10%.

• Sub-GEV01.3, insieme di riferimento “Probabilità e statistica matematica”. Siccome