La Tabella 6.3 presenta le università in ordine alfabetico. Per ogni università sono indicati i valori dei tre indicatori di qualità media della ricerca , e della Sezione 4.2, dei due parametri v e n necessari al loro calcolo, e la posizione nella graduatoria (sia assoluta che per segmenti dimensionali) per ognuna delle aree. Le stesse informazioni sono contenute nella Tabella 6.4 per gli enti di ricerca e nella Tabella 6.5 per i consorzi interuniversitari.
Tabella 6.3: Elenco delle università per Area con i valori degli indicatori della qualità media dei prodotti attesi e posizione in graduatoria per ogni Area
Tabella 6.4: Elenco degli enti di ricerca con i valori degli indicatori della qualità media della ricerca e posizione in graduatoria per ogni Area
Tabella 6.5: Elenco dei consorzi interuniversitari con i valori degli indicatori della qualità media della ricerca e posizione in graduatoria per ogni Area
Infine, nella Tabella 6.6 si presenta un riepilogo della valutazione delle strutture nelle sedici Aree (le dodici Aree CUN più le quattro sub-Aree in cui sono state suddivise le Aree 8 e 11). Ogni riga della tabella corrisponde a una struttura (le strutture sono elencate in ordine alfabetico all’interno delle tre tipologie), e le coppie di colonne corrispondono alle sedici Aree.
La prima colonna di ogni coppia riporta la tipologia della struttura nel segmento dimensionale (Grande, Media, Piccola) e la seconda colonna il valore dell’indicatore R della struttura nell’area.
Il codice dei colori delle celle ha il significato seguente: il verde indica che la struttura occupa la prima posizione nel segmento dimensionale di area, l’azzurro che la struttura sta nel primo quartile della distribuzione, il rosso che la struttura sta nell’ultimo quartile della distribuzione.
L’assenza di colorazione, infine, indica la presenza della struttura nel secondo o nel terzo quartile senza distinzione.
Tabella 6.6: Riepilogo della valutazione delle strutture nelle sedici Aree
49 6.3 I dipartimenti e le sottostrutture
La Tabella 6.7 presenta, per ogni Area, le università in ordine alfabetico. Per ogni università sono indicati i dipartimenti post Legge 240 cui afferiscono soggetti di quell’Area. Per ogni dipartimento sono riportati i valori dei due indicatori di qualità media della ricerca e
della Sezione 5.2, dei due parametri necessari al loro calcolo, e la posizione nella graduatoria assoluta e all’interno del segmento dimensionale dell’Area. Il calcolo delle soglie che discriminano i segmenti dimensionali è stato fatto dividendo per ogni Area le soglie delle strutture per il numero medio di dipartimenti per struttura nell’Area.
La Tabella 6.7 è stata ottenuta utilizzando la composizione dei nuovi dipartimenti universitari successivi all’applicazione della Legge 240, per tutti gli atenei che hanno completato le procedure di attivazione entro Marzo 2013. Nella Tabella 6.9 si riportano le graduatorie dei dipartimenti sulla base della loro composizione precedente l’applicazione della Legge 240.
Tabella 6.7: Elenco dei dipartimenti delle università (post Legge 240) elencate in ordine alfabetico con i valori degli indicatori della qualità media della ricerca e posizione in graduatoria per ogni Area
Le stesse informazioni sono contenute nella Tabella 6.8 per gli enti di ricerca.
Tabella 6.8: Elenco delle sottostrutture degli enti di ricerca in ordine alfabetico con i valori di indicatori della qualità media della ricerca e posizione in graduatoria per ogni Area
Tabella 6.9: Elenco dei dipartimenti delle università (pre Legge 240) elencate in ordine alfabetico con i valori degli indicatori della qualità media della ricerca e posizione in graduatoria per ogni Area
I valori degli indicatori per i dipartimenti che hanno conferito meno di dieci prodotti (per le università) e meno di diciannove prodotti (per gli enti di ricerca) in una determinata Area non sono riportati per motivi di insufficiente affidabilità statistica e di garanzia della privacy dei soggetti valutati.
6.4 Gli indicatori finali di struttura
I sette indicatori IRAS1, IRAS2, …, IRAS7 descritti nella Sezione 4.1 sono stati determinati a partire dai dati forniti dalle strutture e dalla valutazione dei prodotti di ricerca. Per ogni struttura si è poi calcolato il valore degli indicatori finali di struttura legati alla ricerca IRFS1 e IRFS2 definiti nelle formule (8) e (9) e si è costruita la graduatoria delle strutture separatamente per le università, gli enti di ricerca e i consorzi interdipartimentali. Si ricorda che l’indicatore IRFS1 utilizza i sette indicatori del Bando VQR con i loro pesi e, quindi, tiene conto sia della qualità sia delle dimensioni delle strutture. L’indicatore IRFS2, invece, combina i sette
50 indicatori del Bando con l’indicatore di qualità della ricerca Si,j definito nella Sezione 3.2.2, pesandoli con α=0,95 e β=0,05 (vedi formula (9)).
Come si evince dalle (8) e (9), il calcolo degli indicatori finali richiede la scelta dei pesi di Area wj. I valori presentati nelle tabelle che seguono sono stati ottenuti utilizzando i valori dei pesi proposti nella tabella conclusiva dell’Appendice D.
Nelle Tabelle 6.10a, 6.11a e 6.12a sono riportati per le strutture (università, enti di ricerca e consorzi rispettivamente) elencate in ordine alfabetico i valori dei due indicatori finali IRFS1 e IRFS2 (vedi formule (8) e (9)) per le università, gli enti di ricerca e i consorzi interuniversitari.
Le dee coppie di colonne si riferiscono al calcolo che utilizza le dodici Aree più le quattro sub-Aree delle sub-Aree 8 e 11, e a quello che utilizza le quattordici sub-Aree senza distinzione. I dati di contesto necessari al calcolo degli indicatori e i valori dei singoli indicatori IRAS sono riportati per ognuna delle strutture nella Parte seconda del rapporto che analizza in dettaglio le singole strutture. Si ricorda che i valori degli indicatori IRFS1 e IRFS2 tengono conto insieme delle dimensioni della struttura e della qualità della stessa rispetto a vari parametri, e non sono utilizzabili per stilare una graduatoria di merito.
I valori degli indicatori IRFS1 e IRFS2, che sommano a uno sull’insieme di strutture omogenee, possono essere utilizzati direttamente come coefficienti moltiplicativi per la distribuzione delle risorse. Nelle tabelle sono anche riportati i coefficienti di ripartizione delle risorse che si otterrebbero utilizzando unicamente il peso relativo delle strutture misurato dal numero di prodotti attesi; ciò consente di verificare quali strutture “guadagnerebbero” dalla valutazione VQR rispetto a una distribuzione puramente proporzionale all’organico strutturato.
Sono colorate in azzurro (rosso) le celle con i valori di IRFS1 e IRFS2 maggiori (minori) del peso relativo.
Nelle Tabelle 6.10b, 6.11b e 6.12b sono riportati per le strutture (università, enti di ricerca e consorzi rispettivamente) elencate in ordine alfabetico la somma pesata con i pesi di Area dei sette indicatori IRAS del Bando utilizzando gli indicatori calcolati su sedici Aree. Nelle tabelle sono anche riportati i coefficienti di ripartizione delle risorse che si otterrebbero utilizzando unicamente il peso relativo delle strutture misurato dalla frazione del numero di prodotti attesi, al fine di consentire per ogni struttura la verifica di quali siano gli indicatori con valore maggiore o minore del peso relativo.
Tabella 6.10a: Elenco delle università in ordine alfabetico con i valori degli indicatori finali di struttura IRFS1 e IRFS2
51
Tabella 6.10b: Elenco delle università in ordine alfabetico con i valori degli indicatori IRAS del bando pesati con i pesi di Area
Tabella 6.11a: Elenco degli enti di ricerca in ordine alfabetico con i valori degli indicatori finali di struttura IRFS1 e IRFS2 Tabella 6.11b: Elenco degli enti di ricerca in ordine alfabetico con i valori degli indicatori IRAS del bando pesati con i pesi di
Area
Tabella 6.12a: Elenco dei consorzi interuniversitari in ordine alfabetico con i valori degli indicatori finali di struttura IRFS1 e IRFS2
Tabella 6.12b: Elenco dei consorzi interuniversitari in ordine alfabetico con i valori degli indicatori IRAS del bando pesati con i pesi di Area
6.5 Analisi degli indicatori IRAS3, IRAS4.2 e IRAS7
Degli indicatori di ricerca del Bando descritti nella Sezione 4.1, tre (IRAS3, IRAS4.2 e IRAS7) dipendono dalla valutazione dei prodotti conferiti dalle strutture. In questa sezione esponiamo alcuni risultati sintetici relativi ai tre indicatori. Il dettaglio dell’analisi si trova nelle Appendici E, F e G, rispettivamente per IRAS3, IRAS4.2 e IRAS7.
6.5.1 L’indicatore IRAS3 e il reclutamento nelle strutture
L’indicatore IRAS3 (indicatore di mobilità) è collegato al reclutamento delle strutture nel settennio della VQR. E’ definito come rapporto tra la somma delle valutazioni ottenute dai soggetti valutati che sono stati assunti in ruolo o hanno avuto un avanzamento di carriera nella struttura e il totale delle valutazioni di area. Come tutti gli altri indicatori del Bando, IRAS3 tiene conto sia della qualità della produzione scientifica dei soggetti in questione che del loro numero.
Per valutare le politiche di reclutamento delle strutture rispetto alla qualità della produzione scientifica degli immessi in ruolo (per la prima volta o in un ruolo superiore, soggetti in mobilità, SM)), si è calcolato il rapporto tra l’indicatore R dei SM della struttura in un’Area e l’indicatore R di tutti i SM dell’Area. Se il rapporto è maggiore di uno, la struttura ha assunto o promosso in media soggetti con una produzione scientifica VQR migliore della media di area.
Nell’Appendice E si confronta l’indicatore R dei SM anche con quello medio di Area e con quello medio della struttura nell’Area.
Nella Tabella 6.13 si riporta l’elenco delle strutture in ordine alfabetico all’interno di ogni tipologia (atenei, enti, consorzi). Le colonne si riferiscono alle quattordici aree. Per ogni area si riporta il valore del rapporto sopraccitato e la posizione della struttura nella graduatoria per segmento dimensionale (Grande, Media, Piccola). Nella quarta colonna è riportata la posizione
52 della struttura nel segmento dimensionale e la colonna quinta identifica il segmento stesso (Grande, Media, Piccola). Infine, le celle colorate in verde indicano che la struttura occupa il primo posto nella graduatoria dimensionale dell’Area.
Tabella 6.13: Elenco delle strutture in ordine alfabetico con i valori del rapporto tra l’indicatore R dei soggetti in mobilità della struttura nelle quattordici Aree e l’indicatore R di tutti i soggetti in mobilità dell’Area
La tabella evidenzia una differenza significativa nelle politiche di reclutamento delle strutture, con valori del rapporto anche molto diversi.
I valori dell’indicatore IRAS3 per il calcolo dell’indicatore finale di struttura sono riportati nell’Appendice E.
6.5.2 L’indicatore IRAS4.2 e la collaborazione scientifica internazionale
L’indicatore IRAS4.2 (uno dei due sub-indicatori di internazionalizzazione) è collegato al numero e alla valutazione dei prodotti di ricerca con almeno un coautore straniero (per straniero si intende l’affiliazione in una struttura fuori dai confini nazionali). E’ definito come rapporto tra la somma delle valutazioni della struttura in un’Area ottenute dai prodotti eccellenti con almeno un coautore straniero e la somma delle valutazioni ottenute dai prodotti eccellenti con almeno un coautore straniero dell’Area. Come tutti gli altri indicatori del Bando, IRAS4.2 tiene conto sia della qualità della produzione scientifica dei soggetti in questione che del loro numero. I valori dell’indicatore IRAS4.2 per il calcolo dell’indicatore finale di struttura sono riportati nell’Appendice F.
Per valutare l’aspetto dell’internazionalizzazione, oltre a IRAS4.2 si è calcolato un ulteriore indicatore Rint corrispondente al rapporto tra il punteggio medio ottenuto dai prodotti con coautore straniero della struttura in esame (Istrutt) e il punteggio medio ottenuto da tutti i prodotti con coautore straniero nell'Area (IArea). Se questo rapporto è maggiore di uno, la qualità media dei prodotti con almeno un coautore straniero della struttura è migliore della media di area.
Nella Tabella 6.14 si riporta in ordine alfabetico all’interno di ogni tipologia (atenei, enti, consorzi) l’elenco delle strutture che hanno presentato almeno un prodotto con coautore straniero. Le colonne si riferiscono alle quattordici aree. Per ogni area si riporta il segmento dimensionale (Grande, Medio, Piccolo), il valore dell’indicatore Rint, e la posizione della struttura nella graduatoria (tra parentesi la numerosità del segmento). Le celle colorate in verde indicano che la struttura occupa il primo posto nella graduatoria dimensionale dell’Area, le celle
53 vuote indicano che quella struttura in quell'Area non ha presentato prodotti con coautore straniero, e infine le celle grigie indicano che la struttura in quell'area ha meno di 3 soggetti valutati e il dato non viene mostrato.
Tabella 6.14: Elenco delle strutture in ordine alfabetico con i valori del rapporto tra il punteggio medio ottenuto dai prodotti con coautore straniero della struttura in esame (Istrutt) e il punteggio medio ottenuto da tutti i prodotti con coautore straniero
nell'Area (IArea).
6.5.3 L’indicatore IRAS7 e il confronto VTR-VQR
L’indicatore IRAS7 (indicatore di miglioramento) è collegato alle differenze di graduatoria delle strutture rispetto alla qualità dei prodotti conferiti alla VTR 2001-2003 e alla VQR 2004-2010. Il peso di questo indicatore è modesto, 0,05 , ma testimonia della volontà della VQR di mettere in evidenza (e premiare) le strutture che hanno mostrato segni tangibili di miglioramento nel tempo in alcune aree.
Il numero di prodotti attesi, il punteggio assegnato alle classi di valutazione e la metodologia di valutazione così diversi tra VTR e VQR hanno consigliato di attribuire un peso ridotto all’indicatore e di calcolarlo con un metodo che confrontasse gli indicatori R delle strutture nei due esercizi di valutazione. L’uso di un indicatore normalizzato consente di ridurre l’effetto delle differenze nella metodologia di valutazione.
Poiché nella VTR l’indicatore R non era calcolato, e si utilizzava una unica graduatoria mettendo insieme università ed enti di ricerca, e, inoltre, l’insieme delle strutture che partecipano alla VQR è diverso, si sono utilizzate le valutazioni della VTR per calcolare il valore dell’indicatore e confrontare le strutture in modo equo.
I dettagli del calcolo e le tabelle relative sono riportate nell’Appendice G. Nella Tabella 6.15 si riporta l’elenco delle università e degli enti di ricerca in ordine alfabetico con i valori di R nella VTR e nella VQR, e il valore di un indicatore binario I7 (0 o 1) intermedio. I valori sono riportati sia nel caso di quattordici che di sedici Aree.
Tabella 6.15: Elenco delle strutture in ordine alfabetico con i valori di R (VTR), R (VQR), I7 e IRAS7 nelle Aree
6.6 Analisi della collaborazione scientifica tra strutture
Il Bando prevedeva la possibilità per strutture diverse di presentare lo stesso prodotto purché associato a soggetti valutati differenti, cosa ovviamente possibile soltanto per prodotti con più di un autore. I prodotti presentati da più strutture sono una misura indiretta del grado di collaborazione tra le strutture nelle varie Aree, ed è significativo valutarne la qualità
54 confrontandola con quella media di area. Sulla base dei prodotti presentati da più strutture, si sono ricavate le informazioni presentate nella Tabella 6.16 e nella Figura 6.3.
Nella tabella sono riportati per tutte le Aree il numero dei prodotti presentati da 2, 3, 4 e oltre-4 strutture, e il valore dell’indicatore R per tutte le categorie. In questo caso R rappresenta il rapporto tra il voto medio ottenuto dagli articoli presentati da più strutture e il voto medio dell’area. Come si vede, in tutte le Aree R è maggiore di uno, con valori che vanno da un minimo di 1,19 (Area 14) a un massimo di 2,17 (Area 13). La tabella mostra altresì che le collaborazioni tra strutture sono assai più rilevanti nelle aree bibliometriche, e, in particolare, nelle Aree 2,5 e 6.
Nella Figura 6.3 si rappresenta la distribuzione dei prodotti presentati da più strutture. Il numero dei prodotti diminuisce al crescere del numero di strutture, fino al caso di un singolo prodotto dell’Area 2 presentato da ben ventidue strutture.
Tabella 6.16: Distribuzione nelle Aree del numero e dell’indicatore R dei prodotti presentati da più strutture Figura 6.3: Grafico della distribuzione nelle Aree del numero dei prodotti presentati da più strutture
55
7 La valutazione delle attività di terza missione delle strutture
7.1 Gli indicatori del bando relativi alle attività di terza missione
Gli indicatori di terza missione del Bando sono elencati nel seguito con i relativi pesi:
A. L’indicatore conto terzi (ITMS1, peso 0.2), misurato sommando gli importi dei contratti di ricerca/consulenza con committenza esterna acquisiti nel settennio 2004-2010;
B. L’indicatore brevetti (ITMS2, peso 0.1), misurato dal numero di brevetti concessi nel settennio 2004-2010 di titolarità/contitolarità della struttura;
C. L’indicatore spin-off (ITMS3, peso 0.1), misurato dal numero di spin-off accreditati presso la struttura ai sensi dei rispettivi regolamenti interni nel settennio 2004-2010;
D. L’indicatore incubatori (ITMS4, peso 0.1), misurato dalla presenza o meno di incubatori di imprese compartecipati dalla struttura;
E. L’indicatore consorzi (ITMS5, peso 0.1), misurato dal numero di consorzi e associazioni compartecipati dalla struttura che abbiano tra le loro finalità il trasferimento tecnologico;
F. L’indicatore siti archeologici (ITMS6, peso 0.1), misurato dal numero di scavi archeologici attivati dalla struttura nel settennio;
G. L’indicatori poli museali (ITMS7, peso 0.1), misurato dalla presenza o meno di poli museali gestiti o co-gestiti dalla struttura;
H. L’indicatore altre attività di terza missione (ITMS8, peso 0.2), che non siano riconducibili ad attività conto terzi, misurato in base all’elenco di altre attività fornito dalle strutture.
Il calcolo degli indicatori prevede sempre la normalizzazione rispetto al totale di area, analogamente a quanto fatto per gli indicatori della ricerca.
7.2 I dati di contesto di terza missione
Ai fini del calcolo degli indicatori della Sezione 7.1 sono necessari i dati che le strutture hanno conferito tramite l’interfaccia CINECA.
Nelle Tabelle 7.1 sono riportati i valori, assoluti e normalizzati dividendoli per il numero di SVETP, dei dati di contesto di terza missione di tutte le strutture valutate.
56 Nella Tabella 7.1a sono presentati i dati di contesto relativi alle attività conto terzi, brevetti, spin-off e incubatori, mentre nelle Tabella 7.1b si trovano i dati di contesto relativi ai consorzi, i siti archeologici, i poli museali e le altre attività di terza missione. La distinzione dei dati di contesto di terza missione in due tabelle ha carattere puramente espositivo, sebbene sia possibile distinguere tra attività di valorizzazione economica dei risultati della ricerca (spin-off, brevetti e incubatori), da attività di terza missione a carattere socio-culturale/divulgativo (siti archeologici e poli museali) e attività di terza missione trasversali (consorzi e altre attività di terza missione).
Tabella 7.1a: Valutazione dei dati di contesto di terza missione di tutte le strutture valutate: conto terzi, brevetti, spin-off e incubatori
Tabella 7.1b: Valutazione dei dati di contesto di terza missione di tutte le strutture valutate: consorzi, siti archeologici, poli museali e altre attività di terza missione
Nella Tabella 7.2 i valori, assoluti e normalizzati dividendoli per il numero di SVETP, dei dati di contesto di terza missione delle strutture valutate sono suddivisi per Area.
Tabella 7.2a: Valutazione dei dati di contesto di terza missione di tutte le strutture valutate per Area: conto terzi, brevetti, spin-off e incubatori
Tabella 7.2b: Valutazione dei dati di contesto di terza missione di tutte le strutture valutate per Area: consorzi, siti archeologici, poli museali e altre attività di terza missione
Le Tabelle 7.3 presentano le università in ordine alfabetico. Per ogni università, sono indicati i valori dei dati di contesto di terza missione e la posizione nella graduatoria (Tabella 7.3a, 7.3b, 7.3c e 7.3d). Le stesse informazioni sono contenute nelle Tabelle 7.4 per gli enti di ricerca e nelle Tabelle 7.5 per i consorzi interuniversitari. La graduatoria non è stata calcolata per la voce “altre attività di terza missione” in quanto dall’esame delle risposte sono emerse differenze tra le strutture nell’interpretazione dell’unità di analisi che renderebbero la graduatoria priva di significato
Tabella 7.3a: Elenco delle università con i dati di contesto di terza missione e posizione in graduatoria per ogni indicatore:
conto terzi, brevetti
Tabella 7.3b: Elenco delle università con i dati di contesto di terza missione e posizione in graduatoria per ogni indicatore:
spin-off e incubatori
Tabella 7.3c: Elenco delle università con i dati di contesto di terza missione e posizione in graduatoria per ogni indicatore:
consorzi e altre attività di terza missione
57
Tabella 7.3d: Elenco delle università con i dati di contesto di terza missione e posizione in graduatoria per ogni indicatore: siti archeologici e poli museali
Tabella 7.4a: Elenco degli enti di ricerca con i dati di contesto di terza missione e posizione in graduatoria per ogni indicatore: conto terzi, brevetti
Tabella 7.4b: Elenco degli enti di ricerca con i dati di contesto di terza missione posizione in graduatoria per ogni indicatore:
spin-off e incubatori
Tabella 7.4c: Elenco degli enti di ricerca con i dati di contesto di terza missione e posizione in graduatoria per ogni indicatore: consorzi e altre attività di terza missione
Tabella 7.4d: Elenco degli enti di ricerca con i dati di contesto di terza missione e posizione in graduatoria per ogni indicatore: siti archeologici e poli museali
Tabella 7.5a: Elenco consorzi interuniversitari con i dati di contesto di terza missione e posizione in graduatoria per ogni indicatore: conto terzi, brevetti.
Tabella 7.5b: Elenco consorzi interuniversitari con i dati di contesto di terza missione e posizione in graduatoria per ogni indicatore: spin-off e incubatori
Tabella 7.5c: Elenco consorzi interuniversitari con i dati di contesto di terza missione e posizione in graduatoria per ogni indicatore: consorzi e altre attività di terza missione
7.3 I dipartimenti
L’analisi dei dati di terza missione suddivisi per dipartimento ha mostrato distribuzioni con
L’analisi dei dati di terza missione suddivisi per dipartimento ha mostrato distribuzioni con