Il RAE viene condotto in base alle discipline e non in base alle unità dipartimentali. Il RAE del 1996 copriva 69 aree di interesse. Con gli istituti si sono negoziate le modalità in cui delineare le varie “aree di interesse”. Nel 1996 sono stati valutati complessivamente 2.896 soggetti, provenienti da 192 “università” e centri di educazione superiore.
Alla “ricerca” è stata attribuita l’ampia definizione di “indagine originale, condotta al fine di acquisire conoscenza e comprensione”.
La definizione comprende il lavoro nell’arte e nel campo umanistico, nonché nelle scienze; viene incluso anche il lavoro il cui risultato non consista in un testo scritto ma, ad esempio, riguardi mostre, prestazioni o progetti. A tutte le forme di ricerca è stato dato lo stesso peso, quale che fosse il loro obiettivo e qualunque fossero le loro modalità di finanziamento. Ciò rappresenta un cambiamento rispetto all’esercizio del 1992, in cui la “ricerca applicata” apparteneva ad una categoria separata. Secondo la Guida alla Valutazione della Ricerca (HEFCE Marzo 1998), ogni istituto presenta delle dichiarazioni scritte sulle attività di ricerca che verranno sottoposte a valutazione. È bene osservare che gli istituti stessi hanno deciso non solamente i campi di interesse a cui partecipare, ma anche quale lavoro dello staff doveva essere sottoposto a valutazione. Pertanto gli istituti devono valutare il corpo accademico, prima di sottoporlo alla valutazione, e selezionare coloro che vanno considerati come “attivi nella ricerca”. Se si include il personale più scarso, si rischia di ottenere un voto più basso; al contrario, se si include il personale migliore, si può ottenere un voto eccellente ma si rischia di ricevere meno denaro, poiché i sussidi da elargire sono calcolati sulla base del numero del personale valutato. Quindi sembra più conveniente separare l’organico in “attivo nella ricerca” e in “non attivo nella ricerca”. Dal RAE si è dimostrato che la divisione tra personale “attivo nella ricerca” e personale “non attivo nella ricerca” rappresenta una delle più significative all’interno degli istituti.
La partecipazione all’esercizio si svolgeva secondo una forma standard e includeva per ciascuna di esse:
· nomi dei ricercatori attivi, impiegati dall’istituto al 31 marzo 1996, che volevano sottoporre a valutazione il lavoro da essi condotto;
· dettagli di pubblicazioni (fino a quattro) o altro materiale pubblicato, da parte di ciascuno dei ricercatori coinvolti. Il lavoro doveva essere stato completato, presso gli istituti o altrove, entro i sei anni precedenti per materie artistiche e umanistiche o entro i quattro anni per tutte le altre materie;
· numero degli studenti ricercatori e delle borse di studio concesse nel dipartimento e i relativi risultati nella ricerca, ottenuti durante il periodo di valutazione;
· dichiarazione dei risultati ottenuti nella ricerca, delle iniziative adottate per sostenere e promuovere la ricerca, di fatti comprovanti i riconoscimenti esterni o la collaborazione internazionale ricevuta e qualsiasi altra informazione importante. L’esercizio del 1996 ha evidenziato in modo particolare, rispetto agli esercizi precedenti, la qualità dei risultati ottenuti nella ricerca, non prendendo in considerazione il numero complessivo delle pubblicazioni prodotte dai ricercatori attivi, bensì esclusivamente le quattro pubblicazioni sottoposte a valutazione. Tale cambiamento è stato apportato in seguito a consultazioni tra gli istituti partecipanti e gli altri organismi interessati.
L’autorità degli esperti e, strettamente legati ad essa, gli iter disposti per la nomina degli esperti sono considerati di notevole importanza per la credibilità dell’esercizio. Nel 1996 sono stati nominati 60 gruppi di esperti per valutare 69 aree di interesse. La maggior parte dei membri esperti era composta da ricercatori attivi di livello elevato nei rispettivi campi di competenza. Alcuni membri avevano maturato esperienze nell’utilizzo e nel commissionamento della ricerca nel settore industriale e nel settore pubblico. I Presidenti dei gruppi di esperti venivano nominati dagli enti preposti al finanziamento.
I membri dei gruppi di esperti venivano nominati dalle università, dalle organizzazioni professionali, dalle associazioni in materia e da altri organismi interessati e venivano selezionati in base ai consigli espressi dal presidente. Quindi, nel caso di tali gruppi di esperti, che ricoprivano un’area piuttosto ridotta, verso la quale si mostrava soltanto un interesse limitato all’esterno delle università, i dipartimenti sottoposti a valutazione hanno avuto la percezione di poter esercitare una notevole influenza nel processo. Per altri gruppi di esperti, gli organismi preposti alla nomina erano talmente tanti che il singolo dipartimento aveva un’influenza assai limitata, che rischiava di portare alla creazione di un gruppo di esperti composto da ricercatori operanti nelle “tradizioni della ricerca” differenti da quella dei singoli dipartimenti. Al fine di valutare le aree di specializzazione, la ricerca interdisciplinare e multidisciplinare, il presidente del gruppo ha, in alcuni casi, nominato dei sottogruppi di esperti, ha fatto riferimento o ha chiesto la consulenza di altri esperti esterni.
Non venivano previste visite in loco o dialoghi con i singoli istituti all’interno del processo di valutazione, il che significa che la valutazione viene condotta esclusivamente sulla base del materiale presentato. Notevole importanza è inoltre attribuita ai criteri comuni di sviluppo per le valutazioni. In pratica i criteri per le valutazioni erano gli stessi per tutte le discipline ma i gruppi di esperti avevano la facoltà di apportare modifiche ai criteri, secondo la natura di ciascuna disciplina. Occorre sottolineare che i criteri venivano comunicati agli istituti prima dell’inizio dell’esercizio di valutazione.
In base ai criteri, il fattore più significativo nei giudizi espressi dai gruppi di esperti consisteva nella valutazione qualitativa dei lavori prodotti.
I lavori dovevano essere considerati anche nel contesto dell’attività di ricerca condotta dal dipartimento in questione. Sebbene si prevedesse di presentare quattro pubblicazioni per ogni membro dell’organico, i criteri permettevano ai gruppi di esperti di non penalizzare i dipartimenti che sottoponevano un numero più limitato di pubblicazioni per alcuni membri del proprio staff, in presenza di circostanze particolari. I motivi del minore numero di pubblicazioni potevano comprendere progetti di ricerca a lungo termine, impiego precedente in altre mansioni o elevata proporzione di personale giovane che non aveva ancora esperienza nel campo della ricerca.
Inoltre i gruppi di esperti dovevano analizzare i dati numerici di base, come rapporto del personale rispetto agli studenti (studenti ricercatori), risultati della ricerca e piani di ricerca futura. Se richiesto dai gruppi di esperti, dovevano essere sottoposti a valutazione anche i piani relativi all’esercizio precedente del 1992. Se appropriate e disponibili, venivano incluse anche le informazioni derivanti dagli altri organismi preposti al finanziamento.
Nel 1996 non esisteva alcuna norma che contemplava le modalità di misurazione delle parti qualitative e quantitative delle valutazioni e il regolamento vigente differiva da gruppo a gruppo. L’esperienza dei due membri del gruppo di esperti intervistati è stata, tuttavia, che i giudizi qualitativi e quantitativi, espressi in modo separato, producevano generalmente gli stessi voti.
Poiché si tratta di esprimere un giudizio su un numero elevato di articoli e di pubblicazioni, la valutazione rappresenta un considerevole carico di lavoro per i gruppi di esperti e per alcuni gruppi è stato più oneroso rispetto ad altri.
Alcuni gruppi di esperti passano in rassegna tutto il materiale a loro sottoposto ma non è la procedura generale prevista. In particolare le valutazioni dei gruppi di esperti si basano su giudizi indiretti espressi pubblicamente dai giornali, dai giudizi di proposte avanzate dal consiglio di ricerca e dalla competitività per lo stanziamento dei fondi esterni in generale. Ci si potrebbe interrogare sulla questione se questi costituiscono criteri qualitativi, ma come ha dichiarato un intervistato: entrambi i generi di misure si basano su precedenti revisioni tra pari.
I gruppi di esperti hanno valutato tutte le sottomissioni presentate e hanno classificato le discipline da 1 a 5*. Tali classificazioni sono state definite come segue:
5*. La qualità della ricerca che eguaglia livelli raggiungibili di eccellenza sul piano internazionale, riferita alla maggioranza di sotto-aree di attività, e livelli raggiungibili di eccellenza sul piano nazionale, in tutte le altre.
5. La qualità della ricerca che eguaglia livelli raggiungibili di eccellenza sul piano internazionale in alcune sotto-aree di attività, e livelli raggiungibili di eccellenza sul piano nazionale, in quasi tutte le altre.
4. La qualità della ricerca che eguaglia livelli raggiungibili di eccellenza sul piano nazionale in alcune sotto-aree di attività, possibilmente mostrando alcuni fatti che provino l’eccellenza ottenuta sul piano internazionale, in quasi tutte le sotto-aree di attività; possibilmente mostrando alcuni fatti che provino l’eccellenza ottenuta a livello internazionale o a livello internazionale in alcuni casi e a livello nazionale nella maggioranza.
3a. La qualità della ricerca che eguaglia livelli raggiungibili di eccellenza sul piano nazionale, con una maggioranza sostanziale di sotto-aree di attività oppure a livello internazionale, in alcune
e a livello internazionale in altre, che insieme formano la maggioranza.
3b. La qualità della ricerca che eguaglia livelli raggiungibili di eccellenza sul piano nazionale, nella maggioranza delle sotto- aree di attività.
2. La qualità della ricerca che eguaglia livelli raggiungibili di eccellenza sul piano nazionale, in almeno la metà delle sotto- aree di attività.
1. La qualità della ricerca che eguaglia livelli raggiungibili di eccellenza sul piano nazionale in qualcuna, o di fatto in nessuna, delle sotto-aree di attività.
I fondi statali sono calcolati sulla base del numero di ricercatori che si sottopone all’esercizio. La ripartizione dei fondi dipende, inoltre, dalla materia. Le discipline sperimentali hanno un peso di 1,7, le altre materie cliniche di 1,3, mentre le discipline come letteratura e scienze hanno un peso di 1,0. Nell’esercizio del 1996, al voto 3b era assegnato un finanziamento base. Da 3b a 5, andava aggiunto il 50% del finanziamento base per ogni punteggio più alto. Da 5 a 5* si dava una percentuale ulteriore del 25%. Un voto minore di 3b non consentiva l’assegnazione di alcun sussidio finanziario per la ricerca. Ciò significa che il risultato delle classificazioni è stato essenziale per la capacità dei soggetti interessati di condurre la ricerca. Gli esiti dell’esercizio determinano le modalità con cui gli organi preposti al finanziamento stanziano i fondi per la ricerca, previsti per i quattro anni successivi all’autunno del 1997.
Come già affermato, l’unico esito dell’esercizio finora manifestatosi è stato l’assegnazione di voti. In generale le istituzioni sembrano accettare i giudizi espressi dai gruppi di esperti. Al fine di sostenere un ulteriore sviluppo istituzionale della ricerca, molte delle “vecchie” università impongono ai loro dipartimenti di contattare i comitati di valutazione, dopo
l’esecuzione dell’esercizio, allo scopo di ricevere spiegazioni circa i giudizi da loro espressi. Ciò si rivela più semplice per la maggior parte delle università esistenti, poiché hanno spesso personale che era o è ancora membro di alcuni di questi comitati. Il contatto tra le università “nuove” e i membri dei comitati è alquanto difficile da instaurare.