Il REF nell’UOA19 Business and Management: il profilo “Impact”

La seconda dimensione di analisi, che rappresenta una delle principali novità introdotte dal REF, è la valutazione dell’“impatto” (impact) della ricerca al di fuori dell’accademia che rientri nella definizione di impatto prevista dal REF. Nello specifico, il main panel C riconosce come impatto qualsiasi effetto o cambiamento che si verifichi per esempio sulla cultura e sulla società, sull’ambiente, sulla salute e il benessere, sull’economia, sul commercio e sulle aziende, sui servizi ecc.

L’impatto può essere inoltre di ogni tipo e quindi, può essere locale, regionale, nazionale o internazionale e può includere numerosi beneficiari come per esempio l’ambiente, gli individui, le organizzazioni, le comunità ecc. In particolare, il Main panel C fornisce alcuni esempi di impatto riportati di seguito nella Tabella 4 (REF, Panel C Criteria, 2012):

97

Tabella 4: Main panel C, categoria d’impatto ed esempi

Categoria di impatto Descrizione Esempi

Impacts on creativity, culture and society

Impatto generato su individui, gruppi di individui, organizzazioni o comunità, le cui conoscenze, comportamenti, prassi, diritti e doveri sono stati influenzati dalla ricerca.

- miglioramenti nella preservazione, conservazione e presentazione del patrimonio e dei beni culturali; - miglioramento del benessere

sociale, uguaglianza ecc.;

- miglioramenti nelle regolamentazioni per la protezione dei diritti d’autore;

- miglioramenti nelle politiche e nelle pratiche per garantire la riduzione della povertà;

- contributi a campagne per cambiamenti sociali, politici o economici;

- maggiore comprensione culturale delle tematiche e dei fenomeni ecc.

Economic, commercial, organizational impact

Impatto generato su nuove o esistenti aziende, o altri tipo di organizzazioni che svolgono attività che creano ricchezza.

- sviluppo di nuovi materiali, prodotti o processi;

- miglioramento delle prassi lavorative;

- miglioramento della regolamentazione attinente al funzionamento o all’ambiente di governo delle aziende;

- miglioramento dell’accesso al credito;

- contributo al miglioramento della sostenibilità sociale, culturale o ambientale;

- miglioramento delle politiche di corporate social responsability ecc.

Impacts on the environment

Impatto generato sull’ambiente naturale, storico o sul paesaggio urbano di cui ne beneficeranno di conseguenza anche la società in generale, gli individui ecc.

- cambiamenti nei comportamenti e nelle attitudini verso l’ambiente; - miglioramento nella gestione e

conservazione delle risorse naturali e del rischio ambientale;

- miglioramento o implementazione di politiche ambientali o regolamenti;

- cambiamenti nelle prassi di costruzione e architettura;

- influenza sulla pratica professionale o sui codici ecc.

Health and welfare impacts

Impatto generato sugli individui o altri gruppi la cui qualità di vita è migliorata a seguito di una ricerca, o sono stati protetti i loro interessi.

- sviluppo o adozione di nuovi indicatori di salute e benessere; - sviluppo di politiche e pratiche in

materia di etica medica, servizi sanitari o di assistenza sociale; - sviluppo di standard etici;

- miglioramenti sulla salute e il benessere in generale ecc.

98

Impacts on practitioners and professional services

Impatto generato sulle organizzazioni o sugli individui coinvolti nello sviluppo e/o nell’erogazione di servizi professionali e etici.

- influenza su standard professionali, linee guida o formazione;

- utilizzo dei risultati delle ricerche nello svolgimento del lavoro professionale o nella pratica; - influenza sulla pianificazione o

gestione dei servizi;

- utilizzo dei risultati delle ricerche da parte di organi professionali per la definizione delle best practice, per formulare politiche o per fare pressioni ai governi o altri stakeholder;

- il dibattito tra practitioner è stato stimolato dai risultati della ricerca ecc..

Impacts on public policy, law and

services

Impatto generato sul governo, sul settore pubblico, sulle organizzazioni caritatevoli e sulle società, sia in generale, sia come gruppi di individui nella società, attraverso l’implementazione o non implementazione di politiche, sistemi o riforme.

- cambiamenti legislativi, sviluppo di principi giuridici o effetto sulla pratica legale;

- influenza sulle politiche dei governi, delle agenzie governative, delle NGO o delle organizzazioni private;

- cambiamento nell’offerta o nell’erogazione di servizi pubblici; - effetti sulla qualità, accessibilità, efficienza e riduzione di costi dei servizi ecc.

Fonte: REF, Main panel C criteria

Oltre alle tipologie di impatto riportate nella tabella suddetta, il main panel C riconosce nella definizione di impatto anche quello derivante dalle attività di public engagement. Inoltre, va evidenziato che gli esempi forniti dal REF rappresentano una guida per le Istituzioni nell’identificare l’impatto dalla loro ricerca e non costituiscono un limite o una restrizione. Infatti, date le difficoltà di identificare con accuratezza i possibili impatti generati da una ricerca scientifica, il REF invita le Università ad inviare informazioni riguardanti qualsiasi tipo di impatto, anche al di fuori degli esempi riportati nella guida REF.

In merito alla valutazione del profilo Impact, il REF prevede che qualsiasi forma o tipo di impatto, o beneficiario, venga valutato su base equa e che il focus della valutazione sia rivolto all’impatto realizzato dall’unità di ricerca (che ha effettuato la submission) nel suo complesso e non all’impatto realizzato dai singoli ricercatori o dai loro prodotti di ricerca. Nel fare ciò, la commissione di valutazione deve valutare le diverse evidenze fornite dalle

99

Istituzioni per comprovare l’impatto della ricerca al di fuori dell’accademia. In particolare, il main panel C prevede che la submission relativa all’elemento impatto debba includere:

 impact case study (REF3b)26_{, casi di studio in cui vengono forniti esempi specifici}

che descrivono l’impatto realizzato dall’unità di ricerca durante il periodo di valutazione. In particolare, nel caso di studio le Istituzioni devono fornire le evidenze (qualitative, quantitative ecc.) e gli indicatori sia sull’impatto generato, sia sulla relazione tra l’attività di ricerca da loro condotta e il relativo impatto generato27_{. Nel}

dimostrare il legame tra l’attività di ricerca svolta e l’impatto generato, nei case study le Istituzioni devono includere delle referenze di prodotti di ricerca28, realizzati

dall’unità che effettua la submission, che abbiano favorito e sostenuto la generazione dell’impatto dichiarato, e devono fornire evidenze29 _{sulla qualità di tali prodotti che}

deve essere pari almeno al livello 2 stelle (al fine di mantenere un legame tra impatto e qualità della ricerca). Inoltre, le Istituzioni devono provare di aver condotto ricerca (prodotta dalla specifica Istituzione in un determinato periodo di tempo) che abbia dato un distinto e materiale contributo all’impatto descritto nel caso di studio.

26 _{Il numero minimo di case study da presentare dipende dalla dimensione della struttura di ricerca e, in}

particolare, dal numero di accademici (Category A staff) facenti parte l’unità di ricerca stessa.

27 _{Esempi di tali evidenze aggiuntive, previste dal main panel C, sono: citazione in documenti pubblici o}

sentenze; citazioni da giornalisti e dai media; citazioni da organismi internazionali; evidenze di citazioni in politiche, in materia di regolamentazione, strategia, pratiche o altri documenti; evidenze su dibattiti tra practitioner sul tema che hanno portato a cambiamenti di comportamenti; dibattito pubblico sui media; documentazione indipendente che colleghi ricerca e impatto; cambiamento documentato di standard professionali e di comportamento; misure di soddisfazione; indicatori economici come l’aumento delle vendite o la riduzione dei costi.

28 _{Tali prodotti di ricerca possono essere inclusi nella submission anche come Output (elencati nel REF2). In}

una tale situazione, la valutazione dell’impatto non avrà nessuna influenza sulla qualità del prodotto di ricerca, cosi come la valutazione della qualità servirà solo in termini di assicurare che il prodotto di ricerca abbia almeno due stelle nella valutazione del caso di studio.

29 _{Il REF fornisce alcuni esempi di evidenze che possono essere fornite, per esempio: prodotti di ricerca che}

sono stati sottoposti a un rigoroso processo di peer review; prodotti di ricerca che sono il risultato di finanziamenti esterni che sono stati sottoposti a peer review; premi e riconoscimenti prestigiosi assegnati al prodotto di ricerca, ecc. Nel caso in cui tali evidenze non sono sufficienti, la commissione di valutazione può decidere di valutare il prodotto di ricerca.

100

Dunque, nel valutare il caso di studio, la commissione di valutazione deve considerare sia le evidenze relative al legame tra la ricerca condotta dall’unità valutata e l’impatto dichiarato, sia le evidenze relative alla portata e alla significatività dell’impatto stesso.

 impact template (REF3a), in cui l’unità di ricerca descrive l’approccio con cui ha cercato di supportare e/o facilitare il raggiungimento dell’impatto derivante dalla sua attività di ricerca, e il modo in cui sta elaborando ed adattando i loro piani per assicurare ciò anche in futuro. In particolare, tramite questo modello vengono fornite una serie di informazioni aggiuntive relative al contesto dei singoli casi di studio e all’approccio seguito dall’unità di ricerca per generare l’impatto, con particolare riguardo alle strategie e i piani seguiti per supportare il raggiungimento dell’impatto e, infine, alla relazione tra l’approccio dell’unità di ricerca per generare l’impatto e i casi studio selezionati. Nello specifico, tale modello deve fornire spiegazioni e evidenze per i seguenti elementi:

- “contesto”, informazioni riguardanti i principali gruppi di utenti non accademici, i beneficiari o i destinatari per l’unità di ricerca, i principali tipi di impatto particolarmente rilevanti per l’unità di ricerca, e come questi si legano con le diverse attività di ricerca o con i diversi gruppi nell’unità; - “approccio all’impatto”, in cui si descrive l’approccio seguito dall’unità di

ricerca per supportare il proprio staff nel favorire la generazione di impatto nel periodo di valutazione. Quindi, bisogna evidenziare in che modo l’unità di ricerca abbia supportato il proprio staff nel generare impatto (ad esempio attraverso l’utilizzo di determinate risorse, conoscenze ecc.);

- “strategia e piani”, in cui si descrivono gli obiettivi prefissati e i piani per massimizzare l’impatto potenziale dalla ricerca attuale e futura;

101

- “relazioni con il caso di studio”, in cui bisogna descrivere il legame tra l’approccio seguito dall’unità di ricerca per supportare l’impatto, e l’impatto descritto nel caso di studio.

Dunque, le informazioni fornite tramite questo modello consentono una valutazione olistica e contestualizzata dell’impatto.

La commissione di valutazione deve valutare le evidenze fornite dai due modelli suddetti e, per ogni submission, deve formare un profilo di impatto attribuendo un peso pari al 20% all’impact template e un peso pari all’80% al case study. La valutazione dell’elemento impatto della ricerca avviene sulla base dei seguenti due criteri:

 portata (reach), in termini di portata e diversità delle comunità, degli ambienti, degli individui, delle organizzazioni o di qualsiasi altro beneficiario che abbiano beneficiato o sono stati affetti della ricerca;

 significatività (significance), in termini del grado con cui l’impatto di una ricerca abbia arricchito, influenzato, informato o cambiato politiche, opportunità, prospettive o le pratiche delle comunità, degli individui o delle organizzazioni. Sulla base della valutazione del case study e dell’impact template, in termini di portata e

significatività, la commissione di valutazione assegna un giudizio su una scala di valori

simile a quella usata per la valutazione complessiva della qualità del prodotto valutato, come riportato nella Tabella 5.

Come discusso nel primo capitolo di tale contributo, misurare l’impatto della ricerca è un’attività molto complessa, soprattutto nelle discipline economico-aziendali, e ad oggi non esistono criteri universalmente accettati. L’utilizzo del case study come metodologia per descrivere l’impatto generato dalla ricerca presenta sicuramente delle criticità e dei limiti, dovuti principalmente all’approccio semplicistico e di natura descrittiva di valutazione dell’impatto (Khazragui & Hudson, 2014). Tuttavia, vale la pena sottolineare che esso

102

rappresenta un primo passo importante verso la considerazione dell’impatto esterno nell’ambito della valutazione della ricerca, e un buon punto di partenza per la definizione di criteri più adeguati a catturare gli effetti generati dalla ricerca.

Tabella 5: Impact sub profile: criteri e definizione dei 4 livelli

Categoria Descrizione dei 4 livelli

4 stelle “impatto di eccellenza (outstanding impacts) in termini della sua portata e significatività”

3 stelle "impatto molto considerevole (very considerable impacts ) in termini della sua portata e _{significatività”}

2 stelle "impatto considerevole (considerable impacts) in termini della sua portata e _{significatività”}

1 stella “impatto riconosciuto ma modesto (recognized but modest impacts) in termini della sua _{portata e significatività ”}

non classificato

"impatto di scarsa o nessuna portata e significatività; o impatto non ammissibile secondo i criteri previsti dal REF; o impatto che non è stato sostenuto da un eccellente ricerca prodotta dall’unita di ricerca oggetto di valutazione"

Fonte: REF, Assessment framework and guidance on submissions