Conoscenze “di secondo livello”: protocolli di analisi e criteri di validazione

Esistono conoscenze o principi di carattere generale? Come abbiamo detto nel capitolo 2, autori come Merrill si schierano nettamente a favore di una risposta positiva. M a se esistono questi risultati, come si acquisiscono e come si validano ?

Si tratta di questioni intorno alle quali ruota da diversi anni un dibattito crescente, specie in ambito anglosassone (Inghilterra e u s a), animato dalla triplice preoccupazione di definire procedure in grado di identificare le ri­ cerche più efficaci, di desumerne orientamenti di carattere più generale e di migliorare la qualità scientifica globale della ricerca in educazione. L ’ insod­ disfazione verso l’ inconcludenza dei risultati cui spesso perviene la ricerca educativa e l’esigenza, anche sociale, di offrire valide ragioni su cui fondare l’azione sul piano delle politiche educative hanno spinto i fautori di questo orientamento a criticare, in forma talora anche radicale, la “tradizionale

ricer-ca eduricer-cativa” e a sviluppare un complesso di metodi e procedure per promuo­ vere una “cultura dell’evidenza” o della “prova” (Coe, 1999) anche in ambito educativo. Benché alcune delle critiche avanzate e le alternative metodolo­ giche suggerite non siano sempre limpide o esenti da ingenuità o eccessiva semplificazione, alcuni dei ricercatori più avveduti non mancano di riflettere in termini anche critici sul concetto stesso di evidenza da loro evocato, senza però per questo rinunciarvi. Vediamo in che senso.

3.1. Il concetto di evidenza D all’ inizio del nuovo millennio espressioni quali

evidenza o basato su evidenza accompagnano sempre più frequentemente la ricerca sull’ istruzione, con un’accelerazione esponenziale.

Che significato possiamo dare a queste espressioni ? Esse rimandano a proce­ dure ormai diffuse nel mondo della scienza; per conoscenza basata su evidenza possiamo intendere un tipo di conoscenza che è il risultato di un procedimen­ to di indagine empirica o di argomentazione logica chiaramente esplicitato e dunque ripercorribile nel suo intero tragitto dai presupposti teorici attraverso le metodologie seguite sino alla conclusione e che ha trovato consistenti conferme all’interno della comunità scientifica. La ripetibilità del procedimento permette anche, comparando i risultati, di capitalizzare le conoscenze, cioè di accumulare conoscenze basandosi sulle concordanze o differenze ottenute tra più ricerche. È possibile applicare questo riferimento anche alla ricerca educativa? Secon­ do un numero crescente di autori la risposta è affermativa, anzi è ormai neces­ sario procedere su questa strada. Il punto di avvio di questo nuovo orienta­ mento metodologico viene individuato in un intervento tenuto nel 1996 da parte di Hargreaves (2007) il quale sottolinea criticamente come, nonostan­ te ampie energie siano impiegate nella ricerca educativa, i suoi risultati siano inutilizzabili; la ricerca assomiglia più a una professione di fede che a un per­ corso scientifico, orientata su argomenti di scarsa rilevanza per gli insegnanti, i quali si rendono presto conto che la preparazione pedagogica teorica acqui­ sita all’università non è molto spendibile sul piano applicativo e che l’espe­ rienza se la devono fare da sé.

Su questa base ha appunto preso slancio l’Evidence-Based Education, espressio­ ne poi ammorbidita in Evidence-Informed Education o Evidence-Aware Edu­ cation, orientamento che negli ultimi anni ha incarnato una crescente esigenza di orientare gli sforzi della ricerca a favore di una conoscenza affidabile, trasferi­ bile, spendibile nelle politiche operative (Slavin, 1986; 2004; Davies, 1999; Coe,

1999; 2002; Ranieri, 2007; Calvani, 2013; Vivanet, 2014).

3.2. Le sintesi della ricerca: vantaggi e criticità N ell’ambito dell’orientamen­

to E B E , centrale è l’ idea di capitalizzare i risultati della ricerca attraverso con­ fronti sistematici della letteratura allo scopo di pervenire a una sintesi della migliore evidenza disponibile su un determinato argomento o problema educativo. I fautori di questo orientamento ne sottolineano i vantaggi su più

Evidenza vs opinione

Confronto sistematico

versanti (Davies, 2003). Da un lato, si fa osservare che cercare di stabilire “che cosa si sa già” su un certo argomento e renderlo accessibile può avere un valore per diversi soggetti: il ricercatore che può così individuare aree lacu­ nose, temi o argomenti rispetto ai quali la ricerca non si è interrogata o si è risposta in modo poco chiaro, incompleto o ambiguo; il professionista, nel nostro caso l’ insegnante/formatore, che può basarsi su un corpus di cono­ scenze ragionevolmente affidabili a cui ispirare la propria pratica; il decisore che così può, se vuole, fondare le politiche educative sulla base della miglior evidenza disponibile in letteratura. D all’altro, produrre una sintesi dei risul­ tati più affidabili cui la ricerca è pervenuta consente, almeno in linea di prin­ cipio, di acquisire conoscenze caratterizzate da un livello di generalità e tra­ sferibilità maggiore rispetto alle singole ricerche. Un singolo studio, infatti, può essere illuminante per certi aspetti, ma se non viene comparato con altri studi non si saprà mai che grado di trasferibilità posseggono i risultati cui esso è pervenuto, perché troppo legato a uno specifico contesto; allora sarà necessario cercare di confrontare questo studio con altri simili, che si riferi­ scono ad esempio a contesti analoghi, e tentare una sintesi, il cui grado di generalità potrà variare. Si tratta di un risultato non sempre possibile, ma in generale auspicabile, fermo restando che la sintesi deve rimanere aperta, provvisoria e suscettibile di essere rimessa in discussione. Infine, questa stra­ da dovrebbe consentire una migliore gestione della conoscenza in educazio­ ne. L ’aumento delle evidenze potenzialmente disponibili, insieme alla cre­ scita esponenziale di conoscenze e informazioni oggi accessibili, rende infatti quasi impossibile considerare tutti i risultati della letteratura esisten­ te. Siamo davanti a un problema di sovraccarico informazionale (inform a­

tion overload), causato almeno in parte dallo sviluppo delle tecnologie

dell’ informazione e reso ancora più complicato dal fatto che non tutte le ri­ cerche sono di uguale valore. L ’esistenza di centri specializzati nell’acquisi­ zione e nell’analisi critica dei risultati della ricerca e la possibilità di acceder­ vi potrebbero rappresentare un passo in avanti per una migliore gestione della conoscenza in campo educativo.

Accanto a questi vantaggi, vi sono zone d ’ombra che vanno illuminate pro­ prio per evitare il rischio di cadere in facili riduzionismi o ingenuità. Intanto, se si cerca di stabilire i “migliori risultati cui la ricerca è pervenuta” si sta par­ lando di valutazione della qualità della ricerca. I due termini “valutazione” e “qualità” sollevano alcuni interrogativi: rispetto a quali parametri/indicato- ri si stabilisce la qualità di una ricerca? Da quale prospettiva viene valutata, da quella dell’utente, del ricercatore o del decisore politico? Sono domande ampiamente dibattute, che si riallacciano anche al problema dell’affidabilità della ricerca, tema che abbiamo già trattato e che approfondiamo nel para­ grafo 2.5. Occorre comunque rilevare che, come in qualsiasi attività valutati­ va, anche in questo caso esisterà un ineludibile elemento di soggettività (ad esempio, i valori della persona che giudica, il sistema culturale di riferimento)

che informa la valutazione stessa. Cercare di esplicitare e giustificare i para­ metri adottati dovrà fare dunque parte del processo stesso di valutazione. Un altro problema riguarda la comparabilità delle ricerche. Com e si fa a con­ frontare e sintetizzare i risultati di ricerche che si basano su metodologie e contesti differenti? Esistono delle tecniche consolidate?

I metodi utilizzati per sintetizzare i risultati provenienti da studi basati su metodi sperimentali o quasi sperimentali sono piuttosto sviluppati. Tra que­ sti uno dei più noti è quello della metanalisi, una tecnica statistica che con­ sente di pervenire a una sintesi quantitativa dei risultati di singole ricerche svolte su un medesimo argomento e tra loro comparabili (cfr. Davies, Nutley, Smith, 2.000; Torgerson, 2003). Il termine risale a Glass (1976, p. 3) che lo usava per riferirsi all’ «analisi statistica di un’ampia raccolta di dati prove­ nienti da singoli studi allo scopo di integrare le scoperte».

Ma qualora non si abbia a che fare con studi basati su metodi sperimentali, bensì con ricerche qualitative oppure con ricerche quantitative e qualitative, com’è possibile sintetizzarne i risultati? I metodi per la sintesi di studi pri­ mari basati su interviste in profondità, osservazione partecipante, etnografia e simili sono sicuramente meno sviluppati. Tra i primi tentativi realizzati per elaborare metodi utili in questa direzione rientrano gli studi sulla meta- etnografia* (Noblit, Hare, 1988) e la Best-Evidence Synthesis (Slavin, 1986). La meta-etnografia è un metodo attraverso cui si cerca di sintetizzare i risul­ tati di studi qualitativi, specie di carattere etnografico. Come per la metana­ lisi, l’ intento è quello di andare oltre la singola ricerca, ma non aggregando esempi e individuando coerenze e variazioni tra singoli studi, bensì costruen­ do interpretazioni e rilevando analogie tra spiegazioni. I temi emergenti in letteratura vengono codificati e sintetizzati fino al punto in cui un’ulteriore integrazione potrebbe essere considerata non valida.

L ’approccio basato sulla sintesi della migliore evidenza (Best-Evidence Syn­

thesis) muove da un concetto pragmatico di sintesi della ricerca. Secondo

Slavin, il metodo utilizzato per sintetizzare i risultati della ricerca (metanalisi o meta-etnografia) è di per sé meno importante della qualità delle ricerche primarie, indipendentemente dal metodo da esse impiegato. Ciò che conta è pervenire alla sintesi della migliore evidenza, muovendo da criteri di selezio­ ne delle ricerche ben giustificati, chiaramente definiti a priori e applicati in modo coerente dai revisori. In questo caso, i risultati delle ricerche vengono “aggregati” attraverso delle sintesi narrative {narrative synthesis).

Metanalisi

Meta-etnografia

Sintesi della migliore evidenza

3.3. Le systematic reviews Uno dei principali strumenti che sta emergendo a

livello internazionale come adeguato allo scopo di effettuare confronti ampi e sistematici delle ricerche esistenti è quello della systematic review (s r)*. In termini generali, possiamo dire che una S R consiste in una sorta di meta- ricerca volta a individuare, valutare criticamente e sintetizzare i risultati di

ri-Caratteristiche dette s r Fasi d i una s r Domanda di ricerca e protocollo di selezione

cerche primarie rilevanti su un determinato argomento attraverso protocolli di analisi espliciti e rigorosi.

Più specificamente le SR si caratterizzano per i seguenti aspetti (Davies, 2003; Oakley, 2 0 0 2):

• sistematicità. Il carattere sistematico consiste nel considerare il maggior nu­

mero possibile di fonti informative, attingendo a banche dati, Internet, volumi cartacei, riviste, report di ricerca, materiali pubblicati e letteratura grigia;

• esplicitezza e trasparenza. Una s r si basa sull’esplicitazione preventiva di

tutte le scelte che riguardano la selezione delle strategie di ricerca della let­ teratura disponibile e i metodi utilizzati per individuare le fonti informative potenzialmente utili, i protocolli di valutazione critica della letteratura e le tecniche che verranno impiegate per la sintesi dei risultati. Ciò garantisce un grado di trasparenza che consente ad altri ricercatori di determinare che tipo di evidenza è stata ricercata nella review, come è stata criticamente valutata, come è stata presentata e interpretata;

• riproducibilità o replicabilità. La trasparenza dei protocolli adottati e la

documentazione di tutto il processo che caratterizza una s r dovrebbero, al­

meno in teoria, permettere ad altri ricercatori di pervenire a risultati analo­ ghi o quanto meno di replicare la review,

• intersoggettività. Una SR non viene mai condotta da un singolo ricerca­

tore, ma da un’équipe che valuta congiuntamente le ricerche individuate se­ condo uno standard precedentemente esplicitato, negoziato e condiviso per ridurre i rischi di soggettivismo;

• efficienza. Come strumento di gestione dell’ informazione, le s r offrono

una soluzione per avere accesso a un ampio volume di dati in modo rapido e gestibile;

• carattere pragmatico. La maggior parte delle SR hanno un intento prag­

matico. In assenza di “prove autorevoli o definitive”, un professionista avrà bisogno della “migliore evidenza disponibile” per informare le sue decisioni. In alcune circostanze il massimo cui possiamo aspirare è ridurre quanto più possibile l ’ incertezza ed eventualmente individuare altre domande cui è ur­ gente rispondere.

Una s r si configura quindi come un processo piuttosto complesso e anche dispendioso in termini di tempi e di risorse. Essa può essere schematicamente articolata in sei fasi.

1. Definizione prelim inare del focus della review (formulato in termini di do­

manda) e dei protocolli di analisi e valutazione. Per avviare una SR occorre prima

di tutto formulare in modo chiaro la domanda per la quale si cerca la migliore evidenza disponibile in letteratura. La definizione della domanda di ricerca è fondamentale, poiché essa influenza anche gli stadi successivi, determinando la tipologia di studi che verrà selezionata, in termini di argomenti, popolazione,

setting, piano di ricerca ed esiti attesi. Sempre in fase iniziale occorre definire un protocollo di selezione, analisi, valutazione e sintesi dei lavori individuati, in modo da rendere quanto più possibile il processo trasparente.

2. Ricerca, prim a selezione e mappatura delle ricerche individuate come po­

tenzialmente pertinenti. Una volta definiti la domanda iniziale e i protocolli

d ’analisi, si procede alla pianificazione delle strategie di ricerca. Questa atti­ vità consiste nell’ individuare e giustificare le fonti che verranno consultate e le parole chiave che verranno utilizzate per la ricerca nei dabase. Effettuata la ricerca, si procede a una prima selezione dei lavori localizzati e alla realizza­ zione di una mappa, basata su parole chiave, delle ricerche incluse al primo livello di analisi per descriverne le principali caratteristiche (luogo, popola­ zione di riferimento, metodi di ricerca).

3. Valutazione critica degli studi inclusi. Questa è sicuramente una delle fasi più delicate, poiché si tratta di raffinare l’analisi e valutare la qualità e la vali­ dità delle ricerche selezionate a un primo livello secondo parametri predefiniti. Quali criteri si possono considerare? Solitamente, essi ruotano intorno a tre dimensioni: la prima riguarda l’adeguatezza della ricerca presa in esame ri­ spetto al focus della review, la seconda si riferisce alla qualità scientifica del lavoro in rapporto alla validità e all’affidabilità dei risultati conseguiti; la ter­ za infine concerne la significatività dei risultati stimata in relazione a ciò che lo studio apporta di nuovo rispetto alla ricerca nel settore in questione e a ulteriori aree di ricerca per future investigazioni. È dalla combinazione delle valutazioni effettuate per ciascuno di questi parametri che si può “misurare”, per così dire, l’evidenza attribuibile a un certo studio.

4. Estrazione delle informazioni. Come abbiamo detto, una s r sintetizza i

risultati di un gruppo di ricerche. Per fare ciò bisogna prima estrapolare da ogni singolo studio, ritenuto ragionevolmente affidabile e significativo, le in­ formazioni rilevanti sulla base di un set di domande predefinite che solita­ mente mirano a raccogliere informazioni dettagliate sulle caratteristiche del­ la ricerca (contesto), i metodi impiegati, la popolazione presa in esame, la tipologia di intervento studiato, i risultati e le scoperte cui lo studio è perve­ nuto.

5. Analisi, confronto e sintesi dei risultati. Anche questa fase risulta piuttosto complessa. Indipendentemente dal metodo che verrà impiegato per la sintesi (metanalisi, metaetnografia ecc.), è importante riportare informazioni su contenuti e metodi delle ricerche analizzate, descrivendo anche i diversi con­ testi nei quali gli studi sono stati condotti e non azzerando l’eterogeneità qualora gli studi inclusi nella review risultino non confrontabili, ma comun­ que significativi pure per lo sviluppo di ulteriori ricerche.

6. Comunicazione dei risultati. Una S R si conclude con la comunicazione dei risultati, che può assumere differenti formati; solitamente prevede l’ela­ borazione di un resoconto nel quale viene analiticamente descritto il proto­ collo adottato dai revisori e vengono formulate delle raccomandazioni finali.

Ricerca ampia e sistematica Pertinenza, affidabilità, significatività Informazioni rilevanti Sintesi non è appiattimento Resoconto

Repertori e banche dati