2. Il quadro di riferimento
2.4. La metodologia
2.4.2. Il metodo misto
In letteratura i metodi misti si sono affermati a partire dall'obiettivo di una riduzione delle incertezze e delle riserve che possono emergere durante il processo operativo relativo ad una determinata strategia di ricerca valutativa, con il vantaggio di potenziare, quindi, la comprensione dei fenomeni sociali posti in analisi233. Si tratta di una metodologia, sviluppatasi ed affermatasi con successo in tempi relativamente brevi a partire dal contributo di Campbell and Fiskes sull'uso di una matrice multiattributo-multimetodo234, che nel tempo è stata definita come
233 GREENE J.C.-CARACELLI V.J.-GRAHAM W.F., I metodi misti, [―Toward a Conceptual Framework for Mixed-Method Evaluation Designs‖, in Educational Evaluation and Policy Analysis, 11(1989)3 ] in Stame N. (a cura di), Classici della valutazione, Milano, Franco Angeli, 2007.
234 Le correlazioni sono calcolate attraverso le misure di due o più attributi raccolte attraverso due o più metodi di misura, prendendo in considerazione soltanto quelli di tipo quantitativo, all'interno di un unico studio. Cfr. CAMPBELL D.T. –FISKE D.W., Convergent and discriminant validation by the
multitrait-multimethod matrix, in. Hinshaw S.P (a cura di), Psychological Bulletin, American Psychological Association, U.S., (1959)56, 81-105
integrata, combinata, quali-quantitativa, multimetodo, ibrida235, ed infine mista
(mixed methods)236, e che pone difficili sfide al ricercatore/valutatore: una raccolta
dati allargata (estensiva); una ingente richiesta di tempo come ordinaria richiesta derivante dall'analisi di dati numerici e testuali; una familiarità del ricercatore con entrambe le forme della ricerca (qualitativa e quantitativa)237.
All'interno della prospettiva dei metodi misti diviene possibile riunire le opportunità offerte dalle diverse metodologie di ricerca più consolidate, dunque preservare metodi e le tecniche di rilevazione dei dati attraverso una strumentazione affidabile ed attendibile, ottenendo delle informazioni più complete (di tipo sia quantitativo sia qualitativo) rispetto a problematiche afferenti un dato settore o uno specifico
target sul quale si intende intervenire.
Il perfezionamento della validità e della robustezza delle riflessioni e delle decisioni messe in evidenza durante il processo di valutazione costituisce soltanto uno degli elementi necessari ad una migliore comprensione delle problematiche, tale miglioramento può essere raggiunto soltanto in presenza di una più approfondita analisi degli outcome di un progetto ed attraverso l'adozione di una prospettiva integrata che tenga conto anche dei complessi processi tramite i quali una determinata politica influisce sugli aspetti sociali238. Il portato maggiore dei mixed methods è legato infatti all'accresciuta capacità esplicativa di tale approccio, indispensabile nel momento in cui l'ambito di ricerca si amplia e prende in considerazione elementi come le politiche socio-educative che introducono molteplici oggetti e livelli da includere nell'indagine.
Proprio in relazione a ciò bisogna considerare come Greene et al. attribuiscono rilevanza ai metodi misti di valutazione a partire dalla fase di pianificazione, e nella ulteriore considerazione di tre ambiti: il primo è quello politico, nel quale vengono esplicitate le proposte; il secondo è identificato con il livello paradigma, che si riferisce agli aspetti sociali e alle loro modalità interpretative e rappresentative degli individui ed al nostro modo di interpretare e rappresentare questi aspetti; l'ultimo ambito, quello tecnico, è costituito dai metodi e dalle procedure discrete impiegati per la raccolta e l‘analisi dei dati. Di estrema importanza, fra i differenti livelli, l‘incidenza dei metodi misti nel secondo ambito (paradigma), perché in questo caso rappresentano lo schema il attraverso il quale può emergere la conoscenza sul mondo sociale e il ruolo del valutatore al suo interno.
Per raggiungere tale obiettivo è importante prendere in considerazione la visione
del mondo o il paradigma fondante la ricerca attraverso i metodi misti. Sebbene
siano individuabili fino a sei differenti possibilità, la scelta del paradigma
235 C
RESWELL J.W. - VICKI L. - PLANO C., Designing and conducting mixed method research,
Thousand Oaks CA, Sage Publication, 2007
236 Cfr. TASHAKKORI A.-TEDDLIE C., Handbook of Mixed Methods in Social & Behavioral Research. Thousand Oaks: Sage, 2003
237 C
RESWELL J.W., Research design. Qualitative, quantitative and mixed methods approach,
thousand Oaks CA, Sage Publication, II Ed, 2003. 238 Vedi Capitolo 3 paragrafo 3.4.2.
della formazione della conoscenza come outcome delle politiche socio-educative.
pragmatista239, la più diffusa e accettata tra i più importanti esperti di mixed
methods, si afferma per diversi motivi, tra i quali: la possibilità di utilizzare metodi qualitativi e quantitativi in un singolo studio; l'importanza primaria della domanda di ricerca; l'abbandono della scelta dicotomica obbligata tra postpositivismo e costruttivismo; l'abbandono di concetti metafisici come verità e realtà240.
Queste riflessioni sono particolarmente funzionali al processo di selezione dei diversi obiettivi, per stabilirne l'ordine e la priorità, e permettere di trarre conclusioni più valide rispetto a quelle derivabili da una sola valutazione quantitativa o qualitativa. Greene et al. puntualizzano, inoltre, che, preliminarmente al processo di valutazione è necessario considerare due aspetti progettuali: in primo luogo, in base ai differenti punti di forza delle procedure quantitative e qualitative, bisogna stabilire quale sia il metodo più adatto per raccogliere i diversi tipi di dati da analizzare; in secondo luogo è necessario stabilire la modalità di combinazione dei dati ottenuti, che deve essere la più efficace ed integrata241.
Greene et. al. definiscono cinque approcci diversi per la valutazione mista, denomiti: triangolazione, complementarietà, sviluppo, nuove iniziative, espansione. La prima strategia, della triangolazione, viene ricondotta alla scelta di
strumenti concettuali, di procedure operative differenti e di soluzioni tecniche appropriate ai diversi aspetti che si intende approfondire, da utilizzare ed integrare tra loro. L'aspetto fondamentale diviene in questo caso l‘elemento dell‘integrazione: le differenti procedure implementate non possono essere semplicemente giustapposte, poiché è proprio dalla loro integrazione che si viene a creare il valore aggiunto nei confronti dei risultati ottenibili dal singolo metodo, e una diversificazione e approfondimento delle informazioni prodotte. Nel successivo approccio, della complementarietà, l'utilizzo di uno strumento afferente ad uno dei due metodi serve a chiarire e delineare i risultati ottenuti mediante un dispositivo dell'altro metodo ad esso complementare. In terzo luogo, l‘approccio dello sviluppo, punta ad accrescere, arricchire ed estendere i risultati ottenuti con uno strumento, impiegandoli nelle fasi successive utili al completamento del processo di ricerca; questi passi susseguenti necessitano in ogni caso dell‘impiego di altri dispositivi proprio perché i risultati preliminari sono in grado di fornire l‘opportunità di integrare fonti di informazione, teorie, etc. . La penultima strategia, delle nuove iniziative, viene predisposta nel caso in cui i risultati ottenuti con l‘utilizzo di un dispositivo di indagine spinge all'elaborazione nuove research
questions, che richiedono ulteriori strumenti per l'individuazione delle risposte. In
239 Cfr. TASHAKKORI A.-TEDDLIE C., Handbook of Mixed Methods in Social & Behavioral Research. Thousand Oaks: Sage, 2003
240 JOHN W. - CRESWELL, Research design. Qualitative, quantitative and mixed methods approach, Thousand Oaks CA, Sage Publication, II ed., 2003, pp 26-27.
241 Creswell identifica sei maggiori strategie in base alle differenti integrazioni: esplicativa sequenziale, esplorativa sequenziale, trasformativa sequenziale, triangolazione concorrente, concorrente nidificata, concorrente trasforrmativa. In particolare la triangolazione concorrente in genere integra i risultati dei due metodi in fase interpretativa. Cfr.: CRESWELL J.W.-VICKI L.-PLANO
C., Designing and conducting mixed method research, Thousand Oaks CA, Sage Publication, 2007.
ultimo, l‘approccio della espansione, espone le modalità attraverso le quali i risultati rilevati con uno strumento si espandono appunto avvalendosi delle specificità di altri dispositivi, che aumentano la ricchezza e il grado di dettaglio dello studio permettendo di esplorare aspetti diversificati.
E' riconosciuto in generale come la teoria e pratica della valutazione siano inclini ad un approccio pluralistico, contraddistinto dalla compresenza di un'eterogeneità di prospettive, di metodologie, e di valori e dalla concomitanza di metodi quantitativi e qualitativi.
La metodologia dei metodi misti in valutazione, secondo Greene, mantiene proprietà di indeterminazione e apertura mentale necessarie ai valutatori per usare le proprie scoperte nelle attività e per il cambiamento.
Una delle caratteristiche che ha portato alla scelta del tipo di intervento di politica socio-educativa sul quale mettere alla prova il framework, rielaborato e predisposto in questa Tesi, è l‘utilizzazione della metodologia mista come base del programma di valutazione associato all‘intervento stesso; questa scelta operativa è stata realizzata dal gruppo di lavoro responsabile del programma valutativo (monitoraggio e valutazione progressiva)242.
Oltre al metodo misto, il programma di valutazione è stato caratterizzato, anche attraverso l‘inserimento di un terzo osservatore, rappresentato dall‘associazione dell‘azione della prova del framework, dall‘uso della triangolazione, che ha interessato tutte le tre principali dimensioni della ricerca valutativa, come proposto da Nutbeam243, cioè (vedi anche figura 4.3.1.b):
Triangolazione delle fonti di dati: cioè la raccolta e l'utilizzo di differenti tipi di informazioni a supporto della fase di analisi e valutazione. (relazioni iniziali, progetto dell‘intervento, bando di gara, contratto)
Triangolazione dei ricercatori: cioè il coinvolgimento di più ricercatori nella raccolta ed analisi dei dati, ovvero il gruppo di ricerca originale e quello per la prova del framework, e che si configura come particolarmente utile se i ricercatori sono portatori di prospettive teoriche e metodologiche differenti. relativamente a questo punto; proprio il modello teorico adottato per questa tesi, differendo completamente da quello dell'impostazione della valutazione ufficiale e formale dell'intervento, genera ulteriori tipologie di analisi, di risultati ed di riflessioni sul progetto.
Triangolazione dei metodi: cioè l'impiego di numerosi metodi differenti (interviste individuali, focus group, osservazione di riunioni) nello studio del fenomeno. (diari, osservazioni sul campo, interviste).
Sempre secondo Nutbeam, questo tipo di approccio è fondamentale ―laddove un disegno della ricerca di tipo sperimentale sia impraticabile, inappropriato o parziale, - pur non essendo queste limitazioni valide per l‘intervento della
242 Vedi Capitolo 3.
243 NUTBEAM D., Evaluating health promotion-progress, problems and solutions, in Health promotion international, Oxford university press, 13(1998)1,
della formazione della conoscenza come outcome delle politiche socio-educative.
sperimentazione- assicurando potenti evidenze di successo e un'insight nei processi di cambiamento nella popolazione e nelle organizzazioni‖.