I metodi e le tecniche della ricerca valutativa

La scelta dei metodi di valutazione dei programmi pubblici deriva in pri- mo luogo dall domanda valutatita. Da questa scaturisce l’approccio valutativo che s’intende implementare, a sua volta influenzato da fattori che riguardano princi- palmente il contesto, la logica e l’attuazione del programma. Ci si riferisce alla solidità della sua teoria, al livello di consenso tra gli stakeholder, al tipo di in- tervento socio-economico da implementare, al tema e al settore di sviluppo di riferimento, alla fase della sua attuazione (ex ante, in itinere, intermedia, ex post).

43 Tra gli altri, alcuni autori riconducibili all’approccio costruttivista - del processo sono Stake, 1975; Guba e Lincoln, 1985; Patton, 1997; Fetterman, 2001 e 2002; e Greene 1988.

E ancora, alla finalità della valutazione e alla singola fase del processo valutativo (CE, 2009).

Nell’ambito dello sviluppo rurale, il QCmv che, di fatto, riduce l’analisi va- lutativa alla quantificazione degli indicatori comuni e specifici dei pSr e alla for- mulazione delle risposte ai quesiti valutativi comuni, lascia trasparire un evidente sostegno all’utilizzo di metodi quantitativi. In particolare, l’uso del metodo contro- fattuale è fortemente sostenuto dal QCmv, e più recentemente ne è stata peraltro ribadita la necessità di applicazione dai servizi della Commissione Europea in re- lazione alle valutazioni intermedie dei pSr 2007-2013, per quantificare il contributo netto degli interventi allo sviluppo delle aree rurali. Ciò nonostante l’applicazione del metodo nell’ambito della valutazione delle politiche comunitarie venga da tem- po fortemente criticato dalla letteratura (Martini, 2008) e dagli stessi valutatori. Le critiche riguardano principalmente le difficoltà nel trovare i gruppi di controllo mai trattati, nel contesto di una programmazione a ciclo continuo e periodico, la complessità del campionamento, l’elevata diversificazione degli interventi e la loro modestia, soprattutto in ambito rurale (Martini e Sisti, 2009)44_.

Solo recentemente la Commissione Europea ha considerato l’opportunità che gli interventi realizzati nell’ambito degli assi III e IV dei pSr, vengano valutati con approcci e metodi di tipo qualitativo (eenrd, 2011). A prescindere dai giudizi sulla validità delle diverse tipologie di metodi45 _{(quantitativi, qualitativi o misti), la-} sciare ai valutatori ampia discrezionalità sul loro utilizzo deve servire ad accresce- re il grado d’innovazione e ampliare le dimensioni della valutazione e, soprattutto, dare robustezza alle indagini e alle analisi valutative.

A questo proposito, l’identificazione di criteri adeguati a conferire robustez- za ai diversi metodi valutativi rappresenta un aspetto cruciale per la loro validità (Stame, 2011). Nel merito, la letteratura si divide tra coloro che affermano una sorta di “gerarchia della robustezza”46_{, in cui evidentemente i metodi quantitativi,} fondati su criteri di affidabilità, validità e generalizzabilità, stanno al primo posto; e coloro che fondano la robustezza di un metodo sulla sussistenza di specifici criteri, quali la credibilità, la trasferibilità, la dipendenza, la convalidabilità e l’autenticità, 44 Tali questioni vengono sollevate anche da diversi valutatori nel contesto delle valutazioni interme-

die PSR 2007-2013.

45 Una più ampia descrizione dei metodi di valutazione viene data in Mantino F., Monteleone A. e Pe- sce. A. (2004) “Monitorare e valutare i fondi strutturali 2000-2006” Collana INEA Strumenti per lo sviluppo rurale.

46 Si fa riferimento all’analisi proposta da N. Stame nel corso della Winter school “Valutare per ca- pitalizzare le pratiche di cooperazione tra territori in un’ottica di sviluppo umano” organizzato da UmanamEnte (23-25 novembre 2011).

che dunque, se verificati, possono essere soddisfatti anche dai metodi qualitativi47_. In tempi recenti, di fronte alla crescente complessità e complicanza dei programmi valutati (Rogers, 2005), il paradigma di assolutezza dei metodi quantitativi sem- bra caduto e si registra una generale convergenza sul fatto che, nessun metodo è esaustivo né sempre valido e applicabile a tutte le valutazioni. Le esperienze va- lutative più recenti dimostrano invece un impiego sempre più frequente di metodi misti48_{, utilizzati in maniera complementare con quelli quantitativi e qualitativi. In} particolare, i metodi misti, offrono un uso complementare delle variabili analizzate e delle tipologie di dati rilevati rispetto alle diverse dimensioni della ricerca valuta- tiva; l’opportunità di interpretare i risultati delle analisi quantitative con le indagini di tipo qualitativo; e, infine, l’opportunità di corroborare la robustezza della ricerca valutativa, verificando la convergenza dei risultati delle analisi di tipo quantitativo con quelli delle analisi di tipo qualitativo (Stame, 2011)49_.

Nella valutazione delle politiche di sviluppo rurale, in particolare, i meto- di quantitativi potrebbero essere utilizzati per l’analisi sugli effetti mentre, quel- li qualitativi, per l’analisi dei processi e dei meccanismi d’implementazione dei programmi e, infine, quelli partecipativi per l’analisi organizzativa, relazionale, di percezione, interazione e condivisione. Questi ultimi dimostrano, peraltro, di avere grandi potenzialità di utilizzo, a motivo della loro capacità di prestarsi a un uso diretto delle comunità locali, che consente di costruire la ricerca valutativa, attra- verso la loro interazione con il valutatore, e restituirne i risultati con modalità di espressione a loro comuni e a forte impatto comunicativo (visualizzazione spaziale, video, fotografia, registrazione voce). Ne forniscono un esempio le esperienze con- dotte nel corso della valutazione on-going dei pSr 2007-2013, con l’uso della social network analysis e del video partecipato.

Al riguardo, la sperimentazione di tali metodi in altri contesti, fa emergere anche l’opportunità di ripensare alle funzionalità di alcuni strumenti informati- vi (es. GiS), divulgativi (archivi fotografici, video) e delle applicazioni web (google maps, google earth), peraltro già noti ai sistemi agricoli e forestali e ai valutatori, 47 I criteri vennero proposti da Lincoln e Guba (1985).

48 Una mappatura dell’utilizzo dei metodi misti viene offerta da J. C. Greene,V. J. Caracelli e W. F. Gra- ham, in “Toward a conceptual framework for mixed-method evaluation designs” in “Educational Evaluation and policy analysis”, vol. 11, n.3, (1989), riportata da N. Stame, 2007 in op. cit.

49 Si fa riferimento all’analisi proposta da N. Stame nel corso della Winter school “Valutare per ca- pitalizzare le pratiche di cooperazione tra territori in un’ottica di sviluppo umano” organizzato da UmanamEnte (23-25 novembre 2011). È questo peraltro un aspetto di tutto rilievo nella teoria del fallimento della valutazione, in cui la divergenza dei risultati delle analisi valutative condotte trami- te metodi misti rappresenta una condizione d fallimento della ricerca.

per impiegarli nella ricerca valutativa di tipo sociale. Ad esempio, le applicazioni del partecipative mapping (Chambers, 2006 e 2007; Emmel, 2008), che utilizzano tali strumenti, hanno dimostrato ottime prestazioni in termini di restituzione di informazioni complesse (di tipo valoriale, percettivo e sulle relazioni tra comunità e territorio), utili a costruire specifici sistemi cognitivi delle identità culturali e socio- economiche territoriali; di rappresentazione e comunicazione efficace dei risultati dei processi valutativi (visualizzazione spaziale delle esperienze locali); d’identi- ficazione e riconoscimento di istanze e esperienze locali utili a dare fondamento alle scelte dei decisori politici. Nello specifico, il metodo si è dimostrato utile nelle valutazioni ex ante per l’esplorazione di problemi sociali e di opportunità, oltre che nei percorsi di definizione e di rifinitura di strategie di sviluppo locale (iFad, 2009).

Nell’allegato 1, senza voler essere esaustivi, vengono proposte alcune delle tecniche utilizzate più frequentemente e riconducibili ai diversi metodi descritti.