Tecnica analitica, applicabile da uno o più esperti riuniti in gruppo, che prevede la
comparazione sistematica di tutte le combinazioni binarie possibili di oggetti di analisi (ad esempio servizi, alternative progettuali, concetti ecc…) su una o più dimensioni valutative ritenute rilevanti. La procedura operativa prevede, per ciascuna dimensione: a) la
predisposizione di una matrice le cui celle individuano le possibili combinazioni binarie degli oggetti considerati. Tale matrice può essere triangolare quando nel confronto opera la
proprietà transitiva (Nicastro, 2003) o quadrata in caso contrario (cfr. Bezzi, 2005); b) la definizione di una scala di preferenza per l’assegnazione dei punteggi; c) l’attribuzione del punteggio ritenuto congruo per ciascuna delle possibili combinazioni; d) la determinazione delle preferenze cumulative ottenute da ogni oggetto su ciascuna dimensione; e) il calcolo dei punti complessivi assegnati a ogni oggetto e la definizione della graduatoria finale.
Si tratta di una tecnica analitica che può essere proficuamente utilizzata per la selezione tra le alternative progettuali presentate in risposta ad un bando.
Bibliografia minima:
• Bezzi C. (2005), “Rendiamo dinamica la SWOT”, Rassegna Italiana di Valutazione, a. IX, n. 31.
• Nicastro R. (2003), “Considerazioni metodologiche per la costruzione di un indicatore di criticità”, Rassegna Italiana di Valutazione, a. VII, n. 25.
Consenso
In termini generali si intende il comune sentire, ossia l’accordo tra i significati attribuiti e le opinioni espresse da attori sociali individuali o collettivi attorno a una data questione. Si tratta di un concetto di estrema rilevanza nell’ambito delle politiche pubbliche (vedi) e più in
particolare dei processi decisionali in cui un certo grado di consenso da parte degli
stakeholder è generalmente considerato elemento necessario perché le azioni utili alla
soluzione dei problemi collettivi possano essere decise e correttamente implementate. Esistono metodi e tecniche specificamente finalizzati alla costruzione del consenso (es.
consensus conference, consensus building, ecc…) che possono essere adottati nell’ambito dei
processi decisionali. Nella trattazione di tali processi il concetto è normalmente correlato a quelli di partecipazione (vedi) e di democrazia deliberativa (vedi) con cui non va confuso; in ambito valutativo il consenso è correlato in particolare alla valutazione partecipata. Come è stato evidenziato (Bezzi, 2010, 2011) in valutazione talvolta il concetto è impropriamente messo in relazione a quello di validità (vedi) delle informazioni prodotte da processi di ricerca valutativa in cui siano state impiegate tecniche di gruppo (es. il focus group) che possono favorire e utilizzare il consenso dei partecipanti attorno alle questioni indagate.
Bibliografia minima:
• Bezzi C. (2010), Il nuovo disegno della ricerca valutativa. Terza edizione interamente rivista, Franco Angeli, Milano.
• Bertin G. (2011), Con-sensus method. Ricerca sociale e costruzione di senso, FrancoAngeli, Milano.
Voci correlate: • Democrazia deliberativa; • Partecipazione; • Politiche pubbliche; • Validità. (CT)
Contesto
Uno dei termini più comuni nella ricerca sociale e valutativa e, conseguentemente, dei più ambigui. ‘Contesto’ è indubbiamente l’insieme di istituzioni che hanno a che fare direttamente e indirettamente col programma o politica oggetto di valutazione: l’Ente committente, i livelli istituzionali coinvolti come beneficiari diretti e indiretti nonché il tessuto socio-‐economico che tali istituzioni e attori determinano in una data area (e probabilmente questi sono i significati impliciti più usuali, utilizzando il termine nel senso di “ambiente”). ‘Contesto’, in forma più evoluta e conseguente, è l’insieme delle relazioni sociali e istituzionali che agiscono in conseguenza del programma e che ne influenzano l’implementazione e l’esito (questo ne è per esempio il senso nella valutazione realista). Un passo successivo consiste nell’ampliare in senso antropologico il concetto includendovi gli elementi culturali e simbolici idonei a
comprendere le precedenti relazioni. Il contesto, nel disegno della ricerca valutativa, è il primo elemento del processo contesto mandato definizioni operative etc., che sostituisce “teoria” nell’analogo disegno della ricerca sociale (teoria ipotesi definizioni operative etc.).
Voci correlate:
• Disegno della ricerca valutativa.
(CB)
Controfattuale
È detta ‘controfattuale’ la situazione ipotizzata come quella più probabile nel caso in cui un determinato evento, accaduto realmente, non si fosse mai manifestato. Nella valutazione degli interventi pubblici (politiche sociali, programmi, progetti, servizi, etc.) il paradigma
controfattuale è impiegato per stimare l’effetto (o impatto -‐ vedi) che la realizzazione di un intervento (situazione fattuale) ha prodotto su una determinata condizione/comportamento di un gruppo specifico di soggetti, al netto di ciò che si sarebbe osservato se quello stesso
intervento non fosse stato attuato (situazione controfattuale); laddove, la condizione o comportamento oggetto di interesse è sintetizzato, in genere, dal valore di una variabile numerica, detta variabile risultato (outcome variable) quale, ad esempio, il reddito medio di una determinato gruppo di individui, il numero medio di occupati di un territorio, il numero medio di giorni di attesa per usufruire di un determinato servizio, ecc. Tale approccio
valutativo (in merito al quale nella letteratura anglosassone si fa riferimento con il termine di
Impact Evaluation) ha la finalità di rispondere alla domanda se e quanto l’intervento valutato è
in grado di modificare, nella direzione e con l’intensità attesa, una determinata variabile risultato e, dunque, di rispondere alla domanda se e quanto la relazione causa-‐effetto ipotizzata tra l’intervento messo in campo e il cambiamento che esso è in grado di determinare funziona oppure no. In altri termini, è un approccio che, da un lato, mira a stimare la quota di cambiamento osservato attribuibile all’intervento valutato e, dall’atro, permette di controllare la validità dell’ipotesi di causazione su cui l’intervento è costruito. Nell’impiegare questo approccio alla valutazione di un programma pubblico, il valutatore ha comunque di fronte a sé una sfida non semplice: ricostruire, in via ipotetica, la situazione controfattuale che si sarebbe osservata in assenza del programma. Una volta che il programma è stato implementato, infatti, qualcosa comunque si è modificato nella
condizione/comportamento di partenza, per cui non è più possibile osservare realmente la situazione che si sarebbe osservata in assenza dello stesso programma. A tale scopo, vengono impiegati (prevalentemente) disegni di ricerca quasi-‐sperimentali, fondati sostanzialmente sul confronto tra i valori della variabile risultato rilevati per il gruppo dei soggetti “trattati” dal programma considerato e i valori della stessa variabile rilevati su un gruppo di soggetti non trattati.
La valutazione comporta l’espressione di un giudizio basato su un qualche tipo di confronto. Possiamo anzi affermare il principio che senza un confronto non si può avere valutazione. Il problema sta quindi nel chiarire qual è il termine di confronto utilizzato per formulare tale giudizio, perché è stato adottato proprio tale termine e come si è giunti alla sua costruzione [Martini e Sisti, 2009]
Il primo termine di questa differenza è osservabile e non da grossi problemi di rilevazione: è sufficiente organizzarsi e prendere nota di cosa accade a coloro che sono stati esposti alla politica. Il secondo termine invece, per quanti sforzi noi facciamo, non potrà mai essere osservato, in quanto la situazione che dovremmo descrivere non si è realmente verificata. Al massimo ci è consentito <<immaginarla>>. Dall’inosservabilità di tale situazione nasce appunto il nostro dilemma, che è poi tipico di tutte le scienze sociali che tentano di inferire nessi causali tra fenomeni. Un dilemma, in linea di principio, senza soluzione: se la situazione controfattuale non è osservabile, non potremmo mai dirci assolutamente certi di quale sia l’effetto prodotto da una politica […]. Se infatti non ci è concesso osservare direttamente il vero effetto, è comunque possibile individuare dei modi per conoscerlo “di riflesso”. La veridicità di tale riflesso dipende dalla qualità degli specchi di cui disponiamo. (Martini e Sisti, 2009, 37).
Il paradigma controfattuale è la logica che accomuna i metodi analitici utilizzati per l’attribuzione di causalità a un intervento. Ecco richiede di ricostruire credibilmente ciò che si sarebbe osservato sugli esposti
all’intervento in assenza di loro esposizione allo stesso [Trivellato, 2009, 5].
Bibliografia minima:
• Martini M. (2006), “Metodo sperimentale, approccio controfattuale e valutazione degli effetti delle politiche pubbliche”. In Rassegna Italiana di Valutazione, a. X, n. 34, pp. 61-‐74.
• Martini A., Sisti M. (2009), Valutare il successo delle politiche pubbliche, Il Mulino, Bologna, pp. 137-‐148. • Trivellato U., “La valutazione degli effetti delle politiche pubbliche: paradigma e pratiche”, Discussion paper
2009/01, Irvapp http://irvapp.fbk.eu/pubblicazioni/discussion%20papers
Voci correlate:
• Disegno sperimentale; • Disegno quasi-‐sperimentale;
• Gruppo bersaglio; • Gruppo di controllo;
• Impatto;
• Politiche pubbliche.
Controllo
Sinonimo di audit per alcuni autori e di vigilanza, accertamento con finalità di conformare, regolare, esercitare potere, per altri. In maniera più estesa, il termine controllo è utilizzato per indicare le attività di monitoraggio, di verifica delle discrepanze tra quanto pianificato e realizzato, di approvazione o rifiuto delle modifiche al fine di garantire efficacia attuativa, efficienza ed equità.
Bibliografia minima:
• Bezzi C., Glossario della ricerca valutativa (Versione 6.0.1 del 24 Aprile 2011), www.valutazione.it.
• Project Management Institute (2008), A guide to the Project Management Body Of Knowledge, Fourth Edition.
• Isfol (Ristampa Maggio 2005), Indirizzi operativi per l’attuazione delle Linee Guida V.I.S.P.O., I Libri del Fondo
sociale europeo, Rubbettino Industrie Grafiche ed Editoriali, Catanzaro.
• Masoni V. (2002), La pratica della valutazione, Franco Angeli, Milano.
Voci correlate:
• Audit; • Monitoraggio.
(SDC)