Le minacce alla validità della valutazione sono due: l’effetto delle variabili omesse e quello della selezione (Bartik e Bingham, 1997). Il primo aspetto consiste nella difficoltà di
identificare tutte le cause che concorrono a determinare l’effetto oggetto di indagine. L’errore che si potrebbe compiere è, infatti, quello di attribuire un nesso di causa ed effetto tra
l’intervento pubblico e la situazione osservata quando in realtà esistono altre cause
indipendenti che possono agire sui soggetti beneficiari (Bondonio, 1998). Il secondo aspetto concerne invece la definizione del gruppo di controllo. Possono esistere delle differenze sistematiche tra i soggetti beneficiari e i non beneficiari in grado di influenzare gli effetti indagati. In particolare, l’effetto di selection bias scaturisce da due differenti cause: il processo di autoselezione dei potenziali beneficiari nel richiedere l’incentivo e l’effetto di selezione determinato dall’agenzia incaricata dell’assegnazione dell’incentivo.
Bibliografia minima:
• Bartik Timothy e Bingham Richard (1995), Can Economic Development Programs Be Evaluated? W.E. Upjohn Institute for Employment Research, Kalamazoo MI, 95-‐29.
• Bondonio Daniele (1998), “La valutazione di impatto dei programmi di incentivo allo sviluppo economico”, Economia pubblica, 6(98), 23-‐52.
(MB)
Misurazione
analisi b) stabilisce o recepisce una unità di misura convenzionale già adottata per tale proprietà c) decide il numero di categorie discrete di ampiezza uguale in cui suddividere il continuum della proprietà d) confronta la/le unità di analisi con l’unità di misura e) assegna alla/le unità di analisi il valore numerico – la misura – che deriva dal confronto operato f) assume che il valore numerico assegnato corrisponda allo stato della/delle unità di analisi sulla proprietà considerata.
Il termine è spesso utilizzato impropriamente per indicare procedure concettualmente
differenti come la classificazione (vedi), l’assegnazione a categorie ordinate, il conteggio, ecc… In valutazione la misurazione ha assunto un rilievo fondamentale nell’ambito dell’approccio positivista-‐sperimentale (vedi) propugnato da Campbell (1968; 1969) e in generale dal filone dell’applied social research. L’attuale enfasi sull’importanza del metodo controfattuale in valutazione (cfr. Martini e Sisti, 2009) pone in primo piano il tema e le problematiche relative alla misurazione. Cruciale nell’ambito del processo valutativo il rapporto tra misurazione e indicatori (vedi).
Bibliografia minima:
• Bezzi C., Glossario della ricerca valutativa (Versione 6.0.1 del 24 Aprile 2011), www.valutazione.it.
• Campbell D.T. (1968), “Quasi-‐experimental Design, in Experiment”, voce della International Encyclopedia of the Social Sciences, a cura di Sills, New York, Macmillan e Free Press.
• Campbell D.T. (1969), “Reforms as Experiments”, in American Psychologist, vol. 24, n. 4.
• Marradi A. (1981), “Misurazione e scale: qualche riflessione e una proposta”, Quaderni di Sociologia XXIX, 4, http://www.me-‐teor.it/marr_opere/italiano/articoli/Misuraz.pdf.
• Marradi A. (1985), “Unità di misura e unità di conto”, Rassegna Italiana di Sociologia XXVI, 2, http://www.me-‐ teor.it/marr_opere/italiano/articoli/CONTO.pdf.
• Martini A. e Sisti M., (2009), Valutare il successo delle politiche pubbliche, Il Mulino, Bologna.
Voci correlate:
• Approccio positivista-‐
sperimentale; • Conteggio; • Indicatore.
(CT)
Monitoraggio
Attività (dispositivo, apparato, sistema) deputata ad assicurare che tutte le informazioni rilevanti per un determinato fenomeno siano osservabili e osservate lungo l’intero periodo di svolgimento dello stesso (e talvolta anche oltre).
L’etimo del lemma, che trae origine dalla medicina, allude di fatto a un controllo del
fenomeno. E in effetti, in determinate circostanze, il monitoraggio risponde anche, o prima di tutto, a istanze di quel tipo, permettendo di rendere conto dell’andamento del fenomeno osservato.
In generale, soprattutto nell’impiego che se ne fa nella ricerca sociale, appare tuttavia
preferibile riferirsi alla tracciabilità quale elemento caratterizzante il monitoraggio in quanto tale. Esso può in questa prospettiva assumere anche funzione strumentale rispetto ad attività di altra natura, quali possono essere, ad esempio, il controllo o la stessa valutazione.
Ancorché necessario tanto al controllo quanto, in determinate circostanze, alla valutazione, il monitoraggio non garantisce di per sé la possibilità di procedere né all’uno né all’altra. Entrando nel merito delle relazioni, non di rado equivoche ed equivocate, che si instaurano tra monitoraggio e valutazione, appare nello specifico opportuno chiarire che il monitoraggio, proprio in quanto si limita a garantire l’osservabilità di informazioni rilevanti per un
determinato fenomeno (per lo più di tipo sociale, per quel che qui interessa), nulla dice in merito a come si possano interpretare tali informazioni né, a maggior ragione, ai rapporti causali che eventualmente sussistono tra esse.
Ambedue questi aspetti sono invece di pertinenza della valutazione, la quale, se del caso avvalendosi anche di informazioni di altra natura in aggiunta a quelle messe a disposizione
dal monitoraggio, è chiamata a esprimere giudizi su quel fenomeno e, talvolta, sulle cause che possono avere condotto a quel risultato.
Il monitoraggio predilige, di norma, informazioni di tipo quantitativo, che di fatto meglio si prestano, ovviamente a condizione di avere messo a punto un dispositivo (apparato, sistema) di rilevazione adeguato, a rappresentazioni sintetiche di quale sia l’andamento del fenomeno oggetto di attenzione. Con l’espressione ‘dispositivo di rilevazione’ si fa qui riferimento a uno o più strumenti in grado di raccogliere puntualmente tutte le informazioni necessarie allo svolgimento del monitoraggio, a partire dagli aspetti che attengono all’attuazione degli interventi, i quali ne costituiscono di fatto l’ambito di principale focalizzazione.
L’attività di monitoraggio può a queste condizioni giovarsi di indicatori che, nella misura in cui siano effettivamente riferibili a informazioni di natura quantitativa, derivano per lo più da opportuni trattamenti statistici dei dati elementari. Essi mirano, in generale, a favorire una visualizzazione immediata di quelle che sono, almeno, le realizzazioni, i risultati e, se del caso, gli impatti di un determinato fenomeno o oggetto (ad esempio di una politica pubblica, ovvero di uno strumento o di un insieme di strumenti che attuano una politica pubblica).
Gli indicatori di monitoraggio (per una trattazione sistematica del tema degli indicatori, come anche per ulteriori specifiche in merito alle diverse categorie di indicatori, si rinvia
all’apposito lemma) rappresentano, abbastanza spesso, un’utile base di partenza per la stessa attività di valutazione. Peraltro gli indicatori medesimi, e nello specifico la loro
appropriatezza rispetto al sistema di obiettivi che si intendono raggiungere attraverso un intervento/progetto/programma, possono rappresentare un oggetto di valutazione a se stante e, nella pratica, costituiscono molto spesso uno dei compiti, usualmente da svolgere nelle fasi iniziali dell’incarico, che sono assegnati a Valutatori.
Agli indicatori è opportuno si associno, come già sottolineato, informazioni di altra natura che, in combinazione con essi, permettano alla valutazione di assolvere alle proprie funzioni
caratterizzanti: esprimere giudizi e fornire elementi esplicativi circa i fattori che hanno concorso all’espressione di tali giudizi.
Più in generale, anche prescindendo dagli indicatori, compito della valutazione è quello di rendere parlanti le informazioni messe a disposizione dal monitoraggio, facendo sì che esse stesse concorrano, unitamente ad altri elementi, non di rado di natura qualitativa, a rendere i soggetti interessati a un fenomeno (i fenomeni oggetto di interesse assumono generalmente la forma di progetti, interventi, programmi, politiche) consapevoli del modo in cui è stato
definito (la rispondenza tra i fabbisogni e gli obiettivi, tra questi ultimi e le attività, ecc.), posto in essere (osservandone in itinere le realizzazioni e in conclusione i risultati) e realizzato (la questione del raggiungimento dei risultati attesi e la rilevazione delle cause, in un senso o nell’altro).
L’attività di monitoraggio condivide con quella di valutazione la necessità di essere
compiutamente definita, anche, diversamente dalla valutazione, negli elementi di dettaglio, fin dalla fase di disegno dell’intervento, progetto, programma, politica. Ove ciò non accada, ci si trova nella poco raccomandabile condizione di inseguire, in itinere quando non ex post, informazioni che divengono via via di più difficile reperimento e di minore attendibilità. Da questo punto di vista, l’attività di monitoraggio va compiutamente definita individuando chiaramente, almeno, i seguenti aspetti: l’oggetto del monitoraggio, nelle sue dimensioni generali (il fenomeno che si vuole osservare) e specifiche (le informazioni da monitorare), il sistema di rilevazione, i soggetti deputati ad produrre le diverse informazioni rilevanti e ad alimentare i sistemi a tal fine predisposti, le procedure di accesso, la periodicità del
conferimento di informazioni, la loro natura (coercitiva o meno, con tutto il portato che ne può derivare), le procedure tecniche atte a verificare la correttezza e l’attendibilità
eventuali protocolli di colloquio necessari ad acquisire e/o trasferire le informazioni ad altri sistemi. Voci correlate: • Indicatore. (LF)
Negoziazione
È il processo di contrattazione che permette di raggiungere gli accordi tra valutatore e committente o qualunque altro soggetto coinvolto nel processo valutativo e/o interessato ai risultati. Pertanto sono oggetto della negoziazione non solo gli obiettivi ma anche gli approcci, le modalità, i tempi e su che cosa si deve rendicontare. Proprio per un approccio sempre più democratico dei processi valutativi, che di fatto coinvolgono quanti più soggetti ed operatori possibili, un approccio ‘negoziato’ alla valutazione diventa necessario per poter fare delle scelte condivise sul piano operativo oltre che univoche sul piano dei significati e delle finalità della valutazione stessa in rapporto all’evaluando. In relazione alla domanda valutativa, l’oggetto della negoziazione non può non tener conto delle risorse finanziarie destinate alla valutazione. Il termine ‘negoziazione’ viene utilizzato anche in situazioni complesse come nella stesura di programmi e piani d’intervento che vedono coinvolti tra gli altri enti e organizzazioni territoriali e nella fatti specie viene utilizzato anche nell’accezione di ‘concertazione’.
Bibliografia minima:
• Altieri Leonardo (2009), Valutazione e partecipazione, FrancoAngeli, Milano, pp. 24-‐25.
• Bruno Donatella, Sarti Maurizio (2009), Rendicontazione e Partecipazione sociale: dal bilancio sociale al
bilancio partecipativo, FrancoAngeli, Milano, p. 19.
• Ciucci Filippo (2008), Valutazione delle politiche e dei servizi sociali, FrancoAngeli, Milano.
Voci correlate:
• Committente; • Consenso;
• Domanda di valutazione; • Partecipazione (del cliente);
• Stakeholder;
• Valutazione partecipata.
(MQ)