Domande I risultati corrispondono
2.5 La valutazione ex ante: decidere in fase di programmazione
48
valutatore, attraverso tecniche appropriate, informa preventivamente il committente di quanto consideri possa accadere nell’attuare un particolare intervento di politica. Attraverso la conoscenza delle dinamiche e degli effetti possibili, il decisore potrà fare le sue scelte sulla convenienza e l’utilità di tali decisioni rispetto ad altre.
E’ chiaro che la valutazione ex ante diventa complementare a quella ex post nel senso che l’obiettivo è lo stesso: dare una misura più o meno realistica degli effetti, attesi e inattesi, di una particolare politica a prescindere dal processo attivato (valutazione in itinere).
Questo tipo di valutazione si pone, quindi, in un’ottica previsionale: il valutatore avrà il compito di prevedere non solo quelli che sono gli effetti primari, cioè quelli che l’intervento provoca direttamente sull’ambiente in cui opera, ma anche tutti quegli effetti inattesi, secondari, non perseguibili in maniera intenzionale. Per fare ciò egli dovrà acquisire conoscenze sulla realtà circostante, utili per individuare le variabili rilevanti e le relazioni tra esse in particolari momenti e contesti.
A seconda, poi, dell’ambito in cui si inserisce, la valutazione ex ante darà più enfasi ad un settore rispetto ad un altro. Ad esempio, in un intervento di politica sociale, verrà data una maggiore importanza da un lato al sistema politico (le modalità con cui vengono prese le decisioni al vertice) e dall’altro al sistema sociale (le strutture familiari esistenti).
A partire dalle esperienze valutative precedenti che aiutano la conduzione delle analisi successive, la valutazione ex ante indica la strada migliore per raggiungere le finalità previste dal programma e individua i bisogni della comunità nonchè i servizi e le risorse da mettere in campo per rispondere a tali bisogni.
La valutazione ex ante aiuta, così, a costruire un giudizio basato su conoscenze pregresse e permette di affermare, con un certo grado di certezza, se l’intervento avrà successo.
I metodi utilizzati per valutare la fattibilità e la realizzabilità di una politica in termini previsionali sono principalmente: l’analisi di efficienza (costi-benefici, costi-efficacia e costi- utilità) e i metodi basati sul consenso degli esperti (Delphi, Nominal Group Technique, Analisi Multicriteri).
2.5.1 L’analisi di efficienza
L’analisi di efficienza raggruppa una serie di tecniche che si basano sul calcolo economico e sulla stima degli effetti di una politica (Rossi et al., 1999). Tali tecniche rappresentano diversi modi di sviluppare l’idea di base dell’analisi costi-benefici. Quest’ultima, nonostante
49 sia una tecnica utilizzata anche in fase di valutazione ex post, trova applicazione soprattutto in via predittiva23 e si fonda su alcuni principi della teoria microeconomica.
Essa ha come obiettivo la stima dei costi complessivi che derivano dall’attuazione di un intervento, da cui sottrarne i benefici calcolati, al fine di determinarne la convenienza e permette di rispondere alla domanda se vale la pena realizzare un certo intervento. L’ipotesi sottostante è che le risorse di una comunità sono limitate e il decisore politico deve destinarle all’intervento che massimizza il beneficio netto per la società. Se lo scarto tra la somma totale dei benefici e dei costi è positivo, ciò equivale a sostenere che una collettività nel suo insieme sta ricevendo un beneficio netto dalla sua realizzazione (Pennisi, Scandizzo, 2003).
Questa tecnica utilizza un’unità di analisi di tipo monetario per confrontare variabili di natura diversa e per comparare benefici e costi sociali. La procedura di analisi segue principalmente sei fasi logiche (Giovannetti Nuti, 2001):
1. definizione dell’ambito di applicazione (confini territoriali, popolazione destinataria, tempistica, ecc.) e differenziazione tra la fase di implementazione, in cui costi e benefici risultano variabili, e la fase a regime, in cui gli stessi sono considerati costanti; 2. individuazione dei singoli costi e benefici e delle rispettive unità di misura attraverso
l’utilizzo di dati diretti, se disponibili, o il ricorso a proxy24;
3. quantificazione dei costi e dei benefici, calcolo dell’entità e del tipo di rischio che si decide di assumere nell’attuazione dell’intervento;
4. standardizzazione monetaria, ossia la monetizzazione dei costi e dei benefici precedentemente quantificati per il calcolo del beneficio netto;
5. ponderazione del beneficio netto attraverso la variabile temporale. Tale ponderazione si ottiene attraverso il tasso di sconto intertemporale, che pone tutti i valori in modo equivalente allo stesso riferimento temporale standardizzato (tempo zero), mediante il quale tutti i costi e i benefici vengono attualizzati (Levarlet, Valenza, 2002). Si tratta di un’operazione mediante la quale grandezze monetarie disponibili in momenti temporalmente diversi sono rese confrontabili tra loro;
6. test della sensibilità che verifica l’affidabilità del risultato finale rispetto alle assunzioni fatte durante l’analisi.
23
L’analisi costi-benefici veniva utilizzata già negli ‘40 quale supporto al genio militare dell’esercito statunitense in qualità di strumento di previsione del rapporto di utilità che si poteva trarre dalle opere da edificare (Scriven, 1991)
24
Si tratta di parametri che forniscono una misura indiretta del valore in questione. In un intervento in ambito sanitario i costi evitati per la cura di un malato rappresentano una misura proxy dei benefici della malattia.
50
Le alternative all’analisi costi-benefici, utilizzate soprattutto quando vi sono dei vincoli legati all’impossibilità di monetizzare sia i costi che i benefici, sono l’analisi costi-efficacia e l’analisi costi-utilità.
L’analisi costi-efficacia è solitamente applicata in contesti in cui si ritiene che la monetizzazione sia riduttiva, quando si ha a che fare con fenomeni immateriali, quali ad esempio il benessere fisico e psicologico dell’individuo. Le fasi seguite sono identiche a quelle richieste per l’analisi costi-benefici ma solo fino alla quantizzazione. A questo punto per i benefici si utilizza una misura di efficacia che non è monetizzata ma quantificata (ad esempio il numero di vite umane salvate in un intervento sanitario). Per operare, poi, il confronto tra costi e benefici espressi in unità di misura differenti, si procede alla costruzione di un indice, definito indice di costo-fficacia, che permette di riportare il tutto ad un’unica unità di misura comparabile.
L’indice che si utilizza per l’analisi costi-utilità si riferisce, invece, alla qualità percepita ed è espresso attraverso l’acronimo Quality Adjuste Life Year (QALY), ossia l’anno di vita guadagnato ponderato per la qualità della vita. Tale misura, utilizzata soprattutto nelle politiche sanitarie, tiene conto non tanto del numero degli anni di vita guadagnati, quanto della qualità della vita e compara gli anni di vita trascorsi con diversi stati di malattia con quelli vissuti in completa salute (Lippi, 2007).
2.5.2 Metodi basati sul consenso degli esperti
Le tecniche basate sugli esperti si caratterizzano per l’utilizzo di un modello, nella costruzione del dato qualitativo, di tipo bottom-up rispetto a quello prettamente top-down dell’analisi costi-efficacia. Nel primo approccio, l’analisi deve contribuire a scoprire i fattori latenti dell’implementazione, al fine di comprenderne più approfonditamente le cause ed individuare nuove soluzioni (Hjern, Hull, 1982). Nell’approccio top-down, invece, la logica è quella deduttiva: dall’individuazione degli obiettivi iniziali alla costruzione degli output e degli outcome, per verificare il grado di scostamento tra ciò che è atteso e ciò che è osservato.
Tra i vari metodi basati sul giudizio degli esperti, la tecnica Delphi25 è la più usata nel secondo dopoguerra per simulare scenari militari postbellici (Linstone, Turoff, 1975).
25
Il nome Delphi evoca l’oracolo che nell’antica Grecia prevedeva il futuro e veniva interrogato quando si dovevano prendere importanti decisioni in campo militare.
51 La tecnica Delphi consiste nel “prospettare uno o più temi ad un gruppo di esperti affinché ne forniscano successive valutazioni, modificate di volta in volta, in rapporto ad un processo di apprendimento che porti all’espressione di un’opinione di gruppo” (Marbach, 1999 p. 22). Tale tecnica risulta particolarmente adatta per una valutazione di tipo esplorativo, quando cioè le decisioni da prendere sono strategiche e si vuole conoscere il parere di persone qualificate. Gli esperti non devono per forza essere professionisti, ma semplicemente stakeholder che hanno maturato una certa esperienza sul campo.
L’idea o il giudizio finale emerge attraverso la somministrazione ripetuta di questionari a più soggetti che, pur non conoscendosi e non interagendo in modo diretto, attivano un dibattito virtuale sulle tematiche oggetto della valutazione.
In una prima fase organizzativa sono formulati i problemi su cui esprimere le previsioni e vengono selezionati gli esperti, cioè tutti quei soggetti che hanno già conoscenza delle tematiche trattate. Il criterio seguito nella scelta degli esperti è di tipo qualitativo, piuttosto che quantitativo, e basato sull’expertise dei soggetti da coinvolgere. Una seconda fase esplorativa riguarda la somministrazione del primo stimolo attraverso un questionario con domande aperte. L’analisi delle risposte permetterà la costruzione di un secondo questionario (nella terza fase analitica), nel quale sono inseriti i concetti principali emersi nella fase esplorativa. In tale fase ogni esperto non solo può modificare i giudizi dati precedentemente, ma può conoscere ed eventualmente condividere o discostarsi dalle affermazioni degli altri esperti. Nella quarta fase valutativa, gli elementi emersi dalla somministrazione del secondo questionario sono riorganizzati per la costruzione di un terzo questionario sul quale gli esperti possono esprimere il loro giudizio finale rispetto alle questioni iniziali. Segue una sintesi finale dei giudizi e la stesura di un rapporto valutativo.
La Nominal Group Technique (NGT), letteralmente tecnica del gruppo apparente, è una tecnica che ha le stesse caratteristiche e ripercorre le stesse fasi della tecnica Delphi, ma punta ad ottenere dati quantitativi mediante l’utilizzo di scale ordinali sulle quali gli esperti sono tenuti ad esprimere un proprio giudizio. Le proprietà e le dimensioni dei diversi aspetti di un intervento da sottoporre al giudizio degli esperti in tale tecnica si conoscono a priori e l’obiettivo è quello di confermare o smentire le previsioni.
Le due tecniche presentate risultano inadeguate di fronte a situazioni in cui i giudizi dei singoli stakeholder potrebbero apparire in conflitto e potrebbe risultare difficile arrivare ad una posizione cognitiva unanime. In tali situazioni, l’analisi multicriteriale (AMC) permette di comparare le stime rispetto a criteri eterogenei (Lippi, 2007), costituendo una via d’uscita a decisioni complesse o difficili, al fine di ottenere una visione sintetica su un problema
52
sintetizzando punti di vista lontani tra loro.
L’AMC può essere divisa in diverse fasi. La prima fase definitoria consiste nel circoscrivere gli aspetti di un intervento che si vuole sottoporre a giudizio, nonché individuare i criteri di giudizio che deriveranno dalle diverse posizioni cognitive degli stakeholder. Inoltre, dalle esperienze precedenti che hanno visto l’applicazione di tale metodo, risulta raggiunto un grado di esaustività con un certo numero di criteri. Nella definizione dei criteri bisognerà prestare molta attenzione al loro carattere multidimensionale (interessi e preferenze degli esperti, ma anche efficacia ed efficienza della valutazione). I criteri dovranno essere esaustivi e non ridondanti. Una seconda fase operativa riguarda la costruzione di una matrice multicriteri, dove in riga vengono riportati gli aspetti su cui si è deciso di indagare e sulle colonne i diversi criteri. Trattandosi di giudizi eterogenei costruiti attraverso differenti modalità di raccolta del dato (variabili categoriali, scale ordinali o ad intervallo, descrizioni qualitative), l’operazione successiva riguarderà l’individuazione, attraverso alcuni metodi di un'unica unità di comparazione. In ultimo (fase conclusiva), i giudizi così formulati sono aggregati seguendo diverse strategie di sintesi in accordo con le caratteristiche rilevate. La prima strategia è quella dei giudizi personali degli esperti che non sono sintetizzati per conservare l’eterogeneità delle diverse posizioni espresse. Una seconda strategia riguarda il conteggio delle maggioranze e delle minoranze rispetto ad una dimensione o a una caratteristica dell’oggetto indagato, seguendo il principio del massimo numero dei concordi e il minimo numero dei discordi. Una terza strategia, infine, comporta la definizione di un sistema ordinato di ponderazione che conduce ad un punteggio numerico di sintesi.