Le dimensioni della valutazione

Le dimensioni della valutazione sono essenzialmente due: efficienza ed efficacia. La prima indaga l’impiego ottimale delle risorse disponibili, non solo quelle finanziarie ma anche quelle di tempo e professionalità, la seconda si riferisce al grado di conseguimento degli obiettivi, attraverso il raffronto tra risultati ottenuti e risultati attesi o bisogni che si intendeva soddisfare.

efficacia esterna, ossia il raggiungimento di obiettivi relativi ai beneficiari del programma o del servizio; in generale: il miglioramento delle condizioni dei beneficiari dal punto di vista della missione di quel programma o di quel servizio. L’accento sull’efficacia esterna indica l’interesse a rispondere ai bisogni della popolazione indipendentemente dall’implicazioni per l’organizzazione efficacia interna, ovvero il raggiungimento degli obiettivi dichiarati, stabiliti,

pattuiti, indipendentemente dal fatto se questi corrispondono in pieno ai bisogni dei beneficiari. Non è qualcosa di meno importante o di meno nobile dell’efficacia esterna; certamente un’organizzazione deve innanzitutto essere capace di rispettare gli obiettivi stabiliti nel mandato.

Il termine efficacia può assumere accezioni diverse a seconda delle azioni da valutare nonché del soggetto interessato. L’azione economica è il fare organizzato di qualcuno che risponde alla domanda di qualcun altro, è l’agire sistematico in un campo reso possibile dall’organizzazione dei mezzi, delle conoscenze, delle capacità.

Vi sono diversi criteri di classificazione delle azioni:

periodicità, con riferimento all’oggetto dell’azione, si possono distinguere azioni “ricorrenti” da azioni “una tantum”

finalità, in quanto l’attività può essere finalizzata a “produrre un bene o un servizio” oppure “modificare condizioni e comportamenti”

specificità, con riferimento ai destinatari, si possono distinguere:

- azioni a carattere universale, destinate a modificare le condizioni generali di benessere

- azioni specifiche indirizzate a particolari aspetti del benessere o a particolari fasce di popolazione.

search/experience goods: i search goods sono beni per i quali il consumatore è in grado di individuare le caratteristiche qualitative prima dell'atto di consumo, in quanto la qualità è relativa all’output ed è identica per tutti gli utenti. In questi casi il livello della domanda è strettamente connesso con il livello qualitativo del bene o servizio, e la valutazione di efficacia si esplica essenzialmente attraverso definizioni di standard con cui confrontare il bene o servizio.

Invece gli experience goods sono beni per i quali le caratteristiche qualitative non sono individuabili ex ante né sono correlabili funzionalmente con il livello

di domanda. Per tali beni e servizi la definizione di efficacia più appropriata è quella di efficacia relativa, basata sul confronto tra agenti diversi.

In base ai diversi criteri di classificazione delle azioni, il concetto di efficacia può assumere le seguenti definizioni:

• efficacia come rapporto tra i risultati ottenuti e attesi

• efficacia come raffronto con uno standard

• efficacia come impatto

• efficacia come confronto tra azioni e agenti alternativi (efficacia relativa)

• efficacia come rapporto tra domanda soddisfatta e domanda potenziale.

2.2.1 Efficacia come rapporto tra risultati ottenuti e attesi

Nel caso di azioni una tantum, volte alla produzione di un bene o servizio, come per esempio la realizzazione di opere pubbliche, appare opportuna una valutazione che ponga l'accento sul confronto tra quanto realizzato e quanto preventivato, in termini di tempi, costi e caratteristiche dell'opera: in questi casi efficacia è sinonimo di rapporto tra risultati ottenuti/risultati attesi.

È bene distinguere tale concetto da quello di qualità, così come definito nell'ambito degli standard ISO 9000; infatti tali standard sono generalmente fissati una volta per tutte, mentre, nell'ambito delle azioni passibili di valutazione in base al criterio del raffronto tra risultati ottenuti e risultati attesi, questi ultimi possono variare da caso a caso.

2.2.2 Efficacia come raffronto con uno standard

Nelle azioni ricorrenti con finalità di prestazione e produzione di beni e servizi, è invece prevalente un criterio di confronto basato su standard qualitativi che possono riguardare sia il processo produttivo sia il prodotto. Il questi casi, il riferimento alla letteratura degli standard ISO 9000 è d’obbligo.

2.2.3 Efficacia come impatto

Nelle azioni una tantum, rivolte a modificare condizioni o comportamenti, tipicamente ad elevata specificità di intervento, è preminente un criterio di

confronto basato sulla situazione che si verrebbe a creare in caso di assenza dell’azione. Si vuole valutare quale risultato possa portare l’introduzione di una data azione, prima assente. La valutazione in questi ambiti si svolge solitamente attraverso un’azione di monitoraggio sull’utenza realizzata per mezzo di:

• quasi o - non experimental designs. In questi casi si confrontano le differenze nei risultati post programma degli utenti di determinate azioni sociali e di gruppi di controllo simili per tutti gli aspetti ai primi, ma non sottoposti al programma sociale (con necessari e opportuni aggiustamenti per evitare il problema del selection bias, vale a dire delle differenze sistematiche fra individui sottoposti a tale programma non riconducibili al caso)

• disegni sperimentali. Onde evitare i problemi citati, altri programmi di valutazione sono basati su disegni sperimentali, ove le persone o sono sottoposte casualmente ai programmi sociali, o sono inserite (con il loro consenso) nel gruppo di controllo.

2.2.4 Efficacia come confronto tra azioni o agenti alternativi

In concetto di efficacia come impatto è più adatto alla valutazione di azioni una tantum, sovente molto specifiche, volte a modificare condizioni o comportamenti individuali. Tale criterio non può tuttavia essere esteso alle azioni ricorrenti e di minore specificità dove il termine di raffronto più logico non è l’assenza dell’azione, né un obiettivo o standard, ma una o più azioni alternative, o uno o più agenti preposti allo svolgimento dell’azione. In questi casi è opportuno utilizzare una terminologia diversa, ovvero quella di efficacia relativa, che rinvia, appunto, a un confronto tra diversi possibili alternative, o agenti per lo stesso tipo di azione.

2.2.5 Efficacia come rapporto tra domanda soddisfatta e domanda potenziale

In questo caso, l’efficacia si esplica nel rapporto tra utenza raggiunta (o domanda soddisfatta) e utenza potenziale (o domanda espressa), ossia si vuole verificare quanto il servizio oggetto di valutazione riesca a raggiungere l’utenza che il servizio stesso si pone come obiettivo.