La selezione e la gestione del valutatore

Benché sia un problema generalmente trascurato, quello della selezione del valutatore è invece di notevole importanza ai fini dell’attuazione di un coerente processo di valutazione. La prima scelta che si pone è quella tra un valutatore interno all’organizzazione o esterno ad essa. Vale la pena di sottolineare che la Commissione Europea ha avuto modo di esprimersi chiaramente (ad esempio in relazione alla valutazione dei Fondi Strutturali) specificando che il valutatore deve essere indipendente dalla struttura di gestione, scelta questa che dovrebbe offrire il vantaggio di punto di vista neutrale. Esistono però anche degli svantaggi legati a tale impostazione, tra i quali:

• possibile minore conoscenza dell’ambito dell’intervento;

• scarsa conoscenza dei problemi interni della struttura di gestione;

• eventuali problemi di comunicazione e di interazione con la struttura di gestione.

D’altra parte, un valutatore interno è parte integrante dell’ente, e ha quindi il vantaggio di avere una maggiore conoscenza dell’organizzazione e dell’ambito di azione. Nella tabella seguente vengono riassunti in modo schematico i principali vantaggi e svantaggi che sono stati identificati dalla letteratura in relazione alla scelta della figura del valutatore.

Tabella 21 - Vantaggi e gli svantaggi dei valutatori interni/esterni

VANTAGGI

VALUTATORI INTERNI

• Hanno familiarità con storia, l’ambiente, i temi culturali e la cultura del territorio e dell’organizzazione;

• Sono più propensi a tenere conto dei risultati della valutazione;

• Sono più propensi e concentrarsi su questioni percepite come di maggiore importanza da amministratori e

stakeholder.

VALUTATORI ESTERNI

• Sono indipendenti e possono offrire una visione più realista;

• Hanno un approccio critico e obiettivo;

• Hanno un’esperienza ampia su numerosi interventi;

• Hanno conoscenze tecniche di valutazione.

• Potrebbero avere interesse rispetto ad un certo risultato;

• Sono potenzialmente influenzabili dal fatto di conoscere profondamente i problemi affrontati;

• Hanno la possibilità di favorire interventi specifici o all’interno del proprio settore;

• Possono risultare reticenti nell’incoraggiare la partecipazione attiva degli stakeholder.

• Potrebbero essere più interessati al

rapporto di valutazione che

all’implementazione dell’intervento; • Potrebbero essere insensibili alle norme organizzative;

• Potrebbero ignorare questioni interne importanti.

SVANTAGGI

Fonte: Clarke, 1999.

In generale, le caratteristiche che la figura del valutatore deve presentare possono essere riassunte come segue:

• capacità tecniche;

• conoscenze specialistiche;

• efficienza;

• indipendenza dai principali stakeholder;

• capacità di rispettare le scadenze; • integrità.

La Commissione Europea ha specificato che per la selezione del valutatore si debba tener conto anche dell’abilità nell’ottenere acceso alle informazioni ed alle precedenti esperienze nell’ambito dell’intervento. Il tipo di conoscenza che deve essere detenuta dal valutatore può essere rappresentata mediante lo schema seguente.

Figura 15 - Tipo di conoscenza del valutatore

Fonte: Crosta, 1998.

Rossi (1999) precisa che “la valutazione non è una ‘professione’, almeno in termini di criteri formali come usano i sociologi per caratterizzare tali gruppi. Può essere descritta piuttosto come ‘quasi gruppo’, un vasto aggregato di persone che non sono formalmente organizzate; la cui appartenenza cambia rapidamente; e che ha poco in comune con altri in termini di ampiezza di compiti che i membri intraprendono, loro competenze, reti di lavoro e modalità operative“.

Stame (2000), nel lavoro circa la formazione dei valutatori presentato al 3° Congresso dell’Associazione Italiana di Valutazione, tenutosi nel 2000 a Torino, evidenzia come emergano delle teorie interessanti sulla figura del valutatore. Molti valutatori, specializzatisi in analisi socio-economiche e formati nella pratica, hanno competenze specifiche in ambito sociologico, economico, statistico, ed in questo senso hanno accumulato competenze valutative. Lo svantaggio di queste figure professionali è legato alla loro stessa preparazione tecnica, che probabilmente rilega ad una “scarsa innovatività di approcci e metodi”. Sullo stesso argomento va ricordato anche il Congresso della United Kingdom Evaluation Society (UKES, Associazione Inglese di Valutazione, Edimburgo, 1999), dove sono state sottolineate conoscenze e competenze che dovrebbero caratterizzare un valutatore:

• conoscenze nell’ambito degli interventi, delle politiche, e dei singoli progetti, e relative alla collocazione della valutazione rispetto agli interventi;

• competenze e conoscenze nel settore di riferimento;

• competenze nell’attività di raccolta dei dati, sia indiretti che diretti • capacità organizzativa nel rapporto con gli stekeholder.

L’UKES propone anche alcune linee guida circa i comportamenti che la figura del valutatore dovrebbe essere in grado di tenere:

• essere aperto al dialogo ed esplicito per quanto riguarda proposte, metodi, output e outcome;

• avvertire i committenti circa eventuali modifiche nell’approccio alla valutazione;

• avere una discussione preliminare col committente;

• rispettare le clausole previste nel contratto concluso col committente;

• dimostrare lo stato di avanzamento della valutazione in modo graduale durante la sua realizzazione;

• vigilare al fine di minimizzare eventuali rischi ed i loro potenziali effetti non desiderati nei confronti degli stakeholder, che devono essere avvertiti circa tali eventualità.

Inoltre, un valutare deve:

• dimostrare che il processo di valutazione condotto è trasparente e coerente rispetto agli obiettivi;

• lavorare in modo appropriato e sicuro con i dati messi alla disposizione; • concordare con il committente e modalità di disseminazione della valutazione.

In Italia, l’Associazione Italiana di Valutazione (AIV) suggerisce come responsabilità più rilevanti di un valutatore caratteristiche quali indipendenza di giudizio, pluralismo metodologico, distinzione tra i soggetti implicati nel processo di valutazione. Inoltre, l’esperienza dimostra che durante il processo di valutazione anche il valutatore incontra dei problemi e si trova osteggiato nell’esecuzione del lavoro per la mancanza o il ritardo dei dati, problemi di accessibilità a luoghi o persone.

4.2. Il processo di valutazione alla luce di una combinazione di