Intorno agli anni 90 in Italia, nel rapporto stato cittadino, è iniziato un cambiamento culturale, incentivato da fenomeni interni alla nazione (“tangentopoli”, atti di semplificazione normativa come la legge 241/90, ecc.) e da esperienze internazionali (Canada, Gran Bretagna) che hanno condotto la pubblica amministrazione italiana a confrontarsi con modelli gestionali basati su concetti del New Public Management e conseguentemente della performance. Sempre più pressanti sono diventate le richieste di trasparenza e accountability alle quali la Pubblica Amministrazione doveva rispondere.
La Regione Toscana, con la Scuola Superiore di Sant’Anna di Pisa, a partire dall’anno 2001 ha iniziato un percorso per sviluppare i criteri di valutazione della performance del suo sistema sanitario. L’obiettivo era dare evidenza e verificare che le risorse della collettività fossero adeguatamente utilizzate, con efficienza e appropriatezza, per fornire servizi di elevata qualità, garantendo l’accesso e l’equità. Per fare ciò ha fatto suoi i principi del balanced scorecard, che consente di bilanciare e integrare parametri di tipo finanziario e non finanziario, all’interno di un sistema di valutazione, e ha adottato un modello simile a quello in uso in Gran Bretagna, cioè lo star rating system, che consente di esprimere valutazioni sintetiche di facile lettura consentendo il raffronto e la misurazione tra le diverse strutture sanitarie. La Toscana ha adottato una rappresentazione grafica denominata “bersaglio”, nella quale vengono posizionati, su una griglia con cinque fasce di valutazione, gl’indicatori di sintesi oggetto di analisi.
In questo elaborato sono stati studiati cinque indicatori di valutazione, strettamente ricollegabili alla struttura organizzativa Unità Funzionale Sanità Pubblica Veterinaria e Sicurezza Alimentare (U.F. S.P.V.S.A.), che costituiscono l’indicatore di sintesi (il pallino del bersaglio) F16a. Tali indicatori a loro volta sono ramificati in ulteriori nove sottoindicatori.
Di seguito viene riportata una sintesi delle principali osservazioni che sono emerse, nell’anno 2012, durante l’analisi degli indicatori, riferibili all’U.F. S.P.V.S.A., all’interno dell’indicatore di sintesi F16a, che nella media regionale ha ottenuto una valutazione “buona” di 3,79. Non sono statti analizzati quegli indicatori che sono solo di osservazione, cioè non sono oggetto di valutazione nel bersaglio, e quelli che nel 2013 non saranno più riferibili alla nuova U.F. S.P.V.S.A. come nel caso dell’F16.2 “nutrizione”.
116 Vediamo com’è strutturato l’indicatore F16a:
Indicatore di sintesi: F16a Efficienza ed efficacia nella sicurezza alimentare e nutrizione (SPV-IAN) – anno 2012
• F16.1 Flussi informativi (osservazione)
o F16.1.1 Flussi informativi in ritardo rispetto alla scadenza prevista
o F16.1.2 Flussi informativi con modulistica non conforme
o F16.1.3 Qualità dei dati • F16.2 Nutrizione [valutazione]
o F16.2.1 Valutazione e controllo Piani Nutrizione
o F16.2.2 Liste di riscontro compilate su piani nutrizionali validate
• F16.3 Piano Nazionale Residui (PNR) e Piano Nazionale Alimentazione Animale (PNAA) [valutazione]
o F16.3.1 Campioni accettati per i piani PNAA e PNR (osservazione)
o F16.3.2 Rispetto della programmazione trimestrale per piani PNAA e PNR
o F16.3.3 Audit su stabilimenti di produzione di alimenti di origine animale
(osservazione)
• F16.4 Categorizzazione [valutazione]
o F16.4.2 Categorizzazione - n. esercizi fascia rischio II
• F16.5 Efficienza produttiva [valutazione]
o F16.5.4 Percentuale prodotti finiti 4-43-49 chiusi sui programmati
o F16.5.5 Prodotti finiti 4-43-49 sul personale (osservazione)
• F16.6.3 Valutazione audit regionali (indicatore biennale di valutazione nel biennio 2011-2012)
• F16.7 Check list in Banca Dati Nazionale (BDN) [valutazione]
o F16.7.1 Check list - Bovini
o F16.7.2 Check list - Caprini/Ovini
o F16.7.3 Check list - Suini
• F16.8 Farmacosorveglianza (osservazione)
o F16.8.1 Ingrossi o F16.8.2 Farmacie
117
Ogni indicatore contribuisce a determinare la valutazione finale dell’indicatore di sintesi con un criterio di ponderazione concordato a livello regionale.
Nella tabella seguente vediamo il criterio adottato per l’anno 2012.
Anno del bersaglio F16.1 Flussi informativi F16.2 Nutrizione F16.3 Sicurezza alimentare e piani residui F16.4 copertura del territorio - categorizzazione F16.5 Efficienza produttiva F16.6.3 Audit regionali F16.7 Check list F16.8 Farmacosorveglianza Anno 2012 osservazione 15% 20% 15% 20% 15% 15% osservazione
Tabella 18: Pesi (percentuali) degli indicatori utilizzati per il calcolo del punteggio globale dell'indicatore di sintesi F16a nel bersaglio del MeS anno 2012.
Fonte: Laboratorio Management e Sanità. (2013). Toscana: F16a Efficienza ed efficacia nella sicurezza alimentare e nutrizione (SPV-IAN). Tratto da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane:
http://performance.sssup.it/toscana/lib/motore.php?super=F16a&azienda=90&anno=2012&indicatore=F16a&gruppo=toscan aA
Considerazioni conclusive su F16.3 “Piano Nazionale Residui (PNR) e Piano
Nazionale Alimentazione Animale (PNAA)”
Il primo indicatore che è stato analizzato è l’indicatore F16.3 “Piano Nazionale Residui (PNR) e Piano Nazionale Alimentazione Animale (PNAA)” e in particolare il suo sottoindicatore che è oggetto di valutazione l’F16.3.2 “Rispetto della programmazione trimestrale per piani PNAA e PNR”.
Per l’F16.3.2 è stato analizzato il trend degli ultimi 2 anni, durante i quali tutte le Aziende U.S.L. toscane hanno ottenuto ottime valutazioni (da 4 a 5). I risultati conseguiti evidenziano un’ottima capacità gestionale, organizzativa e professionale del personale coinvolto nelle attività osservate. Infatti in questo indicatore al numeratore ci sono i “campioni accettati trimestralmente” che già di per sé comporta organizzazione e professionalità in quanto per essere accettati devono rispondere a diversi requisiti particolarmente impegnativi. Il numeratore che fa riferimento alla programmazione trimestrale, invece, esprime una buona capacità di gestione delle risorse disponibili da parte delle strutture di riferimento.
Gli eccellenti risultati conseguiti in questi anni dalle Aziende toscane, rilevatisi stabili, sono tali da rendere inutile il confronto (benchmarking) su questi parametri per gli anni a venire. È possibile, pertanto, ipotizzare che prossimamente il Laboratorio MeS non utilizzi ulteriormente questo indicatore di valutazione.
118
• Nel caso di Pisa è possibile che negli anni precedenti vi sia stata un’importante sottostima delle imprese alimentari di seconda fascia oggetto di controlli ufficiali. In un anno sono aumentate del 30% passando da 2493 unità, nell’anno 2011, a 3562 unità, nell’anno 2012. Dato che tale base dati viene utilizzata per la programmazione annuale delle attività di sicurezza alimentare, che il Dipartimento della Prevenzione eroga, ne è evidente l’importanza.
Considerazioni conclusive su F16.4 “Categorizzazione”
Questo indicatore, basato solo sui dati provenienti dall’anno di rilevazione precedente, ha dimostrato dei limiti in quanto se preso per valutare un solo anno non permette di evidenziare comportamenti non congrui o distorti. Quando è stata fatta la comparazione con gli anni precedenti in due aziende, Pisa e Lucca, sono emersi dati preoccupanti:
• Per quanto riguarda il caso di Lucca i dati forniti fanno supporre qualche comportamento distorsivo da parte dell’Azienda. Parrebbe, in effetti, un esempio di gaming. Infatti in un solo anno i controlli, che vengono sommati a quelli degli anni precedenti, sono aumentati del 353% (da 314 controlli effettuati in un totale di 4 anni, dal periodo che intercorre dal 2008 al 2011, e ben 1116 controlli effettuati nel solo anno 2012). Inoltre, questo considerevole aumento dell’attività, è avvenuto nonostante il personale assegnato alla sicurezza alimentare non avesse subito nessuna variazione. Negli ultimi tre anni presi in esame, il personale assegnato alla sicurezza alimentare presso la struttura, è sempre rimasto invariato a 44 unità equivalenti.
Infine le valutazioni adottate dal Laboratorio MeS non appaiono corrette in 2 casi. Infatti sono state date valutazioni ottime (da 4 a 5) ad Aziende, Empoli e Lucca, che non hanno raggiunto l’obiettivo minimo regionale per l’anno 2012 (categorizzare almeno il 70% delle imprese alimentari).
A riguardo dei risultati conseguiti il trend (anni 2010-2012) mostra una tendenza in crescita (eccetto Pisa). Da evidenziare come molte aziende siano ancora molto distanti dall’obiettivo fissato per il 2012 (70%). Diverse realtà sono situate intorno al 40%- 50% e spicca in negativo la posizione di Prato con solo il 22,13%.
119
• l’F16.5.4 non è un indicatore adeguato per misurare e valutare l’efficienza produttiva essendo in realtà più in indicatore di efficacia organizzativa (indicatore con il quale l’organizzazione misura il raggiungimento dei propri obiettivi prefissati). Un indicatore di efficienza produttiva deve essere così strutturato:
Considerazioni conclusive su F16.5 “Efficienza produttiva”
Iniziamo dal sottoindicatore F16.5.4 che è l’unico utilizzato per valutare le aziende sotto il profilo dell’efficienza produttiva all’interno dell’indicatore F16.5.
Vediamo in dettaglio le principali criticità di tale sottoindicatore:
quantità di output (prodotti finali) / unità di input (risorse impiegate).
L’F16.5.4 non ha questi requisiti che invece avrebbe l’F16.5.5 non valutato;
• vengono presi in esame solo 3 Prodotti Finiti (4-43-49) su un totale di 71 ad oggi esistenti, all’interno dei Dipartimenti della Prevenzione, dei quali 21 specifici della Sicurezza Alimentare. È evidente che ciò non sia sufficiente per definire un quadro completo delle attività svolte. Quindi tale sottoindicatore è carente sotto il profilo dei dati che lo costituiscono;
• si presta facilmente a tentativi di gaming in quanto al denominatore viene fatta la “sommatoria dei prodotti finiti 4-43-49 programmati annualmente”. Il fatto, che ad effettuare le programmazioni siano le stesse articolazioni organizzative che saranno poi valutate, potrebbe indurre a programmare un basso numero di PF per ottenere risultati facilmente perseguibili;
• nel 2012 la media regionale è stata di 112% (110% nel 2011) Prodotti Finiti chiusi su quelli programmati. Tale valore si pone, quindi, al di sopra di quanto stabilito essere l’ottimo per questo indicatore (da 95% a 100%).
• pare che il risultato ottimale sia difficilmente raggiungibile dato che solo una azienda ogni anno ha conseguito l’ottimo. C’è da domandarsi se il parametro adottato non sia troppo restrittivo oppure se tali difficoltà non siano da ascrivere al sistema di registrazione informatico dal quale vengono estratti i prodotti finiti. Tale sistema, non unico per le aziende regionali, rende possibile la creazione di “artefatti”;
• vi sono aziende che, nel 2012, hanno effettuato un numero di Prodotti Finiti molto al di sopra degli obiettivi prefissati con la programmazione, risultando peraltro penalizzate sotto il profilo della valutazione. Eclatanti i casi di Lucca (185%), Pisa (150%), Livorno (144%), Arezzo (130%) e Viareggio (125%). Questi casi dovrebbero rappresentare dei campanelli di allarme della capacità organizzativa di tali strutture.
120
Per quanto riguarda l’F16.5.5, l’unico vero indicatore di efficienza produttiva, anch’esso risente di dati non affidabili, sia per il numeratore che per il denominatore, che possono celare tentativi di gaming da parte delle aziende coinvolte.
Per concludere l’indicatore F16.5 non è adeguato a valutare l’efficienza produttiva, risente inoltre di una base dati inaffidabile e si presta facilmente a tentativi di gaming tra le diverse aziende.
Considerazioni conclusive su F16.6.3 “Valutazione audit regionali (indicatore
biennale di valutazione nel biennio 2011-2012)”
Questo indicatore biennale che pesa per un 15% sull’indicatore di sintesi F16a che invece è di tipo annuale, rischia di creare errate letture del reale andamento delle Aziende USL monitorate. Un’Azienda che in un anno avrà fallito uno o più dei 17 parametri analizzati se li ritroverà tal quali l’anno successivo, anche se in realtà a tali carenze avesse fatto fronte nel più breve tempo possibile.
Questo indicatore è stato creato per garantire, alle imprese e ai cittadini, che le autorità competenti territoriali siano adeguate ad effettuare i controlli ufficiali di sicurezza alimentare. È impensabile che aziende che hanno avuto delle valutazioni negative in corso di un audit non mettano in atto azioni per migliorare quanto prima le criticità evidenziate, ma con questo indicatore si dà un’immagine statica delle Aziende sanitarie, passando un messaggio d’immobilismo e falsando le reali situazioni in essere.
La Regione Toscana, in qualità di autorità competente regionale, dovrebbe effettuare audit alle AUSL, autorità competente territoriale, ogni anno oppure questo indicatore dovrebbe essere rivisto per dare valori affidabili di anno in anno.
121
Considerazioni conclusive su F16.7 “Check list in Banca Dati Nazionale (BDN)”
L’indicatore F16.7 costruito sulla media delle valutazioni di tre sottoindicatori, “F16.7.1 Check list – Bovini”; “F16.7.2 Check list - Caprini/Ovini”; “F16.7.3 Check list – Suini”, evidenzia un quadro positivo in quanto tutte le Aziende USL ottengono in genere valutazioni da buone (3-4) a ottime (4-5). In realtà andando ad analizzare in dettaglio i singoli sottoindicatori ve ne è uno che presenta gravi problemi di interpretazione dei dati richiesti.
Nel sottoindicatore F16.7.1 “Check list – Bovini” la Regione Toscana e il Laboratorio MeS chiedono di effettuare le check-list in almeno il 3% degli allevamenti aperti all’anno precedente la rilevazione. Mentre Regione-Laboratorio MeS usano come base dati solo quelli che, in Banca Dati Nazionale (BDN), risultano “aperti con almeno un capo” molte Aziende U.S.L. conteggiano, oltre a questi ultimi, anche quelli “aperti senza capi” sommandoli tra loro. Ne consegue che molte Aziende hanno in questi anni, a causa di questa incomprensione, effettuato un numero considerevolmente maggiore di attività rispetto a quanto effettivamente necessario. Altra ipotesi è che l’indicatore utilizza una base dati errata. In entrambi i casi l’F16.7.1 non è corretto e necessita di una revisione. C’è da evidenziare che questa grave anomalia non traspare nell’indicatore sovraordinato F16.7 che al contrario presenta un quadro positivo costante negli anni 2011-2012.
Infine, inspiegabilmente, il sistema di valutazione è premiante per coloro che, una volta superato per eccesso il parametro di valutazione ottimale, effettuano un maggior numero di check-list discostandosi notevolmente dall’obbiettivo dell’indicatore. Per chiarezza l’indicatore pone come obiettivo il 3% ma all’Azienda USL 10 che ha un valore del 16,33% viene data una valutazione di 3.95, mentre all’Azienda USL 9 che ha un valore del 3,71%, cioè molto prossimo all’obbiettivo dell’indicatore, ottiene una valutazione di 3.02.
Questa valutazione è illogica se si tiene conto che il sistema dovrebbe premiare chi tende all’ottimo e penalizzare chi vi si discosta maggiormente.
122
Da quanto fin qui descritto si può evincere che il sistema di valutazione adottato ha, in questi anni, incentivato le Aziende Sanitarie verso un continuo percorso di miglioramento dovuto alla responsabilizzazione, all’incentivazione al miglioramento e a una migliore capacità di lettura della propria realtà aziendale. Al contempo, tale sistema, presenta delle criticità che in effetti sono emerse anche durante la fase di studio della presente tesi. I principali fattori di criticità che sono stati rinvenuti sugli indicatori oggetto di analisi sono:
• Poca affidabilità dei dati sui quali vengono misurati gli indicatori;
• Possibile tendenza al gaming, ovvero tendenza a lavorare in funzione del risultato quindi concentrando risorse solo su parametri oggetto di valutazione per poter eccellere;
• Fasce di valutazione, per assegnazione dei punteggi, non sempre in linea con il concetto di performance e talvolta troppo restrittive;
• Incomprensioni sugli obiettivi attesi tra le Aziende sanitarie e la regione Toscana-Lab. MeS;
• In un caso anche un indicatore inadeguato: pensato per misurare l’efficienza produttiva misura in realtà l’efficacia organizzativa.
• Utilizzo parametri di valutazione che rimangono invariati per due anni che vengono utilizzati per indicatore con valenza annuale.
Va precisato che, però, vi è stato un indicatore che ha dato ottimi risultati evidenziando un’ottima capacità gestionale, organizzativa e professionale del personale coinvolto.
Concludendo, il sistema di valutazione del sistema sanitario toscano, anche se in taluni casi ha dimostrato scarsa capacità di verifica e di autoanalisi, rimanendo talvolta immutato negli anni pur a fronte di preoccupanti criticità, ha comunque il pregio di aggiornarsi annualmente consentendogli di ricalibrare eventuali anomalie che dovessero essere presenti.
123
Bibliografia
AA.VV. (2006). Misurare per decidere: La misurazione delle performance per migliorare le
politiche pubbliche e i servizi. (P. d.-D. Pubblica, A cura di) Soveria Mannelli, CZ, Italia: Rubettino Editore Srl.
Anagrafe Nazionale Zootecnica - Statistiche. (2013). Tratto il giorno 9 3, 2013 da Istituto Zooprofilattico Sperimentale dell'Abruzzo e del Molise:
http://statistiche.izs.it/portal/page?_pageid=73,12918&_dad=portal&_schema=PORTAL Castelli, C. (2002). Esperienze di successo nelle amministrazioni pubbliche: un’analisi internazionale comparata. Lugano: Arthur Andersen SA.
Cinquini, L., Nuti, S., Boccaccio, A., & Vainieri, M. (2005). Il confronto di performance
economico-finanziarie tra aziende sanitarie: l'esperienza della Regione Toscana. Mecosan , 54 (54), 43-64.
Di Filippo, E. (2010). Materiale didattico Facolta di Scienze Sociali - Titolo del documento "I processi di cambiamento nella pubblica amministrazione italiana. Le tendenze in atto". Tratto il giorno agosto 8, 2013 da Università degli Studi "G. D'Annunzio" Chieti Pescara:
http://www.unich.it/unichieti/ShowBinary/BEA%20Repository/Area_Siti_federati/Scienze%20Soci ali/Materiale_Didattico/Materiale%20didattico%2011-
12/7%20FAC%20SIMILE%20Tanese/3%20Tanese//file;jsessionid=KzRwQ3BVh01hkv3Chlq354 Q1Jz7ZmrxJ81VB482jpv6LhpSJStGX!194
Di Filippo, E., & Montefiori, C. (2006 ). La creazione e la diffusione della conoscenza: l’esperienza del Programma Cantieri. Azienda Pubblica (3), p. 471-500.
Etzioni, A. (1964). Modern organization. Englewood Cliffs, N.J.: Prencetice-Hall.
Ferlie, E., Ashburner, L., Fitzgerald, L., & Pettigrew, A. (1996). The new public management in action. Oxford OX26DP: Oxford University Press.
Ford, J., & Shellemberg, D. (1982). Conceptual issues of linkage in the assessment of organizational performance. Academy of Management Review , vol. 7 n.1 pp. 49-58.
Kaplan, R., & Norton, D. (2000). Balanced scorecard. Tradurre la strategia in azione. Torino: ISEDI.
Kaplan, R., & Norton, D. (2002). L’impresa orientata dalla strategia. Balanced scorecard in azione. Torino: ISEDI.
Laboratorio Management e Sanità. (2013). Toscana: F16a Efficienza ed efficacia nella sicurezza alimentare e nutrizione (SPV-IAN). Tratto da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane:
http://performance.sssup.it/toscana/lib/motore.php?super=F16a&azienda=90&anno=2012&indicato re=F16a&gruppo=toscanaA
Laboratorio MeS. (2012). Elaborazione indicatore F16 - anno 2011. Presentazione allegata a nota trasmessa da R.T. il 10/05/2012: Elaborazioni a cura di: Laboratorio MeS, Scuola Superiore di Sant'Anna - Regione Toscana Settore Medicina Predittiva-Preventiva Diritto alla Salute e Politiche di Solidarietà, Regione Toscana.
Laboratorio MeS. (2012). F16.3 Piano Nazionale Residui (PNR) e Piano Nazionale Alimentazione Animale (PNAA). Tratto da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane:
124
http://performance.sssup.it/toscana/lib/engine2.php?super=F16a&azienda=90&gruppo=toscanaA&a nno=2012&indicatore=F16.3&descr=&area=Z
Laboratorio MeS. (2012). F16.4 Categorizzazione. Tratto il giorno 9 3, 2013 da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane:
http://performance.sssup.it/toscana/lib/engine2.php?super=F16a&azienda=90&gruppo=toscanaA&a nno=2012&indicatore=F16.4&descr=&area=Z
Laboratorio MeS. (2011). Il Bersaglio - anno 2011. Tratto da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane: http://performance.sssup.it/toscana/lib/template- tool.php
Laboratorio MeS. (2013). Il Sistema di valutazione della performance della sanità toscana - REPORT 2008. Tratto da Laboratorio Management e Sanita' - MeS Lab:
http://www.meslab.sssup.it/it/index.php?page=report-2008
Laboratorio MeS. (2012). Schede indicatore. Tratto da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane: http://performance.sssup.it/toscana/lib/stampakpi.php
Laboratorio MeS. (2012). Sistema di Valutazione della Performance della Sanità Toscana - Report 2011. Pisa: Edizioni ETS.
Laboratorio MeS. (2012). Toscana - F16.4.2 Categorizzazione - n. esercizi fascia rischio II. Tratto il giorno 9 3, 2013 da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane: http://performance.sssup.it/toscana/lib/engine2.php?super=F16a&azienda=90&gruppo=toscanaA&a nno=2012&indicatore=F16.4.2&descr=&area=Z
Laboratorio MeS. (2012). Toscana - F16.5 Efficienza produttiva. Tratto il giorno 9 3, 2013 da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane:
http://performance.sssup.it/toscana/lib/engine2.php?super=F16a&azienda=90&gruppo=toscanaA&a nno=2012&indicatore=F16.5&descr=&area=Z
Laboratorio MeS. (2012). Toscana - F16.5.4 Percentuale prodotti finiti 4-43-49 chiusi sui
programmati. Tratto il giorno 9 3, 2013 da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane:
http://performance.sssup.it/toscana/lib/engine2.php?super=F16a&azienda=90&gruppo=toscanaA&a nno=2012&indicatore=F16.5.4&descr=&area=Z
Laboratorio MeS. (2012). Toscana - F16.5.5 Prodotti finiti 4-43-49 sul personale. Tratto il giorno 9 3, 2013 da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane:
http://performance.sssup.it/toscana/lib/engine2.php?super=F16a&azienda=90&gruppo=toscanaA&a nno=2012&indicatore=F16.5.5&descr=&area=Z
Laboratorio MeS. (2012). Toscana - F16.6.3 Valutazione audit regionali. Tratto il giorno 9 3, 2013 da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane:
http://performance.sssup.it/toscana/lib/engine2.php?super=F16a&azienda=90&gruppo=toscanaA&a nno=2012&indicatore=F16.6.3&descr=&area=Z
Laboratorio MeS. (2012). Toscana - F16.7 Check list in Banca Dati Nazionale (BDN). Tratto il giorno 9 3, 2013 da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane: http://performance.sssup.it/toscana/lib/engine2.php?super=F16a&azienda=90&gruppo=toscanaA&a nno=2012&indicatore=F16.7&descr=&area=Z
Laboratorio MeS. (2012). Toscana - F16.7.1 Check list - Bovini . Tratto il giorno 9 3, 2013 da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane:
http://performance.sssup.it/toscana/lib/engine2.php?super=F16a&azienda=90&gruppo=toscanaA&a nno=2012&indicatore=F16.7.1&descr=&area=Z
125
Laboratorio MeS. (2012). Toscana: F16.3.2 Rispetto della programmazione trimestrale per piani PNAA e PNR. Tratto da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane: http://performance.sssup.it/toscana/lib/engine2.php?super=F16a&azienda=90&gruppo=toscanaA&a nno=2012&indicatore=F16.3.2&descr=&area=Z
Lagattolla, A. (2008). I sistemi di valutazione in ambito internazionale. Elementi di analisi e osservazione del sistema salute , Quaderno di Monitor n 1, 6-10.
Lambiase, F. (2010). Dalla logica dei mezzi alla cultura della meritocrazia e dei risultati. In M. Marcantoni, & E. Espa, La valutazione della dirigenza pubblica dopo le Riforme Brunetta (p. 33- 48). Milano, Italia: FrancoAngeli s.r.l.
Monteduro, F. (2010). cap. IV Il ciclo di gestione della performance. In L. Hinna, & altri, Gestire e valutare le performance nella PA (p. 323-357). Sant'arcangelo di Romagna (RN): Maggioli Editore.