Analisi e considerazioni sull’indicatore F16.7 Check list in Banca Dati Nazionale

Per analizzare l’indicatore F16.7 partiamo dal trend degli ultimi due anni.

Figura 53: rappresentazione grafica trend anni 2011-2012 valori del sottoindicatore F16.7

Fonte: (Laboratorio MeS, 2012). Toscana - F16.7 Check list in Banca Dati Nazionale (BDN). Tratto il giorno 9 3, 2013 da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane:

http://performance.sssup.it/toscana/lib/engine2.php?super=F16a&azienda=90&gruppo=toscanaA&anno=2012&indicato re=F16.7&descr=&area=Z

Come evidente anche a colpo d’occhio tutte le Aziende USL ottengono in genere valutazioni da buone (3-4) a ottime (4-5). Quindi il quadro apparirebbe sostanzialmente positivo. In realtà, come andremo a vedere successivamente, non è così. Infatti con questo indicatore si evidenziano i limiti di questo sistema di rappresentazione basato sull’impostazione dello star rating system. Su tre sottoindicatori due non presentano problemi sostanziali, l’F16.7.2 “Check list - Caprini/Ovini” e l’F16.7.3 “Check list – Suini”, avendo i dati perfettamente in linea con la Banca Dati Nazionale (BDN) di Teramo. Tali sottoindicatori sono corretti e congrui pertanto non verranno analizzati in dettaglio.

Il sottoindicatore F16.7.1 “Check list – Bovini” presenta, al contrario, caratteristiche degne di maggior attenzione. Come visto in precedenza le valutazioni ottime per questo indicatore sono date da valori che stanno tra il 3% e il 3,5% mentre sono considerate buone quelle tra il 3,5% e il 5%, verso l’alto, e tra il 2,5% e il 3%, verso il basso. Di seguito viene riportato il trend dei valori conseguiti dalle Aziende USL negli anni 2010-2011-2012.

110

Figura 54: rappresentazione grafica trend anni 2010- 2011-2012 valori del sottoindicatore F16.7.1

Fonte: (Laboratorio MeS, 2012). Toscana - F16.7.1 Check list - Bovini . Tratto il giorno 9 3, 2013 da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane:

http://performance.sssup.it/toscana/lib/engine2.php?super=F16a&azienda=90&gruppo=toscanaA&anno=2012&indicato re=F16.7.1&descr=&area=Z

Dai valori riportati è evidente che vi siano delle anomalie. Infatti ogni anno solo 3-4 Aziende sono prossime a valori ottimali, le altre sono abbondantemente sopra al 5%. Dobbiamo domandarci: perché accade ciò?

Per fornire una spiegazione partiamo dalla definizione, riportata nella scheda descrittiva del F16.7.1, che viene data per il denominatore: “N° allevamenti aperti al 31 dicembre dell'anno precedente all'anno di rilevazione”. Ancora più in dettaglio spiega la voce riferimento: “Almeno 3% del numero totale degli allevamenti bovini aperti in BDN al 31 dicembre dell' anno precedente dell'anno di rilevazione”.

Sintetizzando al denominatore deve essere riportato il numero totale delle aziende “APERTE” al 31 dicembre dell’anno precedente la rilevazione e il dato viene estrapolato direttamente dalla Banca Dati Nazionale (BDN) di Teramo accessibile al sito web dell’Istituto Zooprofilattico Sperimentale dell'Abruzzo e del Molise.

Quando si vanno ad estrarre i dati dalla BDN viene fornito un report come quello riportato di seguito (a titolo d’esempio viene riportato il solo report dell’Azienda USL 1 Massa Carrara anno 2011):

111

Figura 55: report da BDN Teramo allevamenti bovini e bufalini anno 2011 AUSL 1 Massa Carrara

Fonte: (Anagrafe Nazionale Zootecnica - Statistiche, 2013). Tratto il giorno 9 3, 2013 da Istituto Zooprofilattico Sperimentale dell'Abruzzo e del Molise:

http://statistiche.izs.it/portal/page?_pageid=73,12918&_dad=portal&_schema=PORTAL

Per semplificarne la lettura sono stati colorati in giallo gli allevamenti bovini e bufalini “aperti con almeno un capo” mentre in celeste quelli “aperti senza capi”. Se sommiamo gli allevamenti, bovini e bufalini, aperti al 31/12/2011 con almeno un capo otteniamo il seguente valore: 651.

Se invece sommiamo tutti gli allevamenti che risultano “APERTI” al 31/12/2011 otteniamo il seguente valore: 1416.

112

Ora vediamo quali dati sono stati utilizzati per elaborare l’indicatore se 651 oppure 1416, come ci si attenderebbe visto che nella scheda si parla di “N° allevamenti aperti al 31 dicembre dell'anno precedente all'anno di rilevazione”.

Nella tabella seguente si riportano i valori utilizzati per valutare l’F16.7.1 dell’anno 2012 (attenzione: la consistenza degli allevamenti è riferita all’anno precedente, cioè al 31/12/2011).

Azienda Valore Valutazione Num Den Data

Toscana 7,68 3,31 321,00 4.177,00 2012 Ausl 1 Massa 6,91 3,25 45,00 651,00 2012 Ausl 2 Lucca 10,84 3,54 44,00 406,00 2012 Ausl 3 Pistoia 11,66 3,60 19,00 163,00 2012 Ausl 4 Prato 12,24 3,65 6,00 49,00 2012 Ausl 5 Pisa 6,54 3,23 17,00 260,00 2012 Ausl 6 Livorno 3,72 3,02 8,00 215,00 2012 Ausl 7 Siena 5,11 3,12 18,00 352,00 2012 Ausl 8 Arezzo 7,36 3,29 41,00 557,00 2012 Ausl 9 Grosseto 3,71 3,02 31,00 836,00 2012 Ausl 10 Firenze 16,33 3,95 65,00 398,00 2012 Ausl 11 Empoli 6,83 3,25 11,00 161,00 2012 Ausl 12 Viareggio 12,40 3,66 16,00 129,00 2012

Tabella 17: sottoindicatore F16.7.1 Check list - Bovini anno 2012

Fonte: (Laboratorio MeS, 2012). Toscana - F16.7.1 Check list - Bovini . Tratto il giorno 9 3, 2013 da Sistema di Valutazione della Performance delle Aziende Sanitarie Toscane:

http://performance.sssup.it/toscana/lib/engine2.php?super=F16a&azienda=90&gruppo=toscanaA&anno=2012&indicatore=F 16.7.1&descr=&area=Z

Come si può leggere nella tabella sopra riportata, nella riga evidenziata in celeste, la base dati utilizzata per il denominatore dell’Azienda USL1, presa ad esempio, corrisponde al totale degli allevamenti bovini e bufalini aperti con almeno un capo, ovvero 651 allevamenti. L’Azienda USL1 ha effettuato 45 check-list per cui ottiene un valore di 6,91% (nota la formula è: N° check-list compilate ed inserite in BDN per periodo di rilevazione afferenti allevamenti bovini-bufalini x 100 / N° allevamenti aperti al 31 dicembre dell'anno precedente all'anno di rilevazione) che è ben al di sopra dell’obbiettivo giudicato ottimo dai criteri di valutazione. Però se nella formula vengono utilizzati tutti gli allevamenti aperti al 31/12/2011 nel territorio dell’AUSL1 otteniamo il seguente risultato:

45x100/1416= 3,17%

113

Come evidente il risultato (valore) del 3,17% sarebbe perfettamente in linea con l’obiettivo ottimale delle fasce di valutazione concordate tra Regione Toscana e Laboratorio MeS.

Il caso dell’AUSL1, preso ad esempio, non è isolato ma anzi rappresenta la tendenza della maggior parte delle Aziende USL toscane. Infatti tutte le Aziende superano per eccesso, in alcuni casi in modo considerevole, il valore del 3%.

La risposta alla domanda che ci siamo posti in precedenza è quindi che vi sono evidenti incomprensioni tra quanto richiede la Regione Toscana (il 3% degli allevamenti aperti con almeno un capo) e quanto hanno compreso le Aziende USL (il 3% degli allevamenti con o senza capi).

Infine, essendo questo un indicatore oggetto di valutazione da ben 3 anni ed avendo sempre avuto valori tendenzialmente superiori a quanto richiesto, probabilmente la Regione Toscana e il centro di elaborazione dati, ovvero il Laboratorio MeS, avrebbero dovuto “allertarsi” e provvedere a chiarire meglio quanto viene richiesto.

La cosa in effetti pone anche un’altro fronte di riflessione in quanto, a causa di questa incomprensione, probabilmente le Aziende USL impegnano risorse per effettuare un numero maggiore di check-list di quante richieste.

Altro aspetto apparentemente illogico, in termini di corretta gestione delle risorse, è dato dal fatto che Aziende che hanno effettuato un numero di check-list abbondantemente superiore al 3% ottengano valutazioni superiori ad Aziende che sono molto vicine all’obbiettivo prefissato dall’indicatore. Alcuni esempi possono chiarire meglio tale aspetto:

• l’Azienda USL 10 con un valore del 16,33% ottiene una valutazione di 3.95; • l’Azienda USL 9 con un valore del 3,71%, molto prossimo all’obbiettivo

dell’indicatore, ottiene una valutazione di 3.02.

In sostanza il sistema è premiante per coloro che, una volta superato per eccesso il parametro ottimale, effettuano un maggior numero di check-list.

114

Considerazioni conclusive su F16.7

L’indicatore F16.7 costruito sulla media delle valutazioni di tre sottoindicatori, “F16.7.1 Check list – Bovini”; “F16.7.2 Check list - Caprini/Ovini”; “F16.7.3 Check list – Suini”, evidenzia un quadro positivo in quanto tutte le Aziende USL ottengono in genere valutazioni da buone (3-4) a ottime (4-5). In realtà andando ad analizzare in dettaglio i singoli sottoindicatori ve ne è uno che presenta gravi problemi di interpretazione dei dati richiesti.

Nel sottoindicatore F16.7.1 “Check list – Bovini” la Regione Toscana e il Laboratorio MeS chiedono di effettuare le check-list in almeno il 3% degli allevamenti aperti all’anno precedente la rilevazione, ma mentre il Laboratorio MeS usa come base dati solo quelli che risultano “aperti con almeno un capo” molte Aziende USL conteggiano, oltre a questi ultimi, anche quelli “aperti senza capi” sommandoli tra loro. Ne consegue che molte Aziende hanno in questi anni, a causa di questa incomprensione, effettuato un numero considerevolmente maggiore di attività rispetto a quanto effettivamente necessario oppure l’indicatore utilizza una base dati errata. In entrambi i casi l’F16.7.1 non è corretto e necessita di una revisione. C’è da evidenziare che questa grave anomalia non traspare nell’indicatore sovraordinato F16.7 che al contrario presenta un quadro positivo.

Infine, il sistema è premiante per coloro che, una volta superato per eccesso il parametro di valutazione ottimale, effettuano un maggior numero di check-list. Questa valutazione è illogica se si tiene conto che il sistema dovrebbe premiare chi tende all’ottimo e penalizzare chi vi si discosta maggiormente.

115