L’esperienza: benchmarking dei PAT esistenti

La programmazione delle attività territoriali: un’analisi comparata

4. L’esperienza: benchmarking dei PAT esistenti

Naturalmente, il caso in esame ha richie-sto opportuni adattamenti, in relazione:

– allo sviluppo e all’utilizzo del bench-marking soprattutto all’interno dell’impresa privata e non tanto in ambito sanitario o so-cio-sanitario,

– alla sua applicazione a documenti pro-grammatici e non alle realtà organizzative.

La metodologia si è sviluppata attraverso le seguenti fasi:

a) selezione del campione da analizzare;

b) scelta del metodo per l’analisi dei con-tenuti dei PAT esistenti;

c) deﬁ nizione ed attribuzione di un valore numerico ai parametri di valutazione della

«qualità» dei contenuti;

d) calcolo del benchmark di valutazione;

e) scelta ﬁ nale dei contenuti del modello.

4. L’esperienza: benchmarking dei PAT esistenti

4.1. Selezione del campione di riferimento L’analisi è stata sviluppata nell’anno che va da maggio 2004 a maggio 2005 ⁶ ed ha avuto come oggetto i Programmi delle attivi-tà territoriali sperimentali dei distretti socio-sanitari emiliano-romagnoli, compilati nel 2003 con riferimento all’anno 2004.

I PAT sono stati raccolti mediante richie-sta inoltrata dalla Regione alle diverse Ausl e da queste ai distretti di competenza.

La tabella 1 mostra che, data l’articola-zione del territorio regionale in 40 «distret-ti», sono pervenuti 30 documenti denominati

«PAT» e rappresentativi di 39 distretti. Non c’è corrispondenza biunivoca tra numero di distretti e numero di PAT poiché, in alcuni casi, i contenuti di un PAT coprivano più di-stretti di una stessa Azienda Usl (ad esempio nei casi delle Ausl C, D, E, J, K, M).

Sono anche pervenuti, ad integrazione, 10

«Altri documenti», di cui 1 Piano attuativo locale, 4 Piani delle azioni, 2 Piani per la sa-lute, 1 Piano sociale di zona e 2 verbali delle Tabella 1

Documenti per venuti Fonte: Distretti afferenti alle Ausl di Bologna Sud, Nord, Città (le tre Ausl di Bologna sono state attualmente unificate), Cesena, Ferrara, Forlì, Imola, Modena, Parma, Piacenza, Ravenna, Reggio Emilia, Rimini

sedute deliberative degli interventi socio-sa-nitari. Tuttavia, è necessario precisare che il campione di riferimento è costituito dai soli 30 PAT, considerando quali semplici infor-mazioni integrative quelle contenute negli altri documenti.

Al ﬁ ne di assicurare l’imparzialità del pro-cesso di analisi, si è provveduto a rendere anonime le aziende/i distretti a cui i docu-menti sono riferiti, indicandoli con una lette-ra alfabetica.

4.2. Specificazione delle macro-aree, delle categorie e dei parametri e loro valutazione

Una prima lettura dei Programmi delle at-tività territoriali, ne ha evidenziato un’estre-ma eterogeneità forun’estre-male e contenutistica.

L’avvio del processo di benchmarking per la selezione dei PAT «eccellenti» ha dunque richiesto una previa omogeneizzazione dei loro contenuti ⁷.

Essa è avvenuta deﬁ nendo innanzitutto delle macro-aree di analisi, con caratteristi-che di esaustività, indipendenza reciproca e mutua esclusività. In relazione al dettato nor-mativo del D.L.vo 229/1999 sono state indi-viduate come macro-aree:

– la mappatura del territorio (per la de-scrizione delle condizioni di contesto);

– l’attività svolta (per la descrizione della produzione diretta del distretto);

– la programmazione (per la descrizione della prospettiva programmatoria usata).

All’interno delle tre macro-aree:

a) sono state individuate delle categorie analitiche di contenuto;

b) sono stati determinati parametri speciﬁ -ci per la valutazione di qualità.

La tabella 2 sintetizza le macro-aree, le categorie ed i parametri; inoltre evidenzia che ogni categoria di contenuto è stata valu-tata sulla base di tutti i parametri della ma-cro-area di riferimento.

Il gruppo di progetto ha predeﬁ nito ex-an-te una scala di valutazione dell’importanza relativa ﬁ nale delle macro-aree che, impli-citamente, stabilisce un sistema di pesi nu-merici da attribuire ai parametri rispetto alla macro-area.

In altre parole sono stati preliminarmente risolti due ordini di problemi:

1) defi nire un’ipotesi di valutazione dell’im-portanza relativa fi nale delle macro-aree, tenu-to contenu-to del ruolo e delle fi nalità del PAT;

2) deﬁ nire di conseguenza un sistema di pesi numerici da attribuire ai parametri.

La soluzione al primo problema è rappre-sentata in fi gura 2, dove viene esplicitata percentualmente l’ipotesi defi nitoria inizia-le della scala di valutazione dell’importanza relativa delle macro-aree. La lunghezza com-plessiva della barra rappresenta il 100% cioè la valutazione complessiva fi nale della qualità di un possibile PAT, mentre i singoli segmen-ti prefi gurano l’ipotesegmen-tica importanza percen-tuale delle macro-aree di analisi del PAT.

Tabella 2

Macro-aree, categorie e parametri di valutazione

Come mostrato in fi gura 2, la natura pro-grammatoria del PAT emerge dall’impor-tanza percentualmente maggiore assegnata alla macro-area «programmazione». Tra le due rimanenti macro-aree, la scelta è sta-ta quella di valorizzare «attività svolsta-ta» più della «mappatura del territorio» perché la programmazione delle attività del distretto si regge maggiormente sulla conoscenza degli attuali volumi di offerta piuttosto che degli indici socio-demografi ci ed epidemiologici della mappatura del territorio, i quali inqua-drano il contesto di riferimento ma sono mo-difi cabili solo nel lungo periodo.

A questo punto, anche il secondo proble-ma di deﬁ nizione di un sisteproble-ma di pesi nume-rici da attribuire ai parametri risulta implici-tamente risolto. Infatti, dato:

– il numero di categorie di contenuto per macro-area,

– il numero di parametri di valutazione della qualità per macro-area,

– l’importanza relativa percentuale delle tre macro-aree,

si tratta semplicemente di ripercorrere il se-guente schema logico a partire dalla deﬁ ni-zione dei pesi dei singoli parametri:

a) trasformare l’importanza relativa (per-centuale) di macro-area in un risultato nume-rico assoluto;

b) ottenere il risultato numerico assoluto come somma aggregata dei pesi attribuiti ai parametri per le categorie di contenuto.

Pertanto, il peso di ogni singolo parametro dipende:

1) verso l’esterno, dall’importanza relati-va (percentuale) della macro-area di riferi-mento;

2) verso l’interno (cioè all’interno di una macro-area) dalla rilevanza (peso) che il gruppo di progetto gli attribuisce nel valutare la qualità delle categorie di contenuto, rispet-to agli altri parametri di macro-area, ma sem-pre subordinatamente al punto 1.

Se consideriamo una data macro-area, un parametro al suo interno può assumere:

– peso pari a 0 se non presente sulla relati-va categoria di contenuto;

– peso variabile tra 0,5 e 4 se presente, co-me nell’esempio mostrato in tabella 3 per la macro-area «attività svolta».

Conseguentemente, il risultato numerico assoluto di macro-area è dato da:

Figura 2

Impor tanza relativa delle macro-aree di analisi:

ipotesi definitoria iniziale

_{i = n}

Macro – area =

∑

^Ci con n = numero di categorie della macro-area _{i = 0}

C_i = categorie di contenuto _{y = m}

C_i =

∑

^Py con m = numero di parametri della macro-area _{y = 0}

P_y = parametri di valutazione

L’importanza relativa di macro-area è ricalcolata sui risultati numerici assoluti otte-nuti nel campione di PAT, dove

PAT =

∑

Macro – area_x con x = numero di macro-aree per veriﬁ carla rispetto all’ipotesi iniziale.

4.3. Definizione del benchmark di valuta-zione

Nell’applicazione della logica del bench-marking, si associa alla valutazione numeri-ca assoluta un ulteriore strumento di analisi, la scala benchmark, la cui importanza è lega-ta alla capacità di relativizzare, rispetto alla deﬁ nizione di range di «qualità», i risultati della ricerca.

Nell’analisi in oggetto, sono state deﬁ ni-te tre scale benchmark, una per ogni macro-area, di seguito denominate semplicemente benchmark di riferimento ⁸, al ﬁ ne di selezio-nare i PAT.

Il gruppo di progetto ha deﬁ nito:

a) tre range di valori per ogni benchmark:

basso, medio, alto;

b) un limite minimo ed uno massimo per ogni benchmark.

I limiti minimo e massimo sono stati cal-colati come risultato della macro-area (som-ma dei risultati delle categorie ottenuta, a sua volta, come somma dei punteggi dei parame-tri) considerando:

– per il limite minimo, l’assenza degli ele-menti sulle categorie ⁹,

– per il limite massimo, la presenza degli elementi di macro-area su tutte le categorie di contenuto.

Il limite minimo e massimo del bench-mark rappresentano anche, rispettivamente, il valore inferiore del range «basso», e quel-lo superiore del range «alto».

Gli altri valori di range sono stati calcolati prendendo a riferimento la media empirica di macro-area, sul campione dei PAT, ed ag-giungendo o togliendo a questa un 25%.

Il benchmark di qualità complessiva è sta-to ottenusta-to, nei suoi range e limiti, per som-ma dei risultati dei benchsom-mark di som-macro-area, come mostrato in tabella 4.

4.4. Discussione dei risultati dell’analisi Il processo di benchmarking si conclude con la selezione dei PAT «eccellenti», la quale avviene incrociando i risultati dei sin-goli PAT con i range di «qualità» deﬁ niti dal benckmark.

In fi gura 3, ogni istogramma ¹⁰ rappresen-ta la valurappresen-tazioni numerica complessiva di un PAT (somma dei risultati ottenuti dalle ma-cro-aree); le linee orizzontali deﬁ niscono i range del benchmark di qualità complessiva.

Per ogni istogramma viene evidenziata an-che la composizione interna delle valutazio-ni attribuite alle macro-aree di analisi: si può complessivamente rilevare che la mappatura del territorio è ovunque sviluppata, in ma-niera abbastanza omogenea, mentre le diffe-renze di valutazione si giocano sull’attività svolta e sulla programmazione (macro-aree critiche).

L’eccellenza (cioè la capacità di raggiun-gere il range di qualità «alto») appartiene a tre soli PAT e nessuno di essi raggiunge il limite massimo poiché, come già sottolinea-to, la valutazione numerica complessiva di un PAT è stata eseguita in relazione al cam-pione, mentre la ﬁ ssazione del limite massi-mo del benchmark è stata predeﬁ nita come la presenza degli elementi di macro-area su tutte le categorie di contenuto.

Un approfondimento di analisi sulle ma-cro-aree critiche consente di tracciare la matrice cartesiana di fi gura 4: tale matrice incrocia i risultati ottenuti dai vari PAT su attività svolta e su programmazione; le linee perpendicolari sono le medie empiriche delle due macro-aree sul campione. Dalla lettura del graﬁ co, si potrebbe ipotizzare che quanti non hanno la capacità di descrivere in manie-ra esaustiva la propria offerta (o produzione diretta), non sono in possesso dei requisiti per effettuare un’efﬁ cace programmazione, anche se la mappatura del territorio effettua-ta risuleffettua-ta buona.

In realtà, la relazione lineare evidenziata dalla matrice rispetto alle macro-aree cri-tiche (attività svolta e programmazione) va accuratamente soppesata, considerando che entrambe sono il frutto di una valutazione esercitata sulle stesse categorie di contenuto.

La rilevazione più interessante, invece, risul-ta essere che la maggior parte dei PAT, ri-spetto alla programmazione (descritta lungo l’asse delle ascisse) e all’attività svolta (de-scritta lungo l’asse delle ordinate), si colloca al di sotto della media.

Tabella 3

Determinazione del risultato di macro-area e di categoria

* Per le categorie di contenuto asteriscate, i seguenti parametri di valutazione: – presenza/assenza di indicatori di mobilità passiva, – presenza/assenza dell’indicazione dei tempi di attesa sull’azienda/sul distretto risultano assenti, perché non valutabili

segue Tabella 3

Determinazione del risultato di macro-area e di categoria

Tabella 4

Benchmark di macro-area e loro range

Figura 3

Valutazione di qualità complessiva e

composizione dei punteggi

Figura 4

Valutazione di qualità dei PAT: mappa di posizionamento

5. Definizione del modello di PAT:

Nel documento PUNTO DI VISTA 3 Convergenze parallele: quando sistemi diversi hanno problemi e sfide simili (pagine 146-153)