HTA: che cos’è e quali applicazioni in diabetologia

(1)

M. Tringali¹, M. Dellagiovanna²

1Direzione Generale Sanità Regione Lombardia e ASL Pavia; ²ASL Pavia, UOC Governo Farmaceutica, ASL Pavia Corrispondenza: dott. Michele Tringali, Struttura HTA, UOC Governo Farmaceutica, ASL Pavia,

viale Indipendenza 3, 27100 Pavia email michele_tringali@asl.pavia.it G It Diabetol Metab 2013;33:8-18 Pervenuto in Redazione il 04-02-2013 Accettato per la pubblicazione il 08-02-2013 Parole chiave: diabete mellito, valutazione delle tecnologie sanitarie, metodi di supporto alle decisioni, regolamentazione sanitaria

Key words: diabetes mellitus, technology assessment, biomedical, decision support techniques, health care policy making

RIASSUNTO

La valutazione delle tecnologie sanitarie (health technology assessment, HTA) può contribuire alla programmazione a livello nazionale e regionale, come anche alla gestione a livello aziendale, nella misura in cui viene effettuata coinvol- gendo tutte le parti interessate secondo modalità multiprofessionali e multidisciplinari rispetto a criteri chiari, di ordine universale, espliciti, misurabili, non ridondanti e condivisi, indirizzati al disinvestimento con riallocazione delle risorse liberate secondo priorità verificabili. I metodi di revisione delle fonti di conoscenza clinica ed economica consentono l’assessment (valutazione tecnica) delle tecnologie in sanità e sono propedeutici alla successiva fase di appraisal (valu- tazione di appropriatezza d’uso nella prospettiva del servizio sanitario), fase in cui, tramite opportuni metodi di analisi decisionale a criteri multipli, è possibile preparare decisioni di competenza nazionale, regionale o aziendale. L’espe - rienza in area diabetologica è ancora limitata ma esistono tutte le premesse per il governo dell’innovazione tecnologica che, se non è sostenibile, è una mera pretesa di valore da disinvestire alla radice.

SUMMARY

Health technology assessment:

What is it and would it be useful in diabetology?

Health Technology Assessment can help in national and region- al policy-making, and also management at provider level, if applied consistently, involving stakeholders and experts within a multiprofessional and multidisciplinary approach. This must meet clear, universal, explicit, not redundant, shared criteria, aimed at disinvestment and reallocation of resources according to ascertainable priorities. Appropriate methods for reviewing clinical and economic evidence can be put in force at the assessment level (technical evaluation) and are prerequisites for thorough appraisal (judgment on appropriate use from the per- spective of a specific health care service). Multiple-criteria deci- sion analysis methods can be implemented to clarify and pre-

pare decisions at any level of health care management.

Experience in the diabetes care area is still limited but there is a good basis for technology innovation which, if not financially sustainable in the light of current fiscal obligations, is no more than a pretence of social value that deserves to be vigorously rejected.

Rassegna

HTA: che cos’è

e quali applicazioni in diabetologia

(2)

aSintesi degli autori.

– un percorso culturale di transizione da un modello di salute drogato dal fare di più verso un modello orientato a fare solo ciò che è sufficiente.

Il disinvestimento è definibile come un processo verificabile (accountable) che conduce al parziale o completo abbando- no di pratiche sanitarie (comprese tecnologie) che, rispetto ad altre, generano un piccolo o nessun impatto in termini di salute guadagnata rispetto alla spesa sostenuta per una determinata popolazione in un certo periodo.

Il disinvestimento può accadere con modalità implicite o sulla base di analisi esplicite di tutte le documentazioni disponi- bili⁽⁸⁾. Nel primo caso prevalgono interessi di attori indefiniti.

Nel secondo caso la decisione viene informata (supportata) secondo logiche di health technology assessment (HTA), ovvero: trasparenti, partecipatorie, fondate su analisi di dati e non su mere opinioni di esperti, strutturate attorno a crite- ri multipli espliciti predeterminati e non adottati ad hoc secondo le convenienze di gruppi di pressione. La HTA quindi ha la potenzialità di contribuire, limitatamente al piano tecnico-scientifico, alla governance sia dell’innovazione sia del disinvestimento.

Produzione e utilizzo di HTA

In occasione di un incontro di consenso tra organizzazioni e professionisti aderenti al Network Italiano di Health Technology Assessment (NI-HTA) nel gennaio 2006 a Trento è stata redatta e proposta al dibattito pubblico la “Carta di Trento”⁽⁹⁾, un elenco di sei principi per la valutazione delle tecnologie sanitarie^a.

1. Chi: la HTA deve coinvolgere tutte le parti interessate all’assistenza sanitaria (clienti, personale, proprieta- ri/finanziatori, fornitori e la società) lungo le tre dimensioni fondamentali dell’assistenza (professionale, organizza- tiva e relazionale) per consentire il bilanciamento delle diverse esigenze e aspettative sulla base di criteri espliciti e condivisi tra le parti stesse.

2. Cosa: deve riguardare tutti gli elementi, materiali e imma- teriali, che concorrono all’assistenza sanitaria: strutture, attrezzature, impianti tecnologici, dispositivi medici, farmaci, vaccini, sistemi diagnostici, modelli organizzativi e assistenziali, documenti di indirizzo clinico (procedure, linee guida, percorsi assistenziali) e sistemi regolatori (nomenclatori delle prestazioni, sistemi tariffari, procedure di autorizzazione e accreditamento).

3. Dove: deve riguardare tutti i livelli gestionali dei sistemi e delle strutture sanitarie:

a. livello generale (organismi di regolazione nazionale e regionale) per l’accessibilità alle prestazioni, gli assetti organizzativi generali, i sistemi tariffari, la collocazio- ne delle grandi apparecchiature e la presenza delle tecnologie nel mercato;

b. livello intermedio (management delle singole strutture sanitarie) per l’acquisto e la gestione di attrezzature,

Valutazione delle tecnologie sanitarie per il disinvestimento con riallocazione in sanità

Negli Stati Uniti l’incidenza della spesa sanitaria globale sul PIL nel 2011 è circa il 18% e aumenterà al 20% per il 2020⁽¹⁾. Sebbene gli USA spendano molto più di altre nazioni, gli esiti di salute registrati sono peggiori in quasi tutti i gruppi di età⁽²⁾: minore spettanza di vita, maggiori prevalenze, mortalità e fattori di rischio per diverse malattie. Le cause di questo di - sastro sono molte: mancanza di assicurazione sanitaria universale, minore focalizzazione sulle cure primarie, barriere all’accesso a cure sostenibili, scarso coordinamento tra ser- vizi, problemi di comunicazione tra pazienti e operatori, oltre a stili di vita poco salubri e svantaggi socioeconomici per una parte della popolazione⁽³⁾.

La riforma avviata con la presidenza Obama prevede mino- ri spese per 670 miliardi di dollari a carico di Medicare e Medicaid tra il 2011 e il 2019, da ottenere con tagli di spesa e aumenti di entrate⁽⁴⁾. Nel dibattito sulla riforma Berwick e Hackbarth hanno documentato che risparmi teorici di entità molto maggiore, fino a 2,2 trilioni di dollari tra il 2012 e il 2020, possono essere ottenuti tagliando gli sprechi in sei grandi aree di intervento: aumentando l’efficienza e il coordinamento delle cure, riducendo il sovratrattamento e la complessità amministrativa, aumentando la trasparenza e la competizione (ottenendo così prezzi equi) e combattendo frodi e abusi⁽⁵⁾.

Anche in Italia la spesa sanitaria pubblica corrente nel decennio 2001-2011 è cresciuta attorno al 48% del valore a inizio decennio⁽⁶⁾, con un’incidenza sul PIL attorno al 6-7%.

L’effetto delle recenti manovre finanziarie (DL 78/10, DL 98/11, DL spending review e decreto stabilità) è stato stima- to dal Ministro alla Sanità nel dicembre 2012 per un ammon- tare di minori spese di 25 miliardi di € (seppur diversamente stimate dalle Regioni in 35 miliardi e dal presidente della conferenza Stato-Regioni in 30 miliardi) da realizzare nel 2012- 2015 in forma di revisioni dei processi di spesa, agendo in particolare su due aree: personale e acquisto di beni e di ser- vizi; miglioramento dei percorsi assistenziali, governo clinico dei processi, linee guida e vera appropriatezza prescrittiva e terapeutico-assistenziale⁽⁷⁾.

Anche in Italia, quindi, il dibattito sulla sostenibilità del SSN è focalizzato sul dipolo tagliare la spesa o tagliare gli sprechi?

Il consenso è universale sul vantaggio teorico della seconda alternativa, rimane da vedere in che modo questa è realizza- bile. Berwick e Hackbarth⁽⁵⁾ne sottolineano alcune condizioni che possono rilevare anche in Italia:

– un cosciente indirizzo politico, con obiettivi ambiziosi ed espliciti;

– un monitoraggio onesto del processo di dis-investimento;

– un forte coinvolgimento dei professionisti, gli unici in grado di distinguere tra ciò che funziona e ciò che va in spreco;

(3)

la strutturazione di percorsi assistenziali e di specifici assetti organizzativi;

c. livello professionale per la pratica assistenziale quoti- diana.

4. Quando: deve essere un’attività continua, condotta prima della loro introduzione e durante l’intero ciclo di vita, per dare assicurazione alle parti interessate che l’impatto reale sulle diverse dimensioni considerate con- tinui a essere coerente con quanto previsto, anche a fronte degli inevitabili cambiamenti scientifici, tecnici, organizzativi, epidemiologici e di scenario.

5. Perché: è una necessità e una opportunità per la gover- nance integrata dei sistemi e delle strutture sanitarie.

6. Come: è un processo multidisciplinare che deve svolgersi in modo coerente con gli altri processi assistenziali e tecnico-amministrativi. Elementi essenziali per la credibilità delle valutazioni sono il coinvolgimento delle varie parti, la piena adesione al metodo scientifico, l’approccio multidisciplinare e il rispetto dei principi di equità e trasparenza.

La definizione e i principi della Carta di Trento evidenziano che la HTA non riguarda solo il momento registrativo, ovvero

l’immissione in commercio di competenza delle autorità regolatorie europee e nazionali (per es. per i farmaci EMA e AIFA), ma anche la pratica post-registrativa, ovvero le determinazioni regionali e aziendali per quanto di competenza.

Benché si tratti di un argomento di introduzione relativamen- te recente in Italia, la HTA ha una lunga e poco evidente sto- ria. La National Library of Medicine dal 1967 a oggi ha indiciz- zato un totale di 8879 articoli con il termine MeSH Technology Assessment, Biomedical. Questi articoli costituiscono meno dello 0,045% dei circa 20 milioni di articoli scientifici indicizzati in totale su PubMed da prima del 1950 alla fine del 2012 e sono stati pubblicati in ben 3836 riviste, di cui solo 11 classi- ficate Core Journals. Solo 46 di queste riviste scientifiche, ovvero lo 0,51% del totale, hanno pubblicato oltre 10 articoli (ricerche effettuate il 25 gennaio 2013; Figg. 1 e 2).

Si tratta quindi di un argomento molto trasversale, timida- mente esplorato in praticamente tutte le aree della medicina e sviluppato in poche riviste di nicchia. Per esempio, nel- l’anno 2011, sul totale di 143 riviste che hanno pubblicato almeno un articolo indicizzato col MeSH Technology Assessment, Biomedical, solo 2 riviste (International journal

600

500

400

300

200

100

0

1967 1968 1696 1970 1971 1972 1973 1974 1975 1976 1977 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011

Totale di 8.879 articoli soggettati con il termine MeSH “Technology Assessment, Biomediacal” pubblicati in un totale di 3.836 riviste (di cui solo 11 Core Journals) dal 1967 ad oggi e indicizzati in MEDLINE (PubMed).

Ricerca effettuata il 25 gennaio 2013.

Testo libero MeSH

Numero di articoli reperiti con la ricerca

“Health Technology Assessment” come testo libero e MeSH

Figura 1 Trend annuale del numero di citazioni bibliografiche indirizzate dalla National Library of Medicine (NLM, USA) con il termine MeSH Technology Assessment, Bio medical, dal 1967 a oggi.

Figura 2 Classi di riviste che hanno pubblicato almeno un articolo indicizzato dalla NLM con il termine MeSH Technology Assessment, Biomedical. Valori in percen- tuale sul totale di 3836 riviste.

0,1% 0,1% 0,2% 0,5%

2,0%

Oltre 50 citazioni da 41 a 50 da 31 a 40 da 21 a 30 da 11 a 20 da 2 a 10 1 citazione 66,5%

30,8%

Articoli “Technology Assessment, Biomedical”

pubblicati negli ultimi 45 anni

(4)

bRicerca PubMed: “Technology Assessment, Biomedical”[Mesh] Filters: Italian. Il primo articolo risale al 1993.

cRete Italiana di HTA. http://www.agenas.it/hta.htm

dDGR VIII/7856 del 30 luglio 2008: Determinazione in merito alla valutazione dell’appropriatezza d’uso di farmaci, dispositivi biomedici e tecnologie diagnosticoterapeutiche al fine del loro impiego nell’ambito del servizio sanitario regionale secondo gli indirizzi del PSSR e determinazioni conseguenti.

eDDG 11858/2009 del 12 novembre 2009: Prime determinazioni in attuazione della DGR 7856/2008 Nomina dei componenti del Nucleo di Valutazione delle Priorità e dei Conflitti di Interesse (NVPCI) e del Tavolo per l’Appropriatezza in Medicina (TTRAM).

f DDG 12494/2012 Rinnovo, ai sensi dell’allegato 5 della DGR 7856/2008, dei componenti del Nucleo di Valutazione delle Priorità e dei Conflitti di Interesse (NVPCI) e aggiornamento del Tavolo Tecnico Regionale per l’Appropriatezza in Medicina (TTRAM).

Tabella 1 Elenco delle attività previste per ciascuna fase di valutazione HTA in regione Lombardia. A ciascu- na locuzione corrisponde una pagina nel gestionale per le attività valutative. L’accesso è riservato, secondo la competenza, a: componenti nominati nelle commissioni regionali, gruppi di esperti, produttori, associazioni.

Fasi e attori delle valutazioni di tecnologie sanitarie in Lombardia 1) Priorità: commissione regionale NVP-CI

Avvio: Segnalazione, Audizione, Verifica assenza di interessi conflittuali specifici NVP-CI, Obiettivi

Giudizio: Pesatura dimensioni valutative, Rapporto sintetico indipendente dal produttore, Attribuzione punteggi e commenti, Analisi decisionale a dimensioni multiple

Conclusione: Sintesi e approvazione bozza Giudizio di Priorità, Appello di priorità - Consultazione pubblica del giudizio di priorità, Giudizio di priorità definitivo, Ricerca esperti e conduttori, Selezione esperti

Condivisioni: produttori, associazioni

Consultazione produttori, Società scientifiche, Associazioni di pazienti, volontari e cittadini: Segnalazione studi (primari e secondari), Consegna contributi (per 14 dei 21 criteri)

2) Assessment: esperti di dominio scientifico

Avvio: Obiettivi, Selezione collegiale sottocriteri e quesiti, Ricerca bibliografica, Analisi DWH regionale, Raccolta e valida- zione informazioni da produttori e associazioni

Classificazione studi (con moduli pre-specificati)

Base documentale: Credibilità studi epidemiologici, clinici, economici, analisi di impatto finanziario, Listato documentazio- ne inclusa ed esclusa, Verifica qualità e attendibilità documentazioni scientifiche, Verifica qualità e attendibilità linee guida, Tabelle riassuntive studi inclusi e valutati - Livello di qualità globale della documentazione disponibile

Contributi: Sintesi di contributi individuali per la Stima di Impatto Multidimensionale (SIM, a 21 criteri), Redazione, discus- sione e valutazione collegiale bozza di SIM

Conclusione: Verifica e sintesi SIM definitiva, Discussione raccomandazioni per l’uso appropriato e sintesi operativa, Approvazione SIM e sintesi operativa

3) Appraisal: commissione regionale TTRAM

Avvio: Obiettivi, Audizione produttori, Verifica assenza di interessi conflittuali specifici TTRAM, Pesatura criteri di valutazio- ne estrinseci, Attribuzione punteggi e giudizi

Discussione: Analisi decisionale a criteri multipli, Discussione appraisal, Stesura motivazioni, Sintesi bozza di decisione sul valore d’appropriatezza d’uso, Verifica e approvazione

Conclusione: Giudizio di appropriatezza d’uso e consultazione pubblica, Analisi commenti ricevuti, Appello di appraisal e audizione, Giudizio d’appropriatezza d’uso definitivo

Decisione

Documentazione scientifica

of technology assessment in health care e Technology eva- luation center assessment program) hanno pubblicato più di dieci articoli.

“Diversamente da tutti i Paesi sviluppati del mondo, l’Italia non si è ancora dotata di una tecnostruttura nazionale di rife- rimento che valuti sistematicamente… le nuove tecnologie sanitarie da introdurre e quelle obsolete da abbandonare, ma questo non significa che non vi siano, anche nel nostro Paese, importanti strutture e risorse umane e scientifiche dedicate ai processi di valutazione delle tecnologie sanitarie”, come riportato nella presentazione del Primo Libro Bianco sulla HTA in Italia⁽¹⁰⁾, che costituisce il primo vero tentativo di analisi sulle prassi sviluppatesi in Italia a vario livello.

La scarsità di esperienze italiane in materia è riscontrabile

anche nella letteratura peer review. In PubMed sono indicizza- te solo 16 citazioni in lingua italiana negli ultimi 20 anni^b. Recentemente peraltro sono stati pubblicati manuali^(11,12), linee guida⁽¹³⁾e rassegne^(14,15)in italiano che complementano analo- ghe documentazioni di natura metodologica realizzate nel Regno Unito⁽¹⁶⁾, in Danimarca⁽¹⁷⁾e in Canada^(18,19). La AGENAS ha avviato una collaborazione interistituzionale tra numerose regioni per la realizzazione di una Rete Italiana di HTA (RIHTA^c).

In Regione Lombardia nel 2010 è stato avviato un programma di HTA nella prospettiva del sistema regionale^d,eche ha definito un processo valutativo (in tre fasi ciascuna attribuita a differenti attori – tabella 1 –, rinnovati a fine 2012 e distri- buiti in due commissioni regionali^f), schemi-tipo di modulisti- ca, criteri, regole di procedura, formato atteso e aree priori-

(5)

tarie^g. La previsione di co-finanziare il programma tramite tariffe a carico dell’industria, proporzionali al carico valutativo, non è stata realizzata. Tutta l’attività, coordinata dalla Direzione Generale Sanità della regione, è effettuata da professionisti nominati nelle due commissioni regionali e da esperti di dominio scientifico in orario di servizio e senza oneri a carico del SSR. Il programma di valutazione non è stato finanziato con risorse aggiuntive e viene operato tramite il distacco parziale di un dirigente medico e l’attività pre- stata da un amministrativo a tempo parziale in Direzione Generale (DG) Sanità.

Dal dicembre 2012 tutta l’attività delle commissioni e degli esperti si svolge esclusivamente per via elettronica tramite un prototipo di gestionale operativo (Fig. 3). Il processo è guidato da testi e moduli elettronici per l’accesso controllato a documenti e per la raccolta di giudizi (dichiarazioni, pesi, punteggi, commenti, verbali, approvazioni). Nominati ed esperti consegnano il CV ed effettuano dichiarazioni di interessi secondari, di impegno alla riservatezza e al rispetto della confidenzialità delle documentazioni e di autorizzazione al trattamento dei dati personali.

Il processo è sequenziale e suddiviso in tre fasi per ciascuna valutazione. Le attività si svolgono in presenza, durante le riunioni a cadenza mensile per i nominati e con periodicità variabile per gli esperti e a distanza, nei periodi intercorrenti tra le riunioni. Nominati ed esperti accedono dal loro note- book o tablet alla rete wireless regionale durante le riunioni per effettuare pesature, punteggi, voti e approvazioni.

L’intero processo è verificabile tramite audit esterno.

La prima fase di valutazione è denominata valutazione di priori- tà, è affidata al Nucleo di Valutazione delle Priorità e dei Conflitti di Interesse (NVP-CI) e consente di filtrare proposte di introdu-

zione di tecnologie sanitarie avanzate dall’industria, da associazioni scientifiche o altri soggetti accreditati. Un conduttore di progetto e un esperto di dominio scientifico redigono un Rapporto Sintetico indipendente dal produttore seguendo un modello pre-specificato. Dopo un’audizione del richiedente, i componenti del NVP-CI definiscono l’importanza relativa di 8 dimensioni valutative elencate nella delibera (in grassetto nella tabella 2), tramite un’operazione di pesatura specifica effettuata usando un modulo online standard. In pratica ogni valutato- re attribuisce un peso univoco da 1 (importanza minore) a 8 (importanza maggiore) a ciascuna delle 8 dimensioni.

Quando la pesatura è stata completata i valutatori esaminano il Rapporto Sintetico e il dossier del produttore ed esprimono su un altro modulo online un giudizio personale circa il valore della tecnologia proposta per il SSR, attribuendo punteggi ed esprimendo commenti per ciascuna delle 8 dimensioni valutative. I giudizi personali di priorità vengono assemblati in una bozza di Giudizio di Priorità (GP), predisposto applicando un metodo di Analisi Decisionale a Dimensioni Multiple (ADDM) derivato dall’adattamento di uno strumento analitico⁽²⁰⁾sviluppato nell’ambito della collaborazione internazionale EVIDEM⁽²¹⁾, cui la DG Sanità partecipa dal 2010 anche tramite sperimenta- zioni dello strumento su farmaci⁽²²⁾e dispositivi (non pubblica- to). Il metodo consiste in un’elaborazione pre-specificata in due parti coordinate:

1. Indice di priorità per il SSR. L’analisi delle dimensioni valutative viene effettuata utilizzando un modello additivo lineare dei pesi normalizzati per i punteggi raccolti, per approssimare un indice sintetico del valore della tecnologia esaminata, in comparazione con l’insieme generico delle alternative in uso nel caso specifico.

2. Analisi qualitativa dei commenti. I commenti vengono

gDDG 14013/2009 del 15 dicembre 2009: Tariffe, criteri, regole di procedura e formato atteso per le valutazioni di tecnologie sanitarie (con allegati su Formazione e informazione, Aree prioritarie ricerca comparativa, Moduli valutazione studi).

Figura 3 Schermata del gestionale ope- rativo utilizzato dalla Direzione Generale Sanità della regione Lombardia per le valutazioni HTA, aperto alla pagina Assessment – Avvio della valutazione

“Dispositivi avanzati per il diabete mellito”.

(6)

assemblati, categorizzati e analizzati, producendo un rapporto descrittivo organizzato per dimensione valuta- tiva.

L’indicatore e l’analisi dei commenti vengono revisionati dai componenti del NVP-CI per verificare la coerenza tra i punteggi e i commenti raccolti per ciascuna dimensione valuta- tiva, con l’obiettivo di identificare incongruenze o aree meri- tevoli di esplorazione e verifica. Al termine l’indicatore e i commenti vengono approvati dal NVP-CI.

Durante il primo biennio di attività sono state effettuate valutazioni di priorità per l’eventuale introduzione di tre tecnolo-

gie interventistiche, due diagnostiche e due alimenti dietetici a fini speciali. La stima della popolazione interessata e della spesa potenziale a carico del SSR (al netto di eventuali scon- ti) è riportata nella tabella 3. Nessuna di queste tecnologie è stata approvata per le successive fasi di assessment e di appraisal, ovvero per la raccomandazione e l’adozione nel SSR. Una generica stima della spesa a carico del SSR evitata in seguito alla mancata approvazione di tariffe o altre modalità di rimborso ammonta a circa 37.400.000 di € per le tecnologie interventistiche, circa 27.500.000 € per le tecnologie diagnostiche e circa 2.600.000 € per gli alimenti die- Tabella 2 Elenco delle dimensioni (codificate da D1 a D8), utilizzate nella fase di valutazione di priorità, e dei cri- teri (codificati da C1 a C21) utilizzati nelle fasi di valutazione di assessment e appraisal (colonna centrale). Con la notazione G sono marcati i criteri giudicabili con metodo qualitativo (impatto positivo, neutro o nullo), i rima- nenti criteri sono valutabili con metodo semi-quantitativo (su scala orientata simil-Likert a cinque posizioni).

Contributi

Elenco dimensioni (D) per priorità Metodo di nella fase

e criteri (C) per assessment e appraisal appraisal di assessment

D1 Rilevanza generale

C1. Completezza e coerenza della base documentale C2. Rilevanza e validità della base documentale C3. Descrizione e gravità della malattia

C4. Dimensioni della popolazione C5. Obiettivi sanitari di ordine generale

C6. Descrizione della tecnologia e aree di beneficio D2 Sicurezza

C7. Miglioramento di sicurezza e tollerabilità D3-4 Efficacia teorica e pratica

C8. Miglioramento di efficacia in ricerca clinica (efficacy) e pratica clinica (effectiveness)

C9. Miglioramento di esiti riferiti dai pazienti (ERP)

C10. Linee guida cliniche, raccomandazioni di buona pratica, autorizzazioni e controlli

C11. Problematiche delle alternative tecnologiche in uso attuale D5 Impatto economico e finanziario

C12. Impatto finanziario diretto sul SSN (e sul paziente) C13. Costo-efficacia della tecnologia

C14. Impatto su altre spese

C15. Impatto sulla efficienza (costo-opportunità) dell’offerta (G) D6 Equità

C16. Impatto su equità e accessibilità delle prestazioni (G) D7 Impatto sociale ed etico

C17. Coerenza con gli indirizzi programmatori nazionali e regionali C18. Impatto sul bisogno sanitario (G)

C19. Pressione dei portatori di interesse (G) C20. Elementi di contesto storico-politico (G) D8 Impatto organizzativo

C21. Capacità del sistema e uso appropriato della tecnologia (G) Conduttori

valutazione

Esperti

Esperti, Produttori

Esperti Esperti, Produttori

Analisi decisionale a criteri multipli

(ADCM)

Analisi narrativa commenti

ADCM

Analisi narrativa commenti

Colonna di sinistra: gruppo di nominati o esperti con ruolo prevalente nella stesura di contributi per i criteri nella fase di assessment. Colonna di destra: metodo di analisi adottato per gruppi di criteri nella fase di appraisal.

(7)

tetici a fini speciali, per un totale stimato di 67.500.000 € di spesa teorica evitata. Queste stime di impatto finanziario per il SSR peraltro non hanno tenuto conto di possibili risparmi che alcune tecnologie valutate avrebbero potuto in linea teorica apportare in virtù di risparmi in altri settori. In questi casi tale risparmio “promissorio” non è stato stimato con certez- za per la scarsità di documentazione scientifica di efficacia, che di fatto non consentiva di raggiungere un adeguato consenso professionale sull’effettiva sostituzione di tecnologie ed esponeva quindi a costi aggiuntivi certi in assenza di di - sinvestimenti, e perché è stato considerato di natura solo aleatoria, in mancanza di verifiche tramite registri prospettici e di modalità di rimborso collegate a esiti clinici (payment by result e altre forme di rimborsi condizionali) effettivamente praticabili.

Altre tecnologie sono tuttora in corso di valutazione di priori- tà dopo richiesta da parte dei produttori.

La seconda fase di valutazione consiste nella valutazione tecnica o assessment, è a carico degli esperti di volta in volta identificati in funzione delle tecnologie in esame ed è prepa- ratoria per la terza e ultima fase di valutazione della appro- priatezza d’uso (appraisal). Obiettivo dell’assessment è la produzione di un rapporto strutturato a criteri multipli, deno- minato Stima di Impatto Multidimensionale (SIM), che possa informare la successiva valutazione di appraisal.

In preparazione dell’assessment vengono sempre consultati tutti i produttori e possono essere consultate Società Scientifiche e Associazioni di pazienti, volontari e cittadini. A tale scopo la DG Sanità contatta i rappresentanti per i rapporti istituzionali dei produttori (inclusi i competitor diretti o indiretti) per comunicare l’obiettivo della valutazione, racco- gliere commenti e richiedere documentazione pertinente.

Nella tabella 1 sono elencate le attività condotte dagli esperti indipendenti, i nominativi dei quali non vengono resi pub-

blici prima del termine dell’assessment per minimizzare traf- fici di influenze. Nell’ottica di migliorare l’efficienza del processo, il gruppo di esperti verifica l’esistenza e la qualità di rapporti HTA di altre organizzazioni, di revisioni sistematiche e altra documentazione attendibile che possa essere riutiliz- zata, nel rispetto delle condizioni d’uso stabilite dagli autori.

Particolare attenzione è data alla selezione di tutti i comparatori necessari per una valutazione completa ed equilibra- ta. I rapporti prodotti da centri di ricerca e dipartimenti uni- versitari italiani e commissionati dai produttori possono essere utilizzati previa verifica indipendente della qualità del lavoro. Le informazioni consegnate dai produttori vengono verificate dal gruppo di esperti. La Banca Dati Assistito (BDA) disponibile nel data warehouse regionale, in cui sono registrati i dati sanitari amministrativi provenienti dagli archi- vi dei ricoveri, della specialistica ambulatoriale e numerosi altri, viene consultata per verificare retrospettivamente i pat- tern di utilizzo e/o per stimare la numerosità della popolazione o delle sottopopolazioni specifiche potenzialmente interessate alla nuova tecnologia.

La SIM a 21 criteri viene costruita raccogliendo su moduli elettronici i contributi dei soli conduttori della valutazione (2 o 3 persone nominate nelle commissioni regionali o individua- te nel gruppo di esperti) per i primi due criteri valutativi (colonna di sinistra della tabella 2), dei soli esperti per i criteri C3-4-5 e C19-20 e infine sia degli esperti sia di ciascuno dei produttori eventualmente interessati per i rimanenti criteri. In tabella 4 è esemplificata la descrizione di un criterio. Di norma solo per una parte dei criteri è disponibile documentazione scientifica attendibile. Quando ciò non accade la stima del valore dell’intervento e dei comparatori viene attribuita sulla base dell’analisi di dati raccolti ad hoc oppure del consenso tra gli esperti.

La terza fase di valutazione è costituita dalla valutazione di

Tabella 3 Elenco di tecnologie di cui è stata determinata la priorità per il SSR durante l’avvio del programma di valutazione HTA.

Tecnologie proposte alla valutazione di priorità Stima popolazione Stima di

per il SSR (2010-2011) in Lombardia interessata, spesa a carico

in pazienti/anno del SSR, in € Stimolatori barocettori carotidei per ipertensione arteriosa

resistente a farmaci 900 22.800.000

Sistema di massaggiatore termomeccanico

per lombalgia acuta 200.000 14.000.000

Protesi peniene per disfunzione erettile postoperatoria 50 600.000 Test genomico predittivo USA di recidiva in alcuni pazienti

con tumore mammella operato 3.600 11.500.000

Test genomico predittivo EU di recidiva in alcuni pazienti

con tumore mammella operato 6.000 16.000.000

Alimento dietetico a fini speciali per interventi di chirurgia

oncologica gastrointestinale 15.000 2.000.000

Alimenti dietetici a fini speciali per Parkinson in terapia

con Levodopa 800 600.000

(8)

hwww.sanita.regione.lombardia.it, menu: Qualità e controllo, sezione: Valutazione tecnologie.

appropriatezza d’uso o appraisal ed è a carico dei nomina- ti nel TTRAM. L’obiettivo è fornire informazioni di qualità per rendere più robuste, coerenti, trasparenti e verificabili le decisioni di competenza della programmazione regionale e della gestione aziendale, in modo da massimizzare i guada- gni di salute per la popolazione e nel contempo minimizzare il costo opportunità, ovvero quel valore in termini di salute che occorre sacrificare per poter reindirizzare le risorse, finanziarie e organizzative, verso altre scelte ritenute più appropriate.

Per giudicare l’uso appropriato di tecnologie sanitarie occor- rono analisi e sintesi operative in grado di tener conto il più possibile di tutti i numerosi fattori in gioco. Alcune giurisdizioni si affidano a misure composite e derivate, tra le quali il rapporto incrementale di costo ed efficacia (RICE) è quella più diffusa e meglio conosciuta⁽²³⁾sebbene non sia priva di con- traddizioni⁽²⁴⁾. Le valutazioni condotte dal NICE nel Regno Unito, per esempio, utilizzano soprattutto questo metodo.

Altre giurisdizioni adottano metodi di valutazione basati su un numero variabile di criteri, tra i quali anche il costo e l’efficacia, verificati (assessment) e interpretati (appraisal) sin- golarmente riguardo all’importanza relativa e al contributo che ciascun criterio apporta alla misura finale del valore della tecnologia nel contesto in cui questa è esaminata. Una valutazione condotta dall’agenzia canadese di HTA (CADTH), per esempio, ha coinvolto 23 esperti nazionali in un approccio di Analisi Decisionale⁽²⁵⁾a Criteri Multipli (ADCM) per ridi- stribuire l’uso appropriato del radioisotopo medico Tecnezio 99^mtra 24 utilizzi clinici (l’80% del normale carico di lavoro di una unità di medicina nucleare)⁽²⁶⁾. In questo tipo di analisi^(27-

30)è necessario tener presente considerazioni, sia normative (cosa deve essere fatto) sia di fattibilità (cosa si può fare), rese esplicite tramite:

– definizione di criteri misurabili, non ridondanti e di ordine universale;

– adozione di un modello di analisi decisionale chiaro, documentabile e riproducibile, quale supporto (e non surrogato) di decisioni.

Qualunque siano l’insieme di criteri e sottocriteri e il modello di analisi decisionale adottati, è importante che ciascun ele- mento possa essere ricondotto a costrutti valutativi di rico-

nosciuto valore e prodotti da reti collaborative internazionali, per esempio la nascente rete europea di HTA sostenuta dalla Comunità Europea nell’ambito dei progetti EUnetHTA⁽³¹⁾, la collaborazione internazionale EVIDEM e altre. L’adozione di un insieme di criteri operabili nel contesto italiano e ricondu- cibili ai costrutti internazionali è mirata a facilitare sia il riutiliz- zo in Lombardia di rapporti e studi condotti in altri contesti, per esempio presso diverse regioni, sia il contributo regionale a rapporti e studi di valenza nazionale e internazionale.

Per l’appraisal delle tecnologie sanitarie la DG Sanità Lombardia ha quindi sviluppato:

– un insieme di criteri costituito da una gerarchia di dimensioni, criteri, sottocriteri e quesiti, riferita agli analoghi componenti dei Core Model⁽³²⁾di EUnetHTA;

– un modello di analisi decisionale a criteri multipli derivato dalla matrice multidimensionale MCDA⁽³³⁾di EVIDEM.

Nella tabella 1 sono elencate le attività condotte dai componenti della commissione regionale TTRAM. Mentre il giudizio di priorità viene limitato alla macroanalisi delle 8 dimensioni valutative, per l’analisi decisionale sull’appropriatezza d’uso vengono considerati i 21 criteri, suddivisi in due gruppi:

a. l’importanza relativa dei 15 criteri valutativi considerati misurabili su scala ordinata (definiti criteri estrinseci) viene stabilita tramite l’operazione di pesatura preventiva specifica effettuata da parte di ciascun componente del TTRAM. Successivamente i valutatori consultano il rapporto strutturato (SIM) in cui il gruppo di esperti ha sintetizzato le informazioni credibili per l’intervento e i comparatori in esame (e che riporta le informazioni eventualmente consegnate dai produttori), e attribuiscono punteggi (su una scala ordinata a 4 valori pre-specificati) e commenti a testo libero per ciascuno dei 15 criteri;

b. i rimanenti 6 criteri non sono considerati misurabili e ven- gono denotati come intrinseci perché la loro valutazione non può prescindere dal contesto, dalla cultura e dalle preferenze degli specifici valutatori. In questo caso si procede direttamente alla raccolta di giudizi espressi in forma qualitativa, ovvero: impatto negativo, neutro o positivo per il SSR. Anche questi criteri vengono argo- mentati con commenti a testo libero.

Per l’analisi decisionale a criteri multipli si procede in modo analogo a quanto descritto per la fase di priorità, tramite una elaborazione pre-specificata condotta sui 15 criteri compu- tabili e sui 6 criteri solo giudicabili in termini qualitativi.

L’analisi decisionale viene portata all’esame e all’approvazione della D.G. Sanità e quindi inserita nel sito web regionale^h per la consultazione pubblica e ne viene data informazione tramite newsletter “NoiSanità” (per professionisti della salute) e “Sanità in forma” (per cittadini e pazienti). Contestualmente la decisione viene comunicata al produttore, ai produttori concorrenti e ad altre entità interessate che possono produr- re una richiesta motivata di appello contro la decisione di appraisal. Questa viene esaminata dai conduttori del proget- to valutativo per eventuale riconsiderazione del giudizio. La decisione viene infine adottata con atto regionale.

Tabella 4 Esempio di descrizione di uno dei 21 cri- teri utilizzati per le valutazioni di tecnologie sanitarie in regione Lombardia.

C9. Miglioramento di esiti riferiti dai pazienti (ERP): capacità della tecnologia proposta di deter- minare cambiamenti positivi negli esiti (outcome) riportati dai pazienti (ERP) (per es. qualità della vita) oltre e al di là dei cambiamenti positivi misurati con parametri clinici, fisiologici o genomici. Include anche miglioramenti nella convenienza per i pazienti e nell’aderenza dei medesimi al trattamento.

(9)

Applicazioni in diabetologia

Anche nelle pubblicazioni scientifiche in area diabetologica il tema HTA è molto periferico: in tabella 5 è riportato l’elenco di riviste biomediche che hanno pubblicato più di un articolo indi- cizzato dalla NLM con i MeSH Diabetes e Technology Assessment, Biomedical (su un totale di 60 articoli indicizzati con entrambi i termini). Peraltro alcune giurisdizioni hanno realizzato completi rapporti di HTA oppure documentazioni post- registrative e comparative tra tecnologie concorrenti nella forma di revisioni sistematiche o narrative della letteratura. Di seguito vengono riportati i contributi più recenti e significativi.

Il NICE, istituto nazionale per l’eccellenza clinica del Regno Unito, negli ultimi 5 anni ha prodotto 4 rapporti di HTA su di - spositivi o farmaci per il diabete: un rapporto sui microinfusori⁽³⁴⁾, due su farmaci per la degenerazione maculare della retina nei pazienti diabetici^(35,36) e uno sull’exenatide⁽³⁷⁾. Ciascun rapporto è stato seguito da raccomandazioni per l’utilizzo appropriato sul territorio dell’Inghilterra e del Galles e, previa revisione da parte delle autorità sanitarie regionali, sul territorio dell’Irlanda del Nord e della Scozia. In questo senso, oltre che per le modalità di realizzazione dei rapporti (che non sono limitate alla produzione di revisioni sistematiche della letteratura disponibile) l’esempio britannico, nel suo complesso, rappresenta il più completo e verosimilmente

l’unico programma di HTA al mondo effettivamente inserito nella programmazione e nella gestione sanitaria.

In Canada l’agenzia federale per i farmaci e la valutazione delle tecnologie (CADTH) realizza rapporti sintetici che, pur essendo basati solo su ricerche bibliografiche non estensive e analisi non sistematiche, forniscono informazioni utili per la programmazione e la gestione sanitaria e quindi per vere atti- vità di HTA. Due di questi rapporti riguardano i microinfusori per pazienti con diabete in età pediatrica⁽³⁸⁾e nell’adulto⁽³⁹⁾. La AHRQ, agenzia federale USA per la ricerca e la qualità dell’assistenza sanitaria, nell’ambito del programma Effective Health Care ha realizzato tre revisioni sistematiche con l’obiettivo di acclarare l’efficacia comparativa di farmaci^(40,41) e dispositivi biomedici, in particolare una revisione dei nuovi dispositivi per il diabete: microinfusori, monitoraggi automa- tizzati e sistemi combinati microinfusore-monitoraggio in età pediatrica e nell’adulto⁽⁴²⁾, revisione che è probabilmente il più completo e accurato rapporto disponibile sulla materia.

Sebbene in Italia valutazioni HTA o revisioni della letteratura propedeutiche a valutazioni di HTA in area diabetologica non siano state realizzate prima del 2012, da alcuni anni indirizzi generali ed esperienze locali hanno realizzato revisioni narrative o anche sistematiche delle conoscenze per alcune solu- zioni tecnologiche in commercio.

Fin dal 2008 l’Istituto Superiore di Sanità in collaborazione con un gruppo multidisciplinare di esperti di numerose socie- tà scientifiche nell’ambito del progetto IGEAⁱha realizzato e aggiornato^l un documento di indirizzo per la gestione integrata del diabete mellito di tipo 2 nell’adulto, comprensivo di analisi sistematiche della letteratura disponibile, di un insieme di indicatori per la misura dei percorsi clinico-assistenziali e di un dizionario dati per l’implementazione di monitoraggi della gestione integrata del diabete⁽⁴³⁾.

L’Agenzia sanitaria e sociale regionale della regione Emilia- Romagna nell’ottobre 2012 ha pubblicato un rapporto sintetico sui dispositivi per l’infusione continua della terapia insu- linica (CSII), per il monitoraggio continuo della glicemia (CGM) e sui sistemi semi-integrati (SAP), comprensivo della descrizione delle tecnologie, di una ricerca sistematica di rapporti di Health Technology Assessment (HTA), di Horizon Scanning (HS) e di linee guida sulla materia e di una descrizione dell’impatto ipotizzabile riguardo agli aspetti clinici, economici, organizzativi ed etico-sociali⁽⁴⁴⁾.

Nel 2012 la AGENAS in collaborazione con alcune regioni ha realizzato per conto del Ministero dalla Salute una valutazione tecnica⁽⁴⁵⁾ (assessment), per determinare la sostenibilità e acclarare i miglioramenti in termini di salute e qualità di vita, nei bambini e adolescenti affetti da diabete, dei nuovi sistemi combinati microinfusore-sensore continuo (SAP). Per la valutazione sono state effettuate una revisione sistematica della letteratura e una analisi di contesto delle regioni partecipanti.

Due diabetologi hanno contribuito alla revisione del rapporto.

Un gruppo di studio di tre società scientifiche italiane in area diabetologica ha recentemente sintetizzato alcune considera-

i Versione estesa del progetto disponibile senza oneri all’indirizzo: http://www.epicentro.iss.it/igea/default.asp

l Ultimo aggiornamento marzo 2012, revisione prevista 2014.

Tabella 5 Elenco di riviste biomediche che hanno pubblicato più di un articolo indicizzato dalla NLM con entrambi i MeSH “Diabetes” e “Technology Assessment, Biomedical” dal 1991 a oggi, ordinato per frequenza di articoli così indicizzati.

Titolo rivista N articoli

International journal of technology

assessment in health care 4

Tecnologica. MAP supplement.

Blue Cross and Blue Shield Association 4 Diabetes technology & therapeutics 3 Health technology assessment

(Winchester, England) 3

Issues in emerging health technologies 3 Expert review of medical devices 2

Health devices 2

Health policy (Amsterdam, Netherlands) 2 JAMA : the journal of the American

Medical Association 2

Ophthalmology 2

The American journal of nursing 2 The Medical journal of Australia 2

(10)

zioni a completamento della valutazione tecnica condotta da AGENAS, auspicando un maggiore coinvolgimento di esperti del settore nelle attività di valutazione delle tecnologie⁽⁴⁶⁾. La Commissione Nazionale Diabete presso il Ministero della Salute ha prodotto il Piano sulla malattia diabetica⁽⁴⁷⁾, presen- tato il 15 gennaio 2013. Nel documento vengono sottolineate l’opportunità di affrontare sistematicamente le problematiche gestionali e organizzative assieme alle logiche e agli aspetti tecnico-professionali, e la necessità di procedere a una esat- ta valutazione di quanto viene proposto come innovativo (che non sempre significa novità), unita a una valutazione del peso dei benefici per il paziente e, più in generale, per il sistema sanitario. Nel documento viene citato uno dei rapporti di HTA realizzato per NICE nel Regno Unito e vengono proposti alcuni obiettivi che corrispondono alla sostanza delle valutazioni comparative, sia registrative sia post-registrative.

La Direzione Generale Sanità della regione Lombardia ha avviato nel novembre 2012 una valutazione per l’uso appropriato dei nuovi dispositivi per il diabete in età pediatrica e negli adulti secondo le modalità descritte nella sezione precedente.

Per la fase di assessment verranno utilizzati tutti i rapporti sopra richiamati, oltre a documentazione richiesta a tutti i produttori e a contributi da parte di esperti multiprofessionali e multidisciplinari. Per la fase di appraisal sono state predispo- ste tre analisi decisionali a criteri multipli basate su altrettante comparazioni per le proposte innovazioni rispetto ai rispettivi standard (CCSI vs MDI, CGMS vs SBGM, SAP vs MDI+CGM), suddivise in età pediatrica e adolescenziale e negli adulti.

Conflitto di interessi

Nessuno.

Bibliografia

1. Shatto JD, Clemens MK. Projected medicare expenditures under an illustrative scenario with alternative payment updates to medicare providers. Washington, DC: Centers for Medicare &

Medicaid Services, Office of the Actuary 2011. Disponibile all’indirizzo: http://www.cms.gov/research-statistics-data-and-systems/statistics-trends-and-reports/reportstrustfunds/

downloads/2012tralternativescenario.pdf

2. Woolf SH, Aron L, eds; National Research Council and Institute of Medicine. U.S. health in international perspective. Shorter lives, poorer health. Panel on understanding cross-national health differ- ences among high-income countries. Committee on Population, Division of Behavioral and Social Sciences and Education, and Board on Population Health and Public Health Practice, Institute of Medicine. Washington, DC: National Academies Press 2013.

http://www.nap.edu/catalog.php?record_id=13497

3. Woolf SH, Aron LY. The US health disadvantage relative to other high-income countries: Findings from a National Research Council/Institute of Medicine Report. JAMA 2013;10:1-2.

4. Foster SR. Centers for Medicare & Medicaid Services, Office of the Actuary. Estimated financial effects of the “patient protection and affordable care act,” as amended. Washington, DC: US Dept of Health and Human Services 2010. Disponibile all’indirizzo: http://www.cms.gov/Research-Statistics-Data-and-Systems/

Research/ActuarialStudies/downloads/PPACA_2010-04-22.pdf 5. Berwick DM, Hackbarth AD. Eliminating waste in US health

care. JAMA 2012;307(14):1513-6.

6. Uscire dalla crisi: chiarezza sui numeri della sanità. Conferenza stampa del Ministro della Salute Prof. Renato Balduzzi. 19 dicembre 2012. Presentazione disponibile all’indirizzo:

http://www.quotidianosanita.it/allegati/allegato5272540.pdf 7. Redazionale Quotidiano Sanità 19 dicembre 2012. I conti della

sanità. L’operazione verità di Balduzzi. Il Ssn ce la può fare ma serve condivisione con le Regioni. A fine anno i Lea. Disponibile all’indirizzo: http://www.quotidianosanita.it/governo-e-parlamento/

articolo.php?articolo_id=12646

8. Cicchetti A. Lo Health Technology Assessment tra innovazione e disinvestimento. Il Sole 24 supplemento Sanità, 5 marzo 2012.

9. Carta di Trento sulla valutazione delle tecnologie sanitarie in Italia (28 marzo 2006). Disponibile all’indirizzo:

http://www.sihta.it/carta-di-trento.

10. Ricciardi W, Agostinelli A, La Torre G, Cicchetti A, Derrico P, Patarnello F (ViHTA Project Team). Primo Libro Bianco sull’Health Technology Assessment in Italia. Progetto ViHTA. Valore in Health Technology Assessment. 2010. Disponibile all’indirizzo: http://

www.panoramasanita.it/docs/Primo_Libro_Bianco_HTA.pdf 11. Cicchetti A, Marchetti M. Manuale di Health Technology

Assessment (2010). Roma: Pensiero Scientifico Editore.

12. Ricciardi W, La Torre G. Health Technology Assessment: princi- pi, dimensioni e strumenti. Torino: Edizioni Seed 2010.

13. Gruppo di lavoro AIES (coordinato da Giovanni Fattore). Proposta di linee guida per la valutazione economica degli interventi sanita- ri in Italia. Pharmaeconomics 2009;11(2):83-93.

14. AgeNaS. Health Technology Assessment (2009). Monitor 2009;

23 (suppl 4). Disponibile all’indirizzo: http://www.agenas.it/

monitor/supplementi/Quaderno_HTA.pdf

15. Banfi F, Patarnello F. Budget Impact Analysis (BIA): istruzioni per l’uso. Health Technology Assessment & Clinical Safety, Glaxo SmithKline 2007.

16. Guide to the methods of technology appraisal. NICE - National Institute for Health and Clinical Excellence, giugno 2008.

Disponibile all’indirizzo: http://www.nice.org.uk/aboutnice/

howwework/devnicetech/guidetothemethodsoftechnologyappr aisal.jsp

17. Kristensen FB, Sigmund H, eds. Health Technology Assessment Handbook. Copenhagen: Danish Centre for Health Technology Assessment, National Board of Health 2007. Disponibile all’indirizzo: http://www.sst.dk/English/DACEHTA/Toolbox.aspx 18. The Canadian Agency for Drugs and Technologies in Health

(CADTH). Guidelines for Authors of CADTH Health Technology Assessment Reports. June 2001 Revised May 2003.

19. Marshall DA, Douglas PR, Drummond MF, Torrance GW, Macleod S, Manti O et al. Guidelines for conducting pharmaceutical budg- et impact analyses for submission to public drug plans in Canada.

Pharmacoeconomics. 2008;26(6):477-95.

20. Goetghebeur MM, Wagner M, Khoury H, Rindress D, Grégoire JP, Deal C. Combining multicriteria decision analysis, ethics and health technology assessment: Applying the EVIDEM decision- making framework to growth hormone for Turner syndrome patients. Cost Effectiveness and Resource Allocation 2010;8:4.

Disponibile all’indirizzo: http://www.resource-allocation.com/

content/8/1/4

21. Evidence and Value: Impact on DEcisionMaking. Disponibile all’indirizzo: https://evidem.org/

22. Vecchio S, Stramba-Badiale M, Dellagiovanna M, Strada A, Tringali M. Analisi decisionale a criteri multipli: sperimentazione