Al fine di verificare la possibilità di utilizzo e l’efficacia del servizio web come effettivo strumento di supporto al lavoro dei radiologi, sono stati realizzati
L’idea è stata di utilizzare esami provenienti direttamente dalla pratica clinica, realizzati quindi all’interno delle strutture stesse, da sottoporre al CAD M5L tramite la procedura spiegata nel paragrafo precedente.
Il primo test è stato effettuato presso l’Ospedale Sante Croce di Cuneo, grazie alla collaborazione della Fisica Sanitaria e di un medico radiologo. Utilizzando il servizio web sono stati inviati all’analisi del CAD 14 CT di pazienti dell’ospedale.
Gli esami provengono da un progetto di screening per tumore al polmone realizzato all’interno della struttura. I pazienti partecipanti sono stati sotto- posti ad una tomosintesi [46] come esame di “baseline” e successivamente, in caso di esito positivo, sono stati richiamati per due CT di verifica.
Gli esami utilizzati provengono dal primo round di verifica e sono quindi forniti sia della refertazione realizzata per la tomosintesi, sia di quella relativa all’esame CT stesso.
In origine il numero di esami presi in considerazione era maggiore di 14, ma alcuni sono stati esclusi successivamente in quanto acquisiti in condi- zioni particolari o poichè presentavano problemi tecnici. Sui 14 casi presi in considerazione, l’analisi del CAD è sempre stata portata a termine con successo.
In media, ogni esame è costituito da circa 70 sezioni, con uno spessore di fetta di 5mm e pixel di 0, 71mm.
Dopo l’invio e l’elaborazione di tutti gli esami tramite il servizio web, i risultati sono stati controllati con l’ausilio del radiologo. I findings del CAD sono stati sia confrontati con le refertazioni di CT e tomosintesi, sia controllati singolarmente.
I findings del CAD sono stati visualizzati attraverso l’apposito plugin di Osirix, mostrato nella Figura 43. Come è visibile nella figura, tramite il plugin è possibile variare la soglia della probabilità per i findings che vengono visualizzati, mentre nel report .pdf dei risultati la soglia è fissa al 25%.
Per coerenza tra le due modalità di visualizzazione, si è scelto di utilizzare la stessa soglia per la selezione dei findings attraverso il plugin.
Questa scelta trova comunque, a posteriori, anche un riscontro pratico: fissando la soglia al 25% il numero di findings mostrato, rispetto a qualche centinaio trovati i media per ogni esame, risulta essere dell’ordine di 15 − 20. Nell’ottica dell’utilizzo del servizio web nella normale pratica diagnostica, un tale numero di findings da esaminare può risultare un buon compromesso tra la possibilità di miglioramento della refertazione e il tempo richiesto per eseguirla.
Un numero maggiore di findings verosimilmente, a fronte possibili miglio- ramenti della refertazione, potrebbe essere poco gradito dal medico chiamato a verificarli e indurlo a terminare la verifica prima di aver esaminato tutti i findings.
Per quanto riguarda i 14 esami considerati, poichè sono stati chiamati ad eseguire la CT soltanto i pazienti trovati positivi tramite la tomosintesi di baseline, quasi tutti i soggetti presentano uno o più noduli chiaramente iden- tificabili. E’ stato quindi generalmente possibile accoppiare senza ambiguità i noduli annotati nelle refertazioni con i rispettivi findings del CAD. Nei pochi casi dubbi, un paio sul totale dei noduli, si è fatto riferimento all’opinione del radiologo presente.
Dopo aver verificato se i noduli annotati nelle refertazioni fossero stati individuati dal CAD, i restanti findings sono stati esaminati uno ad uno dal radiologo.
La Tabella 10 e la Tabella 11 riportano i risultati ottenuti.
Nella Tabella 10 sono riportati i findings, con probabilità maggiore del 25%, trovati dal CAD per ogni caso. Ogni candidato nodulo è stato con- teggiato come vero positivo (TP) se corrispondeva con un nodulo annotato nelle refertazioni o è stato giudicato come tale dal radiolgo, altrimenti è stato considerato come falso positivo (FP).
In media, ogni esame CT contiene 2T P e 11F P .
Tali valori, in linea con quanto discusso sopra, in prima analisi possono risultare ragionevoli per utilizzare il servizio come supporto alle refertazioni senza richiedere un eccessivo aumento del tempo di refertazione.
La Tabella 11 riporta invece, per ogni esame, rispettivamente il numero di noduli annotati nelle refertazioni, quello di findings che sono risultati coin- cidenti con uno di essi, il numero di findings relativi a noduli non presenti nelle refertazioni ma giudicati essere tali dal radiologo e, infine, il numero di noduli presenti nelle refertazioni ma non trovati dal CAD.
Come si può osservare sono stati trovati 21 dei 27 noduli segnalati all’in- terno delle refertazioni, pari ad una percentuale di ' 78%.
In aggiunta il CAD ha segnalato 8 noduli, confermati come tali dal radiologo, non presenti all’interno delle refertazioni.
In sei casi invece un nodulo annotato dai radiologi non è stato trovato dal CAD. Su questi noduli è possibile però fare alcune considerazioni.
Due di essi sono stati effettivamente trovati dal CAD, ma con una pro- babilità molto bassa (< 10%). Questo ha reso di fatto impossibile il loro
Tabella 10: Tabella di sintesi dei risultati ottenuti tramite il servizio web di CAD sui 14 esami forniti dall’Ospedale di Cuneo. La seconda colonna riporta il numero di findings con probabilità > 25% trovati dal CAD, la terza e la quarta quanti si sono rivelati essere veri positivi e quanti falsi positivi.
Tabella 11: Tabella di sintesi dei risultati ottenuti tramite il servizio web di CAD sui 14 esami forniti dall’Ospedale di Cuneo. Per ogni caso sono riportati il numero di findings che sono stati confermati tramite le refertazioni, il numero di noduli trovati in aggiunta alle refertazioni e infine quello dei noduli refertati che però non sono stati trovati dal CAD.
Figura 47: Esame, realizzato presso l’Ospedale di Cuneo, con nodulo di dimensioni macroscopiche non riconosciuto dal CAD.
tro esame è stato riscontrato un nodulo, più precisamente una opacità, di dimensioni macroscopicamente maggiori rispetto alla media, come possibile osservare nella Figura 47.
Le motivazioni per cui tale nodulo non è stato rilevato sono diverse per i due sistemi. Nel caso del CAD VBNA il nodulo è stato escluso nella seg- mentazione effettuata per la riduzione di falsi positivi dove, come spiegato nel Paragrafo 2.5, sono eliminati i candidati noduli troppo grandi o troppo piccoli.
Per quanto riguarda invece il CAD CAM il nodulo, date le dimensioni, è stato escluso durante la fase di segmentazione iniziale insieme alle strutture anatomiche.
Il mancato rilevamento non pregiudica comunque la diagnosi in quan- to è decisamente inverosimile che un’anomalia di tali dimensioni non venga riconosciuta da un radiologo.
Infine un ulteriore nodulo “mancato” dal CAD è stato valutato come non rilevante dal radiologo.
Complessivamente, ricapitolando, risulta che il totale di noduli presenti all’interno degli esami è 35: 27 annotati all’interno delle refertazioni e 8 aggiunti in seguito all’analisi con il CAD.
Avendo riconosciuto 29 noduli su 35, per il CAD è possibile stimare una sensibilità di ' 83% a 11F P s/scan. Quella dei radiologi, calcolata dalle
Tali risultati sono molto interessati, a maggior ragione considerando la doppia refertazione effettuata su ogni esame tra baseline e CT. Dal confronto dei valori numerici di conteggi e sensibilità risulta come il CAD possa essere sostanzialmente considerato a livello di un radiologo. Questa considerazio- ne è già stata formulata all’interno del Paragrafo 6.3 e trova qui maggiore sostegno.
Inoltre, la complementarietà tra CAD e radiologi riscontrata su un por- zione significativa di noduli (circa il 20% del totale) avvalora l’utilizzo del programma come seconda lettura per il miglioramento delle refertazioni dei radiologi.
Si noti che il valore ' 83% a 11F P s/scan ottenuto per la sensibilità è
sostanzialmente in linea a quanto ottenuto sul databse LIDC-IDRI e riportato nel Paragrafo 5.4.
Nel complesso i risultati attualmente ottenuti sono stati valutati posi- tivamente da radiologi provenienti da diverse strutture, che hanno fornito disponibilità per proseguire ed ampliare il lavoro di test del sistema.
I centri che hanno fino ad ora aderito a questa fase di sperimentazione sono l’Ospedale di Cisanello a Pisa, il Niguarda di Milano e il Fatebenefratelli dell’Isola Tiberina a Roma.
L’Ospedale di Cuneo sta intanto procedendo con l’upload di esami di esami sempre provenienti dal programma di screening tramite tomosintesi, per un totale di 132 casi disponibili.
Parte IV:
Conclusioni
8
Conclusioni
Il lavoro svolto in questa tesi riguarda il test di due sistemi CAD per l’indi- viduazione automatica di noduli polmonari all’interno di esami CT, il CAD VBNA e il CAD CAM, e l’implementazione della loro combinazione (CAD M5L) all’interno di un servizio web di CAD on-line.
Dalla validazione del CAD VBNA e del CAD M5L sui 1018 casi del data- base internazionale LIDC-IDRI sono emersi risultati interessanti, sia a livello di sensibilità sia a livello della stabilità di funzionamento. Nello specifico i valori di sensibilità ottenuti dal CAD M5L sono molto buoni, conferman- do come la combinazione di sistemi con modalità di funzionamento diverse permetta un incremento delle prestazioni rispetto agli stessi sistemi presi singolarmente.
Il test clinico di utilizzo del CAD M5L come secondo lettore sui 50 casi del database ANODE09 ha invece evidenziato come, a seguito dell’utilizzo del CAD, siano stati rilevati noduli significativi non riconosciuti dai radiologi durante la prima refertazione.
Dal confronto, sempre sui 50 casi del database ANODE09, tra il CAD M5L e il CAD commerciale Lung Care della SIEMENS (CAD LCS), è risul- tata evidente la carenza di prestazioni e praticità di utilizzo di tali sistemi commerciali.
Tutte le liste di annotazioni e findings ottenute sui casi di ANODE09 sono state inviate ai curatori del database perchè siano confrontate con il gold standard dello stesso. Al momento siamo in attesa di risposta.
Infine, la possibilità di utilizzo del CAD M5L come supporto al lavoro dei radiologi e stata concretizzata con la sua implementazione all’interno di un servizio web di CAD on-line. Tale servizio consente di far analizzare al CAD esami CT polmonari, grazie ad un approccio di Cloud Computing, utilizzando semplicemente un browser ed una connessione ad Internet.
Questo approccio rappresenta un punto di originalità rispetto all’utilizzo di CAD installati su consolle fisse nei reparti di radiologia, che devono essere condivise tra tutti gli utilizzatori e per tutte le applicazioni possibili della macchina CT a cui sono collegate. L’obiettivo è fornire un sistema con elevate prestazioni e che consenta di migliorare semplicità e flessibilità di utilizzo.
Attualmente il servizio è in fase di test presso diversi centri ospedalieri. Sono già disponibili i risultati ottenuti su 14 esami, refertati in prece- denza, provenienti dall’ospedale di Cuneo. Su tali esami la sensibilità del
CAD risulta in linea con quanto ottenuto sul database LIDC-IDRI e migliore rispetto a quella stimabile per i radiologi.
Complessivamente i risultati ottenuti fino ad ora dal CAD M5L possono essere considerati indicativi della stabilità di funzionamento e dell’efficacia di utilizzo come supporto al lavoro di refertazione.
Dalle esperienze dirette effettuate con il radiologo di Cuneo è risultato evi- dente l’apprezzamento del medico per le indicazioni fornite dal CAD, che in diverse occasioni hanno permesso l’individuazione di noduli sfuggiti durante la refertazione.
In base a tali risultati e all’interesse mostrato nei confronti del web service, è prevedibile che tale servizio possa diventare a tutti gli effetti un efficace strumento al servizio del lavoro dei radiologi.
Ringraziamenti
Vi sono veramente molte persone che devo ringraziare per la collaborazione ed il supporto durante la realizzazione di questa tesi, mi scuso quindi per eventuali dimenticanze.
Innanzitutto vorrei esprimere la mia gratitudine alla Dott.ssa Maria Eve- lina Fantacci, per avermi seguito e consigliato durante tutto il lavoro e la stesura di questo testo.
Un grande ringraziamento al Dott. Piergiorgio Cerello (INFN di To- rino) e al Dott. Ernesto Lopez Torres (CAEDEN, Cuba), per la collabo- razione e l’aiuto su tutto quanto concerne il CAD CAM, la realizzazione del web service ed il suo utilizzo. Ugualmente voglio ringraziare anche il Dott. Niccolò Camarlinghi, per il supporto sull’utilizzo del CAD VBNA e la programmazione.
Vorrei quindi ringraziare i radiologi che hanno effettuato le refertazioni sui 50 casi del database ANODE09: Dott. G. Gallarato (Ospedale Santa Croce di Cuneo), Dott.ssa I. Zecca (Ospedale Fazzi di Lecce) e Dott.ssa D. Cataldo (Ospedale di Sanremo).
Devo un ulteriore ringraziamento al Dott. Gallarato per le preziose spie- gazioni sulle modalità di refertazione e per la collaborazione durante i test di utilizzo del web-service. Per lo stesso motivo voglio ringraziare il Dott. S. Chauvie e il Dott. E. Roberto (Fisica Sanitaria dell’Ospedale Santa Croce di Cuneo).
Un ringraziamento inoltre a tutte le persone ed ai radiologi che hanno collaborato per le varie fasi di test: il Dott. F. Falaschi (Ospedale di Cisanello a Pisa), il Dott. M. Torsello (Ospedale Fazzi di Lecce), la Dott.ssa R. Cataldo (Università del Salento e INFN di Lecce) e il Dott. M. Mascalchi ed il Dott. L. Sali (Ospedale di Careggi a Firenze).
Grazie anche alla Dott.ssa C. Carpentieri (ISS, Roma) per l’ospitalità e la disponibilità durante la mia breve visita.
Infine vorrei ringraziare tutte le persone che mi sono state accanto in questo percorso, specialmente Elisa e la mia famiglia.
A
Utilizzo plugin Osirix
A.1
Introduzione
Nei paragrafi che seguono sono descritte le istruzioni di utilizzo del plugin M5L per il visualizzatore DICOM Osirix, appositamente realizzato, nell’am- bito della collaborazione M5L dell’INFN, per la visualizzazione dei findings del CAD M5L. Questo plugin permette, oltre alla visualizzazione dei findings del sistema, di annotare noduli ed eseguire delle refertazioni direttamente sul visualizzatore Osirix.
Le istruzioni sono state scritte durante il test del CAD M5L come secondo lettore per la refertazione dei 50 casi del database ANODE09, come descritto nel Paragraf o 6.2 per quanto riguarda il terzo radiologo. Nello specifico quindi forniscono una guida per la realizzazione della refertazione iniziale e della successiva revisione tramite i findings del CAD, ma sono comunque valide per tutti i possibili ambiti di utilizzo del plugin.