Raccolte le refertazioni (senza e con l’ausilio del CAD) dei tre radiologi sui singoli esami, per ogni medico sono state realizzate due liste complessive di annotazioni utilizzando uno script apposito.
Prima di inviare i risultati ai curatori del database ANODE09 per l’analisi (come spiegato nel Paragrafo 1.9.2) si è provveduto a realizzare una serie di
Tabella 6: Numero di noduli annotati dai tre radiologi, sui 50 casi del database ANODE09, senza e con l’ausilio del CAD M5L.
I risultati sono raccolti nelle Tabelle 6 e 7: nella prima sono riportati il numero di noduli complessivamente annotati dai tre radiologi nelle due fasi della refertazione, nella seconda il numero di annotazioni coincidenti tra le refertazioni di ciascuna possibile coppia.
I numeri riportati nella Tabella 6 possono sembrare elevati, in considera- zione del fatto che sono stati ottenuti su 50 esami, come anche i 588 findings (con probabilità ≥ 5%) riportati dal CAD M5L. Bisogna però ricordare che, come spiegato nel Paragrafo 1.2, ogni polmone, anche se appartenente ad un soggetto “sano”, contiene qualche struttura nodulare. Principalmente tali strutture hanno caratteristiche benigne. Poichè i casi provengono da una popolazione a rischio, il numero di tali strutture è più elevato e vi è una maggiore probabilità che alcune presentino caratteristiche patologiche. Per questo motivo sono comunque rilevate e segnalate dai radiologi.
I confronti riportati nella Tabella 7 sono stati ottenuti tramite uno script apposito, analogo a quello utilizzato per la fusione dei findings del CAD con le refertazioni dei primi due radiologi. Sono considerati coincidenti i noduli con una distanza quadratica
dist = q (x1− x2) 2 + (y1− y2) 2 + (z1− z2) 2 ≤ 12pixel (21)
Tabella 7: Confronti tra le annotazioni, eseguite sia senza che con l’ausilio del CAD M5L, dei radiologi presi a coppie. Nell’ultima riga sono riportati i noduli coincidenti tra tutti e tre i radiologi.
Questa soglia sulla distanza è stata scelta considerando le distribuzioni delle distanze tra tutti i noduli annotati per ogni caso da ogni coppia di radiologi, riportate nella Figura 36 e nella Figura 37. Le distribuzioni sono state rica- vate calcolando la distanza tra ogni nodulo annotato dal primo radiologo e ogni nodulo annotato dal secondo, per ognuno dei 50 casi. In questo modo si ottengono delle distribuzioni che hanno un massimo vicino a zero, dato dalle distanze tra le coppie di noduli effettivamente coincidenti, e una coda a distanze elevate, costituita dai valori ottenuti su coppie di annotazioni che riguardano noduli diversi. La distanza a cui si trova il minimo, come si può osservare all’incirca a 12pixel, può quindi essere scelta come taglio minimiz- zando il rischio di escludere noduli effettivamente coincidenti o includerne coincidenze fasulle.
Osservando la Tabella 6 è possibile notare come i numeri di noduli anno- tati siano abbastanza dissimili nelle refertazioni iniziali, ma diventino molto simili al termine della revisione con l’ausilio del CAD.
Le differenze tra i radiologi 2 e 3, quelli che in entrambi i casi presentano numeri più diversi, sono di 134 noduli nella prima refertazione e di 57 a seguito della revisione tramite il CAD. Considerano i valori percentuali delle differenze rispetto ai valori medi si ottiene una differenza del 36% nel primo caso e del 13% nel secondo.
Nonostante le differenze, nella seconda colonna della Tabella 7 si può notare come il numero di noduli coincidenti tra le varie coppie di radiologi nelle refertazioni senza il CAD sia sostanzialmente lo stesso.
Questi risultati sono spiegabili considerando che non esiste una definizione univoca del concetto di nodulo e che la valutazione può variare da radiologo a radiologo a seconda dell’esperienza, dalla formazione e da molti altri fattori. I numeri paragonabili nei confronti a coppie dimostrano che vi è sicura- mente un gruppo di anomalie che tutti e tre i radiologi hanno rilevato e su cui concordano, probabilmente formata dai noduli più evidenti e con caratte- ristiche più tipiche, ma sulla restante parte le annotazioni variano a seconda del medico.
Dall’ultima riga della Tabella 7 è possibile vedere come i noduli su cui concordano tutti i radiologi, senza l’utilizzo del CAD, sono soltanto 62.
La Tabella 8 mostra invece il livello di accordo tra le refertazioni, eseguite senza l’ausilio del CAD, dei radiologi e i findings del programma: si può notare come i numeri siano paragonabili a quelli relativi all’accordo tra le coppie di radiologi. In questo senso è quindi ipotizzabile che il CAD possa
Figura 36: Distribuzione delle distanze tra i noduli annotati da ogni coppia di radiologi, utilizzando le refertazioni realizzate senza l’ausilio del CAD.
Figura 37: Distribuzione delle distanze tra i noduli annotati da ogni coppia di radiologi, utilizzando le refertazioni realizzate con l’ausilio del CAD.
Tabella 8: Numero di annotazioni coincidenti tra le refertazioni di ogni radiologo, eseguite senza l’ausilio del CAD M5L, e i findings dello stesso CAD.
essere considerato come un ulteriore radiologo, giustificando in parte il suo utilizzo come secondo lettore.
Il fatto che le refertazioni, a seguito dell’utilizzo del CAD, abbiano numeri di noduli annotati più paragonabili tra loro è da attribuirsi alla base comune fornita dai findings del programma.
Tale conseguenza può essere ovvia, ma l’aumento di noduli coincidenti tra le varie coppie a seguito dell’utilizzo del CAD, riportato nella Tabella 7, risulta meno banale.
Questo incremento indica che ogni radiologo, durante la prima analisi, non ha considerato alcune anomalie che sono comunque abbastanza significative da ricevere una valutazione analoga da almeno un altro radiologo.
Dall’ultima riga della Tabella 7 si può notare come anche i noduli su cui tutti i radiologi concordano passino da 62 a 78, con un incremento di oltre il 25%.
L’aumento medio di accordo tra le varie coppie, a seguito dell’utilizzo del CAD, risulta essere di circa il 19%.
Come raffronto, ricordiamo i dati riportati in [32] riguardo all’accordo tra i radiologi del database LIDC-IDRI sui casi dello stesso. Su 7371 lesioni annotate come nodulo (indipendentemente dalla dimensione) da almeno un radiologo, solo 1940 risultavano avere l’accordo di tutti i quattro radiologi.
L’esperienza diretta durante le refertazioni su questi esami (soprattutto per quanto riguarda il radiologo di Cuneo, di cui è stato possibile seguire sostanzialmente tutto il lavoro) ha mostrato come, nonostante la particolare cura con cui sono stati esaminati i casi, alcuni noduli rilevanti non siano stati individuati durante la prima lettura. Solo in seguito, con l’ausilio del CAD, il radiologo ha notato la presenza del nodulo.
Questo margine di errore è comunque sempre presente indipendentemente dall’esperienza o preparazione del radiologo, ed è la motivazione che spinge
ad adottare una metodologia di doppia lettura come strumento per migliorare la sensibilità delle refertazioni [48].