LIETUVOS SVEIKATOS MOKSLŲ UNIVERSITETAS

1 LIETUVOS SVEIKATOS MOKSLŲ UNIVERSITETAS

MEDICINOS AKADEMIJA

MEDICINOS FAKULTETAS AKIŲ LIGŲ KLINIKA

AMŽINĖS GELTONOSIOS DĖMĖS DEGENERACIJOS KLASIFIKACIJA

PASITELKIANT GILIUOSIUS KONVOLIUCINIUS NEURONINIUS TINKLUS

Baigiamasis magistro darbas

Medicinos vientisųjų studijų programa

Autorė: Dalia Zykutė

Darbo mokslinė vadovė: doc. Vilma Jūratė Balčiūnienė

Kaunas

2

TURINYS

1. SANTRAUKA ... 3

2. PADĖKA ... 6

3. INTERESŲ KONFLIKTAS ... 6

4. ETIKOS KOMITETO LEIDIMAS ... 6

5. SANTRUMPOS ... 7

6. SĄVOKOS ... 8

7. ĮVADAS ... 9

8. DARBO TIKSLAS IR UŽDAVINIAI ... 10

9. LITERATŪROS APŽVALGA ... 11

9.1 Epidemiologija ir rizikos faktoriai ... 11

9.2 Morfologinė AGDD klasifikacija ... 11

9.3 Patofiziologija ... 13

9.4 Optinės koherentinės tomografijos reikšmė AGDD diagnostikoje ... 14

9.5 Mašinų mokymasis ir pritaikymas medicinoje ... 15

10. TYRIMO METODIKA ... 17

10.1 Vaizdų biomarkeriai... 17

10.2 Vaizdų vertinimas ... 23

10.3 Vaizdų apdirbimas ... 23

10.4 Modelio architektūra ... 23

10.5 Modelio treniravimas ir validacija ... 24

10.6 Statistinė analizė ... 25

11. REZULTATAI IR JŲ APTARIMAS ... 25

12. IŠVADOS ... 28

3

1.

SANTRAUKA

Dalia Zykutė

Tema: Amžinės geltonosios dėmės degenracijos klasifikacija pasitelkiant giliuosius

konvoliucinius neuroninius tinklus.

Tyrimo tikslas: suklasifikuoti amžinę geltonosios dėmės degneraciją iš optinės koherentinės

tomografijos vaizdų, pritaikius giliųjų konvoliucinių neuroninių tinklų modelius.

Tyrimo uždaviniai: 1) Sukurti giliojo konvoliucinio neuroninio tinklo modelį, kuris klasifikuotų optinės koherentinės tomografijos vaizdus į normos variantą, sausą amžinės

geltonosios dėmės degeneracijos formą ir neuvaskulinę amžinės geltonosios dėmės

degeneracijos formą. 2) Įvertinti modelio tikslumą ir reikšmę diagnostikai.

Tyrimo metodika: surinkti ir pagal matomus patognominius biomarkerius įverinti trijų

grupių vaizdai – normos variantas, sausa amžinės geltonosios dėmės degeneracijos forma ir

neovaskulinė amžinės geltonosios dėmės degenracijos forma. Sukurtas dviejų etapų

diagnostinis algoritmas: pirmu etapu klasifikuojantis vaizdus į normos variantą ir bet kurią

amžinės geltonosios dėmės degeneracijos formą; antru etapu amžinei geltonosios dėmės

degeneracijai priskirtus vaizdus klasifikuojantis į sausą ir neovaskulinę formas. Modeliai įvertinti pagal AUROC, specifiškumą, jautrumą.

Tyrimo rezultatai: Pirmojo modelio AUROC gautas 0.994513, iš sumodeliuotos ROC

kreivės apskaičiuotas jautrumas - 0.9667, specifiškumas – 1.0, atskiriant sveikos ir

patologinės akies vaizdą. Antrojo modelio AUROC gautas 1.0, jautrumas - 0.998,

specifiškumas – 1.0 atskiriant neovaskulinei ir sausai formai būdingus vaizdus.

Išvados: 1) Sukurtas dviejų ResNet18 modelių diagnostinis algoritmas, klasifikuojantis optinės koherentinės tomografijos vaizdus keliais etapais: pirmo etapo metu suklasifikuojama

4 patologiją turintys vaizdai suskirstomi į sausą ir neovaskulinę formas. 2) Pirmojo modelio

AUROC - 0.994513, jautrumas - 0.9667, specifiškumas – 1.0, atskiriant sveikos ir

patologinės akies vaizdą. Antrojo modelio AUROC - 1.0, jautrumas - 0.998, specifiškumas –

5

SUMMARY

Dalia Zykutė

Title: Deep learning based automatic classification of age related macular degeneration.

The aim: To create deep learning algorithm for the purpose of classifying age related

macular degeneration stages using OCT images.

Objectives of the research: 1) Create a model that would classify age related macular

degeneration based on optical coherent tomography to three categories: normal; dry age

related macular degeneration; neovascular age related macular degeneration. 2) Evaluate

diagnostic performance of the model.

Methods: images of optical coherent tomography were extracted and labelled to three

groups: normal, dry age related macular degeneration, neovascular age related macular

degeneration. Two classification models were made: first was used to classify normal versus

any age related macular degeneration form; second – images that were classified as any age

related macular degeneration stage were further classified into dry or neovascular form. The

models were evaluated using AUROC, specificity and sensitivity.

Results: First model - AUROC=0.994513, sensitivity 0.9667, specificity 1.0. Second model

– AUROC=1.0, sensitivity 0.998, specificity 1.0.

Conclusions: 1) Two ResNet 18 models were created that classified the images in two

stages: normal versus any age related macular degeneration stage and exudative form versus

dry form. 2) First model - AUROC=0.994513, sensitivity 0.9667, specificity 0.1. Second

6

2. PADĖKA

Nuoširdžiai dėkoju darbo mokslinei vadovei Jūratei Vilmai Balčiūnienei už patarimus ir pagalbą plėtojant temą bei ruošiant darbą.

3. INTERESŲ KONFLIKTAS

Rengiant magistro baigiamąjį darbą autoriui interesų konflikto nebuvo.

4. ETIKOS KOMITETO LEIDIMAS

7

5. SANTRUMPOS

AGDD – amžinė geltonosios dėmės degeneracija

sAGDD – sausa amžinė geltonosios dėmės degeneracija

nAGDD - neovaskulinė amžinė geltonosios dėmės degeneracija

AREDS – su amžiumi susijusų akių ligos studija (angl. Age related eye disease study)

AUC – plotas po kreive (angl. Area under curve)

CONAN – nutarimas dėl neovaskulinės amžinės geltonosios dėmės degeneracijos nomenklatūros (angl. Consenses on Neovascular AMD Nomenclature)

AMVT – Amerikos maisto ir vaistų tarnyba (angl. Food and drug administration)

GKNT – gilusis konvoliucinis neuroninis tinklas

OKT – optinė koherentinė tomografija

TPE – tinklainės pigmentinis epitelis

8

6. SĄVOKOS

Amžinė geltonosios dėmės degeneracija – yra būklė pasireiškianti pacientams, dažniausiai

vyresniems nei 50 metų, kurios metu sutrinka geltonosios dėmės funkcija ir struktūra.

Neovaskuliarizacija – naujadarinių kraujagyslių įaugimas po tiklaine ar jos sluoksniuose.

Mašinų mokymas – kompiuterių mokslo šaka, naudojanti algoritmus, galinčius identifikuoti

duomenyse esančius pasikartojimus.

Gilusis mokymas – mašinų mokymo atšaka, naudojanti daugiasluoksnių neuroninių tinklų

9

7. ĮVADAS

Amžinė geltonosios dėmės degeneracija (AGDD) yra vyresniems pacientams pasireiškianti

liga, kuri sukelia negrįžtamą centrinio regėjimo sutrikimą ir stipriai paveikia pacientų gyvenimo kokybę. [1] Dėl sensančios populiacijos numatoma, kad po dvidešimties metų

Europoje gali būti iki 26,3 mln. pacientų, sergančių bet kuria AGDD forma. [2] Kadangi vienas iš pagrindinių tyrimų, naudojamų AGDD diagnostikoje bei stebėjime, yra optinė

koherentinė tomografija (OKT), neišvengiamai didės ir gydytojų oftalmologų darbo krūvis.

Todėl, siekiant palengvinti darbo krūvį ir padidinti tyrimų prieinamumą pacientams, kurie dėl

socialinių priežaščių turi sunkumų atvykti specialisto konsultacijai, kyla poreikis pritaikyti

papildomas priemones, tokias kaip kompiuterių padedama diagnostika. Medicinoje vaizdų analizė, naudojant giliojo mokymosi modelius, taikoma dermatologijoje, radiologijoje,

patologijoje ir oftalmologijoje, pasiekia pakankamai gerus rezultatus. [3] Kadangi modelių

tikslumą galima prilyginti gydytojų specialistų – šias technologijas būtų galima pritaikyti

telemedicinoje skryningui - dirbtinio intelekto modeliai galėtų padėti nuspręsti, ar reikalinga

skubi specialisto konsultacija, ar atvykti kontrolei po tam tikro laiko. Todėl mūsų darbo

tikslas – sukurti modelį, kuris galėtų atskirti neovaskulinę AGDD formą nuo sausos AGDD

formos bei normos varianto, kad būtų galima palengvinti tolismesnės taktikos pasirinkimą

10

8. DARBO TIKSLAS IR UŽDAVINIAI

Tyrimo tikslas: suklasifikuoti amžinę geltonosios dėmės degneraciją (AGDD) iš optinės

koherentinės tomografijos (OKT) vaizdų, pritaikius giliųjų konvoliucinių neuroninių tinklų

modelius.

Tyrimo uždaviniai:

1. Sukurti giliojo konvoliucinio neuroninio tinklo modelį, kuris klasifikuotų optinės koherentinės tomografijos vaizdus į normos variantą, sausą amžinės geltonosios

dėmės degeneracijos formą ir neuvaskulinę amžinės geltonosios dėmės degeneracijos

formą.

11

9. LITERATŪROS APŽVALGA

Amžinė geltonosios dėmės degeneracija – yra būklė pasireiškianti pacientams, dažniausiai

vyresniems nei 50 metų, kurios metu sutrinka geltonosios dėmės funkcija ir struktūra.

Pastebima AGDD charakteristika – ekstraląstelinių depozitų susikaupimas geltonoje dėmėje,

atrofijos ar neovaskuliarizacijos požymiai. [4] Tai yra aktuali šių laikų problema, nes AGDD stipriai paveikiai žmonių gyvenimo kokybę. Įprastos kasdienės veiklos, tokios kaip

vairavimas ar skaitymas, pacientams tampa sunkiai įgyvedinamos. [1]

9.1 Epidemiologija ir rizikos faktoriai

Išsivysčiusiose šalyse AGDD yra viena iš lyderiaujančių priežasčių, sukeliančių sunkų ir

negrįžtamą regos sutrikimą. [5] Pagrindiniai rizikos fakoriai AGDD išsivystymui yra vyresnis

amžius, rasė ir genetinis polinkis. Ankstyva AGDD stebėta 3,5 proc. 55-59 amžiaus žmonių,

tuo tarpu tarp vyresnių nei 85 – 17,6 proc.; pažengusi AGDD 0,1 proc. Ir 9,8 proc. Per

pastaruosius 2 dešimtmečius procentinis sergamumo dažnis sumažėjo, tačiau 2040 metais

numatomas beveik dvigubai didesnis absoliutus sergančiųjų skaičius dėl senėjančios

populiacijos. Prognozuojama, kad po dvidešimt metų Europoje bus nuo 14,9 mln. iki 21,5

mln. sergančiųjų ankstyva AGDD ir nuo 3,9 mln. iki 4,8 mln. sergačiųjų pažengusia AGDD

forma. [2] Tarp daugelio modifikuojamų rizikos faktorių pagrindinis yra rūkymas, kurio

priklausomybė yra kiekybinė – daugėjant pakmečių skaičiui – didėja ligos išsivystymo tikimybė. [5]

9.2 Morfologinė AGDD klasifikacija

 1 AREDS kategorija – nėra AGDD – reprezentuoja kontrolinę grupę, kurią

12

 Ankstyva AGDD (2 AREDS kategorija) – charakterizuojama kombinacija smuklių ir

kelių vidutinio dydžio (63-124 µm diametro) drūzų arba nežymių TPE pokyčių.

 Vidutinė AGDD (3 AREDS kategorija) – charakterizuoja bet kuris iš sekančių požymių:

o Daug vidutinio dydžio drūzų.

o Bent viena didelė drūza (≥125 µm)

o Geografinė atrofija (aiškių ribų, apvali ar ovali TPE atrofija, kuri neįtraukia

duobutės centro)

 Pažengusi AGDD (4 AREDS kategorija) – charakterizuojama:

o Geografinė centrinės duobutės atrofija arba sausa AGDD

o Neovaskulinė makulopatija arba neovaskulinė AGDD, kuriai būdinga:

 Gyslainės neovaskuliarizacija, apibūdinama kaip patologinė

angiogenezė, susidaranti iš gyslainės kraujagyslių, kurios prasiveržia

per Brucho membranos defektą.

 Serozinė ir/ar hemoraginė neurotinklainės ar TPE atšoka.

 Kieti eksudatai tinklainėje

 Subtinklaininė ar sub-TPE fibrovaskulinė proliferacija

 Disciforminis randas (subretininė fibrozė) [5]

Diagnostinių vaizdinių tyrimų pritaikymas neovaskulinės AGDD diagnostikoje ir atsakas į gydymą VEGF inhibitoriais pakeitė ligos morfologijos suvokimą. OKT ir OKT angiografijos

13 klasifikacijos kategorijas – klasikinę, okultinę ar mišrią. Pasitelkiant OKT ir OKT

angiografiją pagerėjo patologijos vizualizacija, suteikiant galimybę analizuoti anatomines ir

topografines charakteristikas trimatėje erdvėje. Todėl CONAN (angl. Consenses on

Neovascular AMD Nomenclature) grupė rekomenduoja naują standartą, pagal kurį turėtų būti klasifikuojama neovaskulinė AGDD:

I tipo neovaskuliarizacija – kraujagyslių įaugimas į sub-TPE ertmę iš gyslainės kapiliarinio

sluoksnio.

Polipoidinė gyslainės vaskulopatija – I tipo neovaskuliarizacijos subtipas, dažniausiai

aptinkamas tarp azijiečių pacientų, pasižymintis kraujagyslinio tinklo šakojimusi ir

kraujagyslių aglomeracija, dar vadinama polipu.

II tipo neovaskuliarizacija – gyslainės kraujagyslių neovaskuliarizacija, kuri kerta Brucho

membraną bei tinklainės pigmentinio epitelio sluoksį ir proliferuoja į subretininę ertmę.

III tipo neuvaskuliarizacija apibūdina kraujagyslių proliferaciją iš tinklainės išorinių

kraujagyslių, tipiškai giliojo kapiliarinio tinklo, ir proliferuoja link išorinės tinklainės dalies.

Tinklainės – gyslainės anastomozė – nenormali kraujagyslinė jungtis tarp tinklainės ir gyslainės cirkuliacijos. [4]

9.3 Patofiziologija

Tinklainės pigmentinį epitelį sudaro nesidalijančios ląstelės, kurių funkcijos yra svarbios fotoreceptorių ląstelių palaikymui. Dėl senėjimo pigmentinio epitelio ląstelėse kaupiasi

medžiagų apykaitos liekamieji metabolitai. Paprastai tokios medžiagos būtų eliminuojamas

gyslainės kapiliarinio sluoksnio, tačiau, progresuojant TPE veiklos sutrikimui, pakinta

Brucho membranos pralaidumas, kuris lemia šios medžiagos kaupimąsi tarp TPE ir

14 kapiliarinio sluoksnio suplonėjimas, dėl ko galimai sumažėja ekstraląstelinių depozitų

šalinimas, ko pasekoje susiformuoja drūzos. Progresuojantis Brucho membranos pažeidimas,

kartu esant VEGF padidėjimui, skatina gyslainės kraujagyslių įaugimą. [6] Šios kraujagyslės

gali proliferuoti į subretininę ir intraretininė erdvę. Eksudacija, dėl kraujagyslių nebrandumo,

dažnai sąlygoja skysčio akumuliaciją priklausomai nuo naujadarinių kraujagyslių invazijos

vietos. [7] Tai taip pat gali sąlygoti kraujo išsiliejimą, po kurio regresavimo lieka

disciforminis randas. [6] Gegrafinė atrofija atspindi TPE atrofiją – audinio plonėjimas ir

praradimas, TPE ir fotoreceptorių žūtis. [8]

9.4 Optinės koherentinės tomografijos reikšmė AGDD diagnostikoje

skiriamosios gebos akies anatominius vaizdus, kurio veikimo principas – skirtingas audinių šviesos atspindėjimas. OKT naudojama tiek priekinio segmento, tiek tinklainės sluoksnių,

regos nervo disko morfologijai vertinti. [9]

Nors OKT suteikė galimybę analizuoti tinklainę trimatėje ertdėve, detalus tyrimo aprašymas užtrunka laiko net ir patyrusiam specialistui. [10] Senstant populiacijai ir daugėjant AGDD

atvejų, reikalinga turėti technologijas, palengvinančias specialisto darbą. Medicinoje vaizdų

analizė, naudojant giliojo mokymosi modelius, taikoma dermatologijoje, radiologijoje,

patologijoje ir oftalmologijoje, pasiekia pakankamai gerus rezultatus. Lyginant giliojo

mokymosi modelių vaizdų analizę su ekspertų, statistiniai parametrai (AUC, specifiškumas ir

jautrumas) dažnai siekia ar net viršija gydytojų specialistų. [3] [11][12] [13] Oftalmologijoje

algoritmai taikomi akies dugno fotografijos vertinimui (Amerikos maisto ir vaistų tarnybos

(AMVT) patvirtinti algoritmai naudojami diabetinei retinopatijai, amžinei geltonosios dėmės degeneracijai, su neišnešiotumu susijusiai retinopatijai), taip pat OKT priekinio ir užpakalinio

segmentų analizei – glaukomai ir daugeliui tinklainės ligų vertinti. [14] Be kelių algoritmų,

15 matuojantis drūzų tūrį ir tinklainės pigmentinio epitelio atrofiją. Šis modelis yra integruotas į

OKT prietaiso programinę įrangą ir keliuose tyrimuose buvo sėkmingai pritaikytas

klinikinėje praktikoje. [9]

9.5 Mašinų mokymasis ir pritaikymas medicinoje

Mašinų mokymąsis – kompiuterių mokslo šaka, naudojanti algoritmus, galinčius identifikuoti

duomenyse esančius pasikartojimus. [15]

Gilusis mokymąsis – mašinų mokymosi atšaka, naudojanti daugiasluoksnių neuroninių tinklų

algoritmus siekiant identifikuoti duomenyse esančius pasikartojimus.[15]

Automatizuotas vaizdų analizavimas medicinoje gali būti naudingas klasifikuojant ir

atpažįstant tam tikrus objektus. Atlikti tyrimai radiologijos, dermatologijos, patologijos ir

oftalmologijos srityse žada perspektyvų sistemos pritaikymą diagnostikai. Šios giliojo

mokymosi sistemos galėtų padėti gydytojų darbe apibrėždamos įtartinas vietas vaizdiniame

tyrime ir pateikdamos alternatyvią nuomonę. Vaizdais pagrįsta diagnostika gan sėkmingai

pradėta inkorporuoti į klinikine praktiką, iš dalies dėl to, kad diagnostiniai algoritmai gali pasiekti specialistų tikslumo lygį. [3]

Vaizdų atpažinimui dažniausiai naudojama technika yra konvuliuciniai neuroniniai tinklai

(KNT) – giliojo mokymosi modeliai – kurie yra sudaryti iš skaičiavimus atliekančių įvairaus

kiekio sluoksnių algoritmų. Populiariausi KNT (AlexNet, VGGNet, Inception V4, ResNet ir

DenseNet) yra plačiai prieinami ir gali būti parsisiųsti iš viešų domenų. [14] Pamatinę KNT struktūrą sudaro 3 dalys: duomenų įvesties sluoksnis, duomenų išeities sluoksnis ir, tarp jų,

paslėpti sluoksniai. Mašinų mokymąsis gali būti prižiūrimas (angl. supervised) – tokio

algoritmo tikslas - teisingai identifikuoti specialistų suklasifikuotus duomenis; ir

neprižiūrimas (angl. unsupervised) – algoritmo tikslas suklasifikuoti specialistų nepažymėtus

16 dažniausiai taikomas prižiūrimas mokymas. Šio algoritmo treniravimas susideda iš dviejų

etapų: siuntimas į priekį (angl. forward pass) – informacijos apdorojimo kelias nuo vaizdo iki

tikimybės, kuriai kategorijai priklauso vaizdas, suskaičiavimo; ir atgalinis siuntimas (angl.

Backward pass). Siuntimą į priekį sudaro konvoliucija, išrinkimas (angl. Pooling) ir

apdorojimas ReLU funkcija (angl. rectified linear unit). Konvoliucijos operacija atliekama

sudauginant filtrą (matrica, su pasirinktomis vertėmis) su vaizdo dalimi (matrica, pagal

vaizdo pikselių ryškumą). Išrinkimo etapo metu, yra išrenkamos didžiausios vertės po

konvoliucijos. Tuomet šios vertės apdorojamos ReLU funkcija. Toliau šie procesai kartojami

per likusius sluoksnius, kurie turi skirtingas flitro matricas – vertinami skirtingi vaizdo požymiai - iki priešpaskutinio sluoksio, kuris vadinamas pilnai sujungtu sluoksniu (angl.

Fully connected) - visos vertės viena su kita sujungiamos. Jo vertės apdorojamos softmax

funkcija ir gaunama tikimybė, kuri parodo, kuriai katgorijai priklauso vaizdas. Tuomet yra

vykdomas atgalinis siuntimas - kai žinome tikimybę, kuriai kategorijai pagal algoritmą

priklauso ką tik apdorotas vaizdas, žinodami tikslią kategoriją galime apskaičiuoti padarytą

klaidą (angl. error). Einant nuo paskutinio filtro iki pirmo koreguojamos filtrų reikšmės, tam jog kitą kartą apdorojus tą patį vaizdą, būtų gaunama mažesnė klaidos reikšmė. [16] žr. Pav.1

[3]

Pav. 1 Daugiasluoksnio konvoliucinio neuroninio tinklo pavyzdys (Esteva A, et al. Nature Medicine; 2019)

Pilnai sujungtas sluoksnis Konvoliucinis sluoksnis Sujungimo sluoksnis

Įvesties vaizdas Klasifikacijos

tikimybių rinkinys

17 Pagrindinė problema, su kuria susiduriama treniruojant KNT yra didelis reikalingas vaizdų

kiekis. Todėl dažnai medicinoje taikomi modeliai yra apmokyti iš anksto (angl. Transfer

learning), kurie apmokyti pasitelkiant milijonus įvairių nemedicininių vaizdų. Tuomet

algoritmų parametrai yra koreguojami apmokant juos norimais biomedicininiais vaizdais. Tokia strategija gali sumažinti reikalingų vaizdų kiekį, kuris medicinoje yra dažnai ribotas.

[15]

10. TYRIMO METODIKA

Atliktas retrospektyvus tyrimas, kurio metu buvo surinkti, sužymėti ir pateikti GKNT

modelio analizei OKT vaizdai. Tyrimo grupę iš viso sudarė 1414 B-scan vaizdai, turintys

normos varianto, sausos AGDD formos arba neovaskulinės AGDD formos biomarkerių.

10.1 Vaizdų biomarkeriai

Drūzos – depozitai tarp TPE ir Brucho membranos. OKT matomi kaip įvairaus reflektiškumo depozitai, sąlygojantys TPE pakilimą. Esant didelėms drūzoms ar drūzenoidinei TPE atšokai

galimas ryškus TPE pakilimas, kuris dažnai yra kupolo formos, su hiporeflektyvia ar vidutinio reflektyvumo medžiaga, kuri skiria TPE nuo Brucho membranos. Žr. Pav. 2.

18 Pav. 2 Matoma didelė drūza, sąlygojanti kulopo formos TPE pakilimą. Taip pat matomos daugybinės smulkios drūzos.

Tinklainės pigmentinio epitelio pokyčiai – dėl įvairių stimulų galima TPE ląstelių

intraretininė migracija, hipertrofija, proliferacija ar netekimas. Esant židininei

depigmentacijai ar TPE netekimui, OKT matoma hiperrefleksija žemiau esančiame gyslainės

sluoksnyje. Pigmento susiliejimas ar migravimas gali atrodyti kaip hiperrefletyvūs židiniai su šešėliu apačioje – dažniausiai išoriniame branduoliniame sluoksnyje ar virš drūzos. Žr. Pav.

3.

19 Pav. 3 Matomi hiperreflektyviniai židiniai –.pav. A matomas hiperrefletyvus židinys sąlygojamas TPE

migracijos ir susiliejimo. Pav. B matomas TPE netolygumas su nusitęsiančiu šešėliu.

TPE atrofija (‚‚en face‘‘ matoma kaip geografinė atrofija) – susiliejančios TPE netekimo

vietos kartu su fotoreceptoriu atrofija. OKT skerspjūvyje atrodo kaip aiškių demarkacinių ribų hiperreflektyvi gyslainė. Žr. Pav. 4.

TPE netolygumas TPE migracija

A

20 Pav. 4 Matoma TPE atrofija ir hiperreflektyvi gysainė po apačia.

Neovaskulinės AGDD biomarkeriai:

Fibrovaskulinė tinklainės pirmentinio epitelio atšoka – sub-TPE tarpe esančios

neovaskuliarizacijos padarinys, gali būti su eksudacijos ar hemoragijos požymiais. OKT

atrodo kaip platus TPE pakilimas, kuris yra kintačio reflektyvumo - vidutinio reflektyvumo

sluoksniai atskirti hiporeflektyvių plyšių. Žr. Pav. 5.

21 Pav. 5 Matoma fibrovaskulinė TPE atšoka su subretininiu skysčiu. Būdingas kintantis reflektyvumas

susidariusioje ertmėje dėl neovaskuliarizacijos ir eksudacijos. Taip pat matomas subretininis skystis.

Serozinė tiklainės pigmentinio epitelio atšoka – kupolo formos TPE palikimas, po juo tipiškai

stebima homogeniška ir hiporeflektyvi ertmė, bei matoma Brucho membrana. Žr. Pav. 6.

Hemoraginei TPE atšokai taip pati būdingas panašus vaizdas, tačiau dėl kraujosrūvos sąlygoto šešėlio Brucho membrana stebima rečiau.

Pav. 6 Matoma kupolo formos serozinė TPE atšoka su subretininiu skysčiu.

Fibrovaskulinė TPE atšoka su subretininiu skysčiu

Serozinė TPE atšoka su subretininiu skysčiu Subretininis skystis

22 Subretininis skystis – skysčio sankaupa tarp TPE ir neurosensorinės tinklainės. Matoma kaip

hiporeflektyvi sritis. Žr. Pav. 7.

Pav. 7 Matomas hiporeflektyvus židinys - subretininis skystis.

Intraretininis skystis – hiporeflektyvios sritys neurosensorinėje tinklainėje. Žr. Pav. 8. [7]

Pav. 8 Tinklainėje matomas hiporeflektyvūs židiniai – intraretininis skystis. taip pat subretininis skystis.

Sveikos akies OKT – normos variantas. Žr. Pav. 9. Subretininis skystis

23 Pav. 9 Normalios tinklainės OKT pjūvio vaizdas.

10.2 Vaizdų vertinimas

Kiekvienas OKT vaizdas įvertintas ir priskirtas į atitinkamą grupę, pagal OKT matomus

patognominius biomarkerius kiekvienai AGDD formai.

Vaizdai suskirstyti į tris grupes – norma, sausa forma, neovaskulinė forma.

10.3 Vaizdų apdirbimas

Prieš modelių treniravimą vaizdai automatiškai buvo sumažinti iki 224x448 rezoliucijos, bei

pasukti. Vaizdai peržiūrėti dar kartą, siekiant įsitikinti, kad patognominiai požymiai nepakeitė

savo morfologijos ir yra identifikuojami dėl vaizdo apdirbimo. Vaizdai padauginti, sukuriant

veidrodinį atspindį – jie naudojami tik modelių treniravimui.

10.4 Modelio architektūra

Buvo sukurti 2 ResNet18 modeliai, apmokyti iš anksto ne medicininiais vaizdais iš ImageNet

bei OKT vaizdais iš internetinės duomenų bazės. [17] Pirmasis modelis klasifikavo vaizdus į

24 neovaskulinės formos grupės); antrasis modelis klasifikavo vaizdus į neovaskulinę AGDD

formą ir sausą AGDD formą. Žr. Pav 10. Pirmojo modelio treniravimui įtraukta 264 normos

varianto vaizdų ir 769 AGDD biomarkerių turinčių vaizdų; testavimui - 95 normos variant vaizdų ir 259 AGDD biomarkerių turinčių vaizdų. Antrojo modelio treniravimui įtraukta 572

neovaskulinės AGDD biomarkerių turinčių vaizdų ir 224 sausos AGDD formos biomarkerių

turinčių vaizdų; testavimui - 174 neovaskulinės AGDD biomarkerių turinčių vaizdų ir 85

sausos AGDD formos biomarkerių turinčių vaizdų. Tos pačios akies vaizdai įtraukiami tik į

modelio treniravimo, arba modelio testavimo grupę, bet ne į abi.

10.5 Modelio treniravimas ir validacija

Klasifikuojant vaizdus su vienu modeliu (giliuoju konvoliuciniu neuroniniu tinklu (KNT)) iš karto į normos variantą, sausą formą (sAGDD) arba neovaskulinę formą (eAGDD) mes

gavome mažą tikslumą (AUROC 0,75). Tą būtų galima paaiškinti per mažu vaizdų kiekiu. Ši

taktika būtų gera, jeigu turėtume dešimtis tūkstančių vaizdų (Feng Li ir kiti savo tyrime gavo gerus rezultatus, tačiau turėjo 207 130 vaizdų [18]). Todėl buvo nuspręsta pritaikyti

analogiškame tyrime taikytą metodiką - klasifikavimą pasitelkiant du modelius. Šis sprendimas įgalino pasiekti daug tikslesnį galutinį rezultatą. Žr. Pav. 10. [19]

Pav. 10 klasifikacijai buvo naudojami du modeliai - pirmasis modelis vaizdus suskirsto į normą arba bet kurią AGDD formą. Antrasis modelis buvo sukurtas panaudojus jau apmokytą (angl. Transfer learning) pirmajį

1 GKNT modelis

2 GKNT modelis

25 modelį. Antrasis modelis suskirsto ne normos grupės vaizdus į sausą (sAGDD) arba neovaskulinę (nAGDD) formą

10.6 Statistinė analizė

Vertinant dirbtinio intelekto algoritmus, dažniausiai taikomi statistiniai parametrai yra

jautrumas, specifiškumas bei AUROC. Jautrumas - tai tikimybė, kad vaizdas bus teisingai

identifikuotas, kai jame yra matoma patologija (teisingai identifikuoti teigiami atvejai). Specifiškumas, tai tikimybė, kad vaizdas bus teisingai identifikuotas, kai jame patologijos

nėra (teisingai identifikuoti neigiami atvejai).

Prieš priskirdamas vaizdą tam tikrai kategorijai (pvz., norma ir AGDD) algoritmas

apskaičiuoja tikimybę. Vaizdas bus priskirtas tam tikrai kategorijai tik jeigu viršys tikimybės

ribą (pvz., jeigu parinksime ribą 0,75 – algoritmas priskirs vaizdus į AGDD grupę jeigu

apskaičiuota tikimybė, kad vaizdas priklauso AGDD grupei, bus didesnė nei 0,75).

Tikimybių ribas galima keisti (pvz. 0,75; 0,8; 0,9 ir t.t.). Kiekviena pritaikyta riba turi

skirtingus jautrumą ir specifiškumą. Atidėjus šias vertes grafike, kurio y ašis yra jautrumas, o x ašis - 1-specifiškumas, gaunama ROC (angl. receiver operating characteristic) kreivė. ROC

kreivę galima apibūdinti plotu po kreive (AUC (angl. area under the curve)). Kuo AUC

artimesnis 1 – tuo geriau modelis teisingai apibūdina vaizdus. ROC kreivė gali būti pritaikoma siekiant nustatyti tikimybės ribą, kuri būtų optimaliausia pagal klinikinius

poreikius (pvz., parinkus ribą, kuri turi aukštą specifiškumą, bet žemesnį jautrumą, galima

naudoti tyrima ligos patvirtinimui). [20]

11. REZULTATAI IR JŲ APTARIMAS

Įvertinus giliojo mokymosi modelių rezultatus, pirmojo modelio AUROC gautas 0.994513, iš

sumodeliuotos ROC kreivės apskaičiuotas jautrumas - 0.9667, specifiškumas – 1.0, atskiriant

26 ROC kreivės apskaičiuotas jautrumas - 0.998, specifiškumas – 1.0 atskiriant neovaskulinei ir sausai formai būdingus vaizdus. Žr. Pav. 11. Peržiūrėjus signalo intensyvumo žemėlapius

(angl. Heat maps) galima teigti, kad abu modeliai bent apytiksliai gebėjo identifikuoti biomarkerių vietas. Žr. Pav. 12.

Pav. 11 A – pirmojo modelio ROC kreivė. B – antrojo modelio ROC kreivė

27 Pav. 12 Signalo intensyvumo žemėlapiai. A – normos variantas, B – sausa AGDD, C – neovaskulinė AGDD. Geltonas atspalvis atspindi intensyviausią signalą.

Šio darbo rezultatai yra atitinkantys kitų tyrimų rezultatus, kurie pasitelkė konvoliucinius

neuroninius tinklus tinklainės optinės koherentinės tomografijos klasifikacijai. [11] [12] [13]

[19] [21] [22] Pagrindinė problema, su kuria susiduriama, bandant sukurti diagnostinį modelį, yra vaizdų trūkumas. Turint mažai vaizdų ir norint sukurti tikslų modelį taikomos įvairios

strategijos - tikslesnis vaizdų sužymėjimas, kelių modelių taikymas. Motozawa et al. taikė

vieno vaizdo karpymą į tris dalis – taip padidinant vaizdų kiekį, bei du modelius ir su

nedideliu pirminių vaizdų kiekiu (1621) gavo gerus rezultatus. [19] Saha et al. kurdami

modelį ankstyvų AGDD biomarkerių atpažinimui iš pradžių atliko tinklainės sluoksnių

segmentacija su ReLayNet, išskiriant vietą tarp išorinio branduolinio sluoksnio ir Brucho A

B

28 membranos/vidinės gyslainės dalies. [23] Lee et al. tyrime OKT biomarkerius atskiromis

spalvomis žymejo tinklainės specialistai. Toks metoddas yra reikalaujantis daug darbo iš specialistų, tačiau galima pasiekti gerus rezultatus turint nedaug pirminių vaizdų (930). [24]

Jeigu pirminių vaizdų kiekis yra dešimtys ar keli šimtai tūkstančių – pakankamą tikslumą gali

pasiekti vienas modelis, kuriam vaizdai yra priskiriami į grupes, išvengiant išankstinio apmokymo atskirti tinklainės sluoksnius, ar biomarkerių žymėjimo. [11] [21]

Neovaskulinės amžinės geltonosios dėmės degeneracijos ankstyvas gydymas yra susijęs su

geresne prognoze, todėl yra svarbi savalaikė diagnostika. Dirbtinio intelekto pritaikymas galėtų palengvinti darbo krūvį gydytojams bei padėti pacientams, kuriems dėl socialinių,

organizacinių ar kitų priežaščių specialisto konsultacija yra sunkiai prieinama. Tai galėtų būti

pritaikoma telemedicinoje kaip papildoma priemonė. Yarmishyn et al. sukurtas algoritmas yra pasiekiamas internetinėje erdvėje, kur pacientai gali įkelti savo OKT vaizdus ir gauti

vieną iš keturių rekomendacijų: norma – kartoti tyrimą po metų, sausa AGDD forma – tyrimą

kartoti po 4-6 mėnesių, aktyvi neovaskulinė AGDD – reikalingas gydymas, neaktyvi neovaskulinės AGDD forma – kartoti tyrimą po 1-2 mėnesių. [11]

12. IŠVADOS

1. Sukurtas dviejų ResNet18 modelių diagnostinis algoritmas, klasifikuojantis OKT vaizdus

keliais etapais: pirmo etapo metu suklasifikuojama į normos variantą ir patologinius

biomarkerius turinčius vaizdus, antro etapo metu – patologiją turintys vaizdai suskirstomi į sAGDD ir nAGDD.

2. Pirmojo modelio AUROC - 0.994513, jautrumas - 0.9667, specifiškumas – 1.0, atskiriant

sveikos ir patologinės akies vaizdą. Antrojo modelio AUROC - 1.0, jautrumas - 0.998,

29

13. LITERATŪROS ŠALTINIAI

[1] Taylor DJ, Hobby AE, Binns AM, Crabb DP. How does age-related macular

degeneration affect real-world visual ability and quality of life ? A systematic review

2016:1–13. doi:10.1136/bmjopen-2016-011504.

[2] Colijn JM, Buitendijk GHS, Prokofyeva E, Alves D, Cachulo ML, Khawaja AP, et al.

Prevalence of Age-Related Macular Degeneration in Europe The Past and the Future

2017:1–11. doi:10.1016/j.ophtha.2017.05.035.

[3] Esteva A, Robicquet A, Ramsundar B, Kuleshov V, Depristo M, Chou K, et al. A

guide to deep learning in healthcare. Nat Med 2019;25.

doi:10.1038/s41591-018-0316-z.

[4] Spaide RF, Jaffe GJ, Sarraf D, Freund KB, Sadda SR, Staurenghi G, et al. Consensus

Nomenclature for Reporting Neovascular Age-Related Macular Degeneration Data

Consensus on Neovascular Age-Related Macular Degeneration Nomenclature Study

Group. Ophthalmology 2019. doi:10.1016/j.ophtha.2019.11.004.

[5] Emptage NP, Kealey S, Lum FC, Garratt S. Age-Related Macular Degeneration n.d.

[6] Press D. Recent developments in age-related macular degeneration : a review

2017:1313–30.

[7] Keane PA, Patel PJ, Liakopoulos S, Heussen FM, Sadda SR, Tufail A. MAJOR

REVIEW Evaluation of Age-related Macular Degeneration With Optical Coherence

Tomography. Surv Ophthalmol 2012;57:389–414.

doi:10.1016/j.survophthal.2012.01.006.

[8] Yang Z, Stratton C, Francis PJ, Ph D, Kleinman ME, Tan PL, et al. NIH Public Access

30 [9] Limited MP, Nature S. A view of the current and future role of optical coherence

tomography in the management of age-related macular degeneration 2017:26–44.

doi:10.1038/eye.2016.227.

[10] Foot B, Macewen C. Surveillance of sight loss due to delay in ophthalmic treatment or

review : frequency , cause and outcome 2017;31:771–5. doi:10.1038/eye.2017.1.

[11] Yarmishyn AA, Wu J, Tsai C, Wang M, Peng C. T h e r a n o s t i c s Artificial

intelligence-based decision-making for age-related macular degeneration 2019;9.

doi:10.7150/thno.28447.

[12] Venhuizen FG, Ginneken B Van, Asten F Van, Grinsven MJJP Van, Fauser S, Hoyng

CB, et al. Automated Staging of Age-Related Macular Degeneration Using Optical

Coherence Tomography 2017. doi:10.1167/iovs.16-20541.

[13] Burlina P, Pacheco KD, Joshi N, Freund DE, Bressler NM. Author ’ s Accepted

Manuscript. Comput Biol Med 2017. doi:10.1016/j.compbiomed.2017.01.018.

[14] Ting DSW, Lee AY, Seattle M, Wong TY. An Ophthalmologist ’ s Guide to

Deciphering Studies in Arti fi cial Intelligence. Ophthalmology 2019;126:1475–9.

doi:10.1016/j.ophtha.2019.09.014.

[15] Yu K, Beam AL, Kohane IS. Artificial intelligence in healthcare. Nat Biomed Eng

2018;2:719–31. doi:10.1038/s41551-018-0305-z.

[16] Lecun Y, Bengio Y, Hinton G. Deep learning 2015. doi:10.1038/nature14539.

[17] Kermany, Daniel; Zhang, Kang; Goldbaum M. Labeled Optical Coherence

Tomography (OCT) and Chest X-Ray Images for Classification. Mendeley Data, v2

31 [18] Li F, Chen H. Fully automated detection of retinal disorders by image-based deep

learning 2019.

[19] Motozawa N, An G, Takagi S. Optical Coherence Tomography-Based Deep-Learning

Models for Classifying Normal and Age-Related Macular Degeneration and Exudative

and Non- Exudative Age-Related Macular Degeneration Changes. Ophthalmol Ther

2019. doi:10.1007/s40123-019-00207-y.

[20] Park SH, Han K. Methodologic Guide for Evaluating Clinical Performance and Effect

of Artificial Intelligence Technology for Medical Diagnosis 2018;000:1–10.

[21] Lee CS, Baughman DM, Lee AY. Deep Learning Is Effective for Classifying Normal

versus Age-Related Macular Degeneration OCT Images. Ophthalmol Retin

2016;1:322–7. doi:10.1016/j.oret.2016.12.009.

[22] Lee CS, Baughman DM, Lee AY. normal versus Age-related Macular Degeneration

2019;1:322–7. doi:10.1016/j.oret.2016.12.009.Deep.

[23] Saha S, Nassisi M, Wan M, Lindenbe S. Automated detection and classification of

early AMD biomarkers using deep learning 2019:1–9.

doi:10.1038/s41598-019-47390-3.

[24] Lee H, Kang KE, Chung H, Kim HC. SC. Am J Ophthalmol 2018.