Gli scenari analizzati

La ricerca del modello ottimale per le predizioni utilizzando i dati dei pazienti dell’O-hioT1DM inizia con la definizione della coppia di dataset/rete neurale a partire da una conformazione gi`a esistente. In questo caso si utilizzer`a la rete neurale presente in [56] con i seguenti elementi caratteristici:

• Dataset: 4 feature selezionate [Glucosio, Pasti, IDR, HR] corrispondenti rispet-tivamente ai valori di glucosio, della quantit`a di carboidrati ingeriti, all’apporto totale di insulina e alla frequenza cardiaca.

• Modello neurale: rete VANILLA caratterizzata da 3 layer in serie LSTM e con 50 neuroni per layer. La topologia della rete rispetta i parametri comuni presentati nel paragrafo 4.3.2

Oltre a questa tipologia di dataset e di modello, si `e deciso di ampliare la gamma di combinazioni da analizzare considerando gli effetti che i seguenti fattori possano contribuire nella qualit`a della predizione: filtro di Tikhonov sulla serie temporale del glucosio; utilizzo della feature ideata MEST calories; il layer DCAM e infine il costrutto neurale dell’Encoder-Decoder.

Sono stati creati 4 scenari, in ognuno dei quali vengono implementati i tre modelli neurali scelti (VANILLA, Encoder-Decoder LSTM, Encoder-Decoder CNN LSTM), aventi le seguenti caratteristiche:

1. 4 feature selezionate [Glucosio, Pasti, IDR, HR] senza aver applicato il filtro di Tikhonov sulla serie temporale del glucosio. Il resto delle feature `e invariato.

Questo scenario per semplicit`a `e stato denominato STANDARD NO TIKO 2. 4 feature selezionate [Glucosio, Pasti, IDR, HR] con applicato il filtro di Ti-khonov sulla serie temporale del glucosio. Il resto delle feature `e invariato.

Questo scenario invece `e lo STANDARD TIKO

3. 4 feature selezionate [Glucosio, Pasti, IDR, HR] con applicato il filtro di Tikho-nov sulla serie temporale del glucosio e avente come primo layer della catena neurale il DCAM, di cui si `e gi`a parlato nella sezione 4.1.5. Questo caso `e stato denominato come STANDARD TIKO DCAM

4. 4 feature selezionate [Glucosio, MEST calories, IDR, HR] con applicato il fil-tro di Tikhonov sulla serie temporale del glucosio. La feature Pasti `e stata sostituita con la nuova feature MEST calories creata nella sezione 4.1.6. Il nome dello scenario di questo ultimo caso si `e ispirato al nome della nuova feature, cio`e MEST DATASET

La ricerca dei parametri, che caratterizzano lo scenario migliore, tra i 4 prece-dentemente elencati, inizia con un’ottimizzazione preliminare con i seguenti valori, utilizzando solo il paziente 575 come modello su cui ricercare le performance ottimali nei vari modelli al variare di pochi parametri:

• modello VANILLA: 50 neuroni nel layer LSTM e ottimizzato solo su valori di BatchSize di 64 e 512 campioni.

• modello ENC-DEC LSTM: 50 neuroni nei due layer LSTM e ottimizzato solo su valori di BatchSize di 64 e 512 campioni.

• modello ENC-DEC CNN LSTM: si `e deciso di effettuare una ricerca ri-stretta di parametri per il numero di filtri convoluzionali (16 e 64) dell’encoder, per il numero di celle (40, 80) all’interno layer LSTM del decoder e su valori di BatchSize di 64 e 512 campioni.

.

Per ogni modello corrispondente, sono stati valutati tutti i pazienti per tutti gli scenari possibili, estromettendo il paziente 575 dal computo metrico per non rendere inefficaci i risultati e contemporaneamente valutare la robustezza del modello per gli altri pazienti. L’esito dell’ottimizzazione dei parametri trovati sul singolo paziente, ha permesso di definire il seguente assetto:

• modello VANILLA: 50 neuroni nel layer LSTM e BatchSize di 512 campioni.

• modello ENC-DEC LSTM: 50 neuroni nei due layer LSTM e BatchSize di 512 campioni.

• modello ENC-DEC CNN LSTM: 16 filtri convoluzionali dell’encoder, 40 celle nel layer LSTM del decoder e BatchSize di 512 campioni.

Nella pagina seguente viene riportata la Tabella 5.3, che mostra i risultati riguar-danti le performance delle predizioni secondo le metriche: RMSE, Time Lag, R², MAD, FIT e Clarke Error Grid(riportata solamente la zona A). I dati mostrati fan-no riferimento al modello Encoder-Decoder LSTM dello scenario STANDARD NO TIKO. Si nota come i valori di RMSE in tutti gli orizzonti di previsione siano molto competitivi (23.48 ± 4.92 su un orizzonte di previsione di 30 minuti) con altri mo-delli neurali presentati nel capitolo 3, inoltre c’`e ancora da considerare che `e stata eseguita una metodologia di testing basata sulla media tra valori provenienti da due segmenti su cui non `e stato effettuato alcun tipo di rimodellamento sui dati, men-tre la maggior parte degli articoli analizzati sullo stesso tema esegue il medesimo pre-processing sia sul dataset di training che sull’intero dataset di testing.

Tabella5.3:Latabellaillustrairisultatiottenutidivisipermetricheeperorizzontidiprevisione(PH)dall’ottimizzazionepreliminaredelloscenarioSTANDARDNOTIKO,ilmiglioretragliscenarianalizzati Enc-DecLSTMlenseg20628286411758027540216493881361PH\idpaz559563570588591MEDIASD624,3920,9118,6721,8027,2918,2125,1620,2733,7222,5123,384,92929,4925,3227,6829,7729,4424,5732,5727,6738,5228,3929,454,171232,0930,1134,6936,1429,5629,9637,9732,8542,2832,7333,964,27 RMSE(mg/dL)

1837,3538,5043,0947,0338,0838,9245,7340,7048,5537,8741,994,2460,004,003,004,005,001,005,005,006,006,003,672,0090,007,006,006,009,002,007,008,009,009,006,003,08120,009,008,008,0012,005,0010,0011,0012,0012,008,333,84 TimeLag(steps) 180,0013,0013,0013,000,0013,0016,0016,0018,0017,0011,336,6760,890,720,810,78-11,640,920,710,800,630,79-0,604,1490,830,600,590,59-57,670,850,520,630,530,66-5,8419,44120,800,430,350,40-64,580,750,360,470,440,55-6,7321,69 R2

180,730,07-0,01-0,02-140,640,540,070,200,270,40-15,4246,9667,368,648,429,207,976,5311,298,5919,8111,819,763,9999,6911,5712,3612,718,768,9215,0811,5522,7215,0512,604,301210,6814,5815,5415,579,3610,9417,9413,7424,8117,6614,804,66 MAD 1813,3719,0719,7020,5812,6014,7622,3217,1028,6420,9218,685,00666,3347,1856,6553,28-255,5871,7646,5555,1139,5254,0220,09103,85959,3636,5235,7136,12-665,9660,6431,0638,8031,5142,04-37,36235,991255,7624,7019,4022,38-709,7950,4619,7727,4425,3633,24-51,61247,17 FIT

1847,583,72-0,44-0,86-1090,1232,123,3810,3114,5122,71-108,87368,33686,4791,9392,9489,76100,0093,7281,0590,3457,1978,0587,0412,33984,9686,5577,6880,59100,0087,8967,0680,7451,7668,7679,6913,691285,7177,1369,2372,57100,0079,3760,6475,6547,2862,5574,1814,88 ZonaA-CEG(%)

1878,9554,7157,3857,79100,0072,2047,2367,0743,4554,2664,3117,56

La scelta dello scenario migliore

La stessa tipologia di tabella valida per il modello neurale Encoder-Decoder LSTM dello scenario STANDARD NO TIKO, `e stata creata anche per gli altri due modelli (VANILLA e Encoder-Decoder CNN LSTM) e per i rimanenti 3 scenari(STANDARD TIKO, STANDARD TIKO DCAM e MEST DATASET). I risultati di tali scenari, divisi per ciascun modello analizzato, non sono stati riportati per non appesantire la grafica della Tesi, ma vengono comunque trascritti i valori medi delle metriche pi`u importanti per capire quale scenario e quale modello garantisce le migliori pre-stazioni.

Nel caso specifico della valutazione per la scelta dello scenario migliore, sono state considerate le due metriche che hanno il maggior peso analitico e clinico nella va-lutazione di una predizione di una serie temporale glicemia: RMSE e Clarke Error Grid. Tale decisione risiede nella natura di tali metriche, infatti mentre l’RMSE quantifica l’errore nella predizione, la Clarke Error Grid valuta l’impatto che tale errore porterebbe alla salute del paziente.

Nella pagina seguente, in tabella 5.4, sono riportati i risultati della comparazio-ne di ogni singolo modello comparazio-neurale comparazio-nei 4 scenari, analizzati secondo le medie delle metriche sui due segmenti di testing su tutti i pazienti (escluso il 575).

Da un’attenta analisi delle colonne VAN, LSTM e CNN, che corrispondono ri-spettivamente ai 3 modelli VANILLA, Encoder-Decoder LSTM e Encoder-Decoder CNN-LSTM, si pu`o osservare come il secondo scenario, ovvero lo STANDARD NO TIKO, offra le migliori performance globali grazie ai risultati ottenuti dalle due ar-chitetture Encoder-Decoder, poich´e hanno ottenuto i risultati pi`u bassi di RMSE e quelli pi`u alti nelle percentuali espresse della zona A della Clarke Error Grid.

Inoltre, all’interno di tale scenario `e possibile identificare il modello neurale Encoder-Decoder LSTM (colonna LSTM della Tabella 5.4) come il modello le cui previsioni sono effettuate con pi`u elevata accuratezza e rigore clinico per tutti gli orizzonti di previsione.

La fase di ottimizzazione preliminare ha definito il miglior scenario, il miglior dataset e il miglior modello neurale che, in base ai dati forniti, riesca a predire meglio la serie glicemica.

La fase successiva, invece, sar`a caratterizzata da un’ottimizzazione pi`u ampia della topologia del modello neurale vincitore, per esplorare se nuovi set di parametri possano eventualmente migliorarne le prestazioni globali.

Tabella5.4:Tabellaconirisultatidelconfrontotrai4diversiscenari.Irisultatiriportatisonovalorimedidellemetrichesuiduesegmentiditestingsututtiipazienti(esclusoil575)esonoprividideviazionestandard

ScenariSTAND.TIKOSTAND.NOTIKOSTAND.TIKODCAMMESTDATASETPH\ModVANLSTMCNNVANLSTMCNNVANLSTMCNNVANLSTMCNN

RMSE(mg/dL) 649,5528,21101,9341,9423,3827,3253,0450,25139,95118,1042,42128,30954,5535,15148,4841,4029,4531,5253,1564,12191,52150,6548,04147,021257,9739,49292,3241,3433,9635,3551,6071,89284,70185,1760,23239,521874,7446,18633,1443,0541,9938,4954,6479,63449,83262,6161,83968,47 ZonaA-CEG(%) 659,0181,9851,1361,7487,0482,2049,4069,8332,3152,8472,5631,03953,9173,9544,8363,8479,6977,3948,9461,7826,9143,7066,3526,071250,6568,1741,2864,8674,1873,2951,7257,5223,7040,8661,7420,841845,4760,7737,2462,1164,3159,1347,3250,6319,0542,7854,3218,46