Sviluppi e risultati

Al fine di meglio descrivere in questa sezione quanto realizzato e il tipo di contributo portato alla piattaforma eLaparo4D nel percorso di dottorato è bene fare una breve introduzione circa la struttura che compone il simulatore sviluppato nel corso del tempo.

Tale struttura è divisa a livello logico in due componenti principali, ovvero un lato server e un lato client (Fig. 87).

Il lato server funziona come fosse un gateway tra diversi elementi, occupandosi della gestione dell’acquisizione delle informazioni da tutte le

interfacce esterne presenti, l’elaborazione dei dati, la memorizzazione in un database e l’interscambio con l’altro lato del sistema.

Tale parte è sviluppata su un’architettura che fa di Node.js la parte centrale di tutte le funzionalità, per via della sua natura modulare e flessibile che lo ha reso lo strumento ideale per acquisire i dati da dispositivi quali i Phantom Omni(Fig.81) e la board arduino a cui erano collegati i sensori utilizzati per la gestione del feedback aptico.

Il lato client è destinato alla visualizzazione dell’interfaccia utente che viene usata per la visualizzazione dell’esperienza immersiva e per la gestione delle funzionalità dell’intera

Fig. 88 Phantom Omni Fig. 87 Architettura software Elaparo4D

piattaforma.

Questo lato del sistema è costituito da un’applicazione web che ospita l’interfaccia generale dell’intera piattaforma eLaparo4D, suddivisa in opportune sezioni che permettono di

visualizzare dati dell’utente, il riepilogo delle sue performance eseguite oltre che le schermate in cui accedere alle parti di esercitazioni della basic skills o di simulazione dell’intervento.

Queste due ultime componenti sono state realizzate utilizzando Unity3D come ambiente di sviluppo principale, in quanto permette la ricezione di informazioni dall’esterno sia nelle fasi di development che di deploy e utili nel nostro a caso manipolare gli strumenti laparoscopici nell’ambiente virtuale.

Sulla base della struttura presentata è stato possibile integrare alcune funzionalità che andassero ad ampliare quanto il sistema già consentiva di effettuare a tutti gli agenti presenti nel contesto.

Nello specifico si è pensato potesse essere interessante aumentare funzionalità legate alle performance del praticante, con la possibilità di rivedere quanto effettuato e poter ricevere feedback costruttivi dai supervisori e dagli esperti della disciplina attraverso un sistema aumentato in cui visualizzare note e suggerimenti visivi.

Il sistema di registrazione delle performance è stato sviluppato inserendo algoritmi dedicati alla memorizzazione delle coordinate delle posizioni nello spazio-tempo all’interno di variabili per tutta la durata dell’esperienza, salvandoli poi in maniera persistente e organizzati in modo da associare metadati informativi alla registrazione, come la data e la durata dell’esperienza.

Tale soluzione può essere adottata sia per quel che concerne la pratica delle basic skills (Minuto et al. 2018) che la pratica simulativa in quanto entrambe condividono la stessa modalità di ricezione e invio di informazioni e dati, differenziandosi solamente per il contenuto dell’esperienza simulativa in sé (Fig. 89).

La capacità di poter rivedere quanto fatto permette l’analisi a posteriori della propria

performance, permettendo il verificarsi sia di momenti di self-assessment che di discussione Fig. 89 Basic skills e simulation

e conversazione con utenti esperti per analizzare comportamenti e pratiche operatorie. Questa funzionalità è resa possibile dalla possibilità di mettere in pausa il sistema e discutere insieme ad altri agenti delle manovre effettuate argomentando possibili errori o riflessioni, in modo da comprendere il pensiero che ha portato all’esecuzione di determinate azioni o suggerire altre possibili alternative.

Tale interazione può essere effettuata in due modalità, una basica e una aumentata. Nella prima modalità viene usata la visualizzazione dell’interfaccia tradizionale e si va a conversare ed aggiungere contenuti digitali direttamente su quanto visualizzato sul monitor. La seconda modalità prevede la visualizzazione, attraverso l’utilizzo di un visore dedicato, di contenuto digitale messo in sovrapposizione all’interfaccia che viene rappresentata sul monitor. In questo modo si mantiene un distacco percettivo tra le due interfacce visive, permettendo una facilità di comprensione potenzialmente maggiore.

L’interazione che si verifica è che quella che prevede uno scenario in cui è presente un utente immerso, ma con la percezione del mondo reale e un utente esterno che, dotato di uno strumento apposito (es. tablet), è in grado di comunicare con il visore inviando sia messaggi semplici che disegni articolati e complessi i quali agendo in modalità ghost (overlay) possano permettere la comprensione di quanto si vuole trasmettere come conoscenza.

L’utilizzo di questa ultima modalità è stata poi ipotizzata essere utile per pratiche diverse dalla formazione collaborativa e più legate alla pratica individuale delle esperienze di training e simulazione.

Attraverso un utilizzo del genere, si è pensato potesse essere utile utilizzare un visore di realtà aumentata che attraverso la sovrapposizione di dati ambientali e del paziente permettesse la lettura rapida di informazioni rilevanti durante le pratiche operative.

Ovviamente quest’ultimo tipo di sviluppo deve essere poi valutato e validato dai potenziali utenti finali per verificare che non si presentino problemi legati all’ergonomia e alla user experience generale.

Quanto realizzato nella discussione della presente sezione ha portato alla pubblicazione di un articolo scientifico legato alla descrizione della creazione e del potenziale legato a questa esperienza immersiva.

Questa esperienza, che può risultare innovativa nel campo della simulazione e formazione medica, va ad inserire un ulteriore tassello di innovazione all’interno di un progetto già molto ambizioso e innovativo per sua natura per quanto sviluppato nei suoi anni di progetto. La direzione futura di ulteriori sviluppi deve partire dall’insieme degli avanzamenti fatti fin qui nell’intero progetto eLaparo4D, definendo dei punti di partenza che funzionino da linee guida per il miglioramento o il redesign del sistema. In questo modo sarà possibile poter

ricerca fatti, con la realizzazione di un reale prodotto usabile all’interno di contesti medici con la finalità di apportare benefici alla formazione del personale per l’acquisizione di

competenze e conoscenze.