Strategia di locomozione autonoma di dispositivi magnetici endovascolari mediante tracking ad ultrasuoni

FACOLT `A DI INGEGNERIA

Corso di Laurea Specialistica in Ingegneria Biomedica

Tesi di Laurea Specialistica

STRATEGIA DI LOCOMOZIONE AUTONOMA DI

DISPOSITIVI MAGNETICI ENDOVASCOLARI MEDIANTE

TRACKING AD ULTRASUONI

Laureando:

Marco MURA

Relatori:

Prof.ssa Arianna MENCIASSI Dott. Ing. Gastone CIUTI

dispositivi magnetici endovascolari mediante

tracking ad ultrasuoni

Elenco delle figure IV Elenco delle tabelle VI

1 Introduzione 1

1.1 Motivazioni . . . 1

1.2 Procedure mediche intravascolari . . . 2

1.3 Scopo della tesi . . . 6

1.4 Contributo . . . 9

1.5 Organizzazione e struttura della tesi . . . 9

2 Architettura 11 2.1 Sistema robotico . . . 13

2.2 Locomozione e uso dei dati preoperatori . . . 15

2.2.1 Locomozione semi-autonoma . . . 17

2.2.2 Controllo di forza della sonda ecografica . . . 18

3 Tracking tramite immagini US 20 3.1 Estrazione di feature . . . 21

3.1.1 Algoritmo SURF . . . 23

3.1.2 Algoritmo Lucas Kanade . . . 24

3.1.3 Algoritmo Lucas Kanade con segmentazione Watershed . . . 25

3.1.4 Scelta del algoritmo . . . 26

3.2 Caratterizzazione Algoritmo . . . 28

3.2.1 Numero di features . . . 30 II

4 Risultati sperimentali e conclusioni 35

4.1 Costruzione del percorso . . . 35

4.2 Verifica del controllo tramite immagini ecografiche . . . 37

4.3 Approccio alle biforcazioni . . . 39

4.4 Conclusioni . . . 40

4.4.1 Sviluppi futuri . . . 40

Bibliografia 42

1.1 Angioplastica e Bypass aortocoronarico . . . 2

1.2 Dispositivi per Aterotomia . . . 3

1.3 Sistemi per la navigazione remota del caterere . . . 5

1.4 Archittettura CAS . . . 7

1.5 Piattaforma MicroVast . . . 8

2.1 Progetto MicroVAST . . . 12

2.2 Rappresentazione grafica della piattaforma endovascolare MicroVAST . 13 2.3 Archittettura del sistema robotico . . . 14

2.4 Uso dei dati preoperatori all’interno dell’architettura CAS . . . 16

2.5 Rappresentazione grafica locomozione semi-autonoma . . . 17

2.6 Schema a blocchi del controllo di forza sulla sonda ecografica . . . 18

2.7 Sensore F/T ATI installato sul braccio robotico e frame cilindrico . . . 19

3.1 Uso dei dati intraoperatori all’interno dell’architettura CAS . . . 21

3.2 Schema a blocchi del funzionamento dell’algoritmo di visione . . . 22

3.3 Immagine ecografiche dell’algoritmo SURF in esecuzione . . . 23

3.4 Immagine ecografiche dell’algoritmo Lucas Kanade in esecuzione . . . . 24

3.5 Immagine ecografiche dell’algoritmo Lucas Kanade con segmentazione Watershed in esecuzione . . . 25

3.6 Tempi elaborazione e distribuzione delle features estratte dai vari algoritmi 27 3.7 Immagini ecografiche al variare di potenza e guadagno . . . 28

3.8 Tracking della capsula a distanze crescenti dalla sonda ecografica . . . . 29

3.9 Features estratte al variare di potenza e guadagno . . . 30 IV

3.11 Errore tra il baricentro reale e quello calcolato dall’algoritmo . . . 32

4.1 Percorso realizzato per testare la strategia di locomozione . . . 36

4.2 Percorso realizzato immerso in acqua . . . 37

4.3 Test sul controllo tramite immagini ecografiche . . . 38

4.4 Orientazione della sonda ecografica nel percorso . . . 39

4.5 Tratto discendente del percorso . . . 40

3.1 Riassunto delle performance dei tre approcci . . . 26

3.2 T-test sul numero features estratte con algoritmo Lucas Kanade e Lucas Kanade con segmentazione watershed . . . 26

3.3 Test ANOVA variazione Potenza . . . 31

3.4 Test ANOVA variazione Guadagno . . . 31

3.5 T-test errori calcolo baricentro . . . 33

3.6 Test ANOVA errori calcolo baricentro . . . 33

Introduzione

1.1

Motivazioni

Le patologie a carico del sistema cardiovascolare rappresentano un problema di sanit`a a livello mondiale e le placche aterosclerotiche, sviluppate nelle arterie, sono la principale causa di patologie a carico dei vasi e del cuore [1]. L’aterosclerosi `e causa di un elevato numero di decessi: secondo l’American Heart Association, pi`u di 64 milioni di Americani soffrono di patologie cardiovascolari [2]; `e la prima causa di morte nei paesi industrializzati, e all’interno dell’Unione Europea (EU), 1.9 millioni di decessi sono provocati da malattie del sistema cardiovascolare. In EU si stima che, tenendo conto della popolazione, et`a e altri parametri minori, avvengano circa 450.000 interventi di angioplastica all’anno. Un altro grosso problema `e il riconoscimento della precisa struttura anatomica della placca aterosclerotica, questo perch´e, nonostante la rottura della placca spieghi il 70% degli eventi coronarici acuti, solo il 20% si presenta in lesioni stenotiche severe, sebbene la maggioranza (50%) compare in stenosi non significative dal punto di vista emodinamico; inoltre, il rimanente 30% degli eventi coronarici acuti non sono associati a rotture di una placca ma solo a una erosione superficiale [3]. Da questo punto di vista, il potenziale beneficio derivante da nuove tecnologie `e considerevole per tutti quei pazienti con episodi coronarici acuti. Anche se le tecniche di diagnosi e terapia vascolare sono ampiamente evolute negli ultimi anni, ci sono ancora molte soluzioni possibili realizzabili grazie l’aiuto

della robotica come chirurgia teleoperata, miniaturizzazione degli strumenti etc.

1.2

Procedure mediche intravascolari

Le arterie sono il pi`u impegnativo scenario per micro- e/o nano-sistemi, e il loro utilizzo pu`o avere un enorme impatto sulla salute della popolazione. Attualmen-te le Attualmen-terapie per le patologie acuAttualmen-te delle arAttualmen-terie implicano inAttualmen-terventi chirurgici al fine di ripristinare il flusso sanguigno all’interno del vaso. Le tecniche chirurgiche pi`u utilizzate sono l’angioplastica e l’innesto di un bypass. L’angioplastica `e una procedura minimamente invasiva nella quale, attraverso tecniche di imaging (ti-picamente fluoroscopia), viene guidato manualmente un catetere fino al punto in cui il vaso `e stenotico o totalmente chiuso. Raggiunta la zone di interesse viene gonfiato un “palloncino”, presente sulla punta del catetere, con soluzione salina in modo da raggiungere una pressione che va dalle 75 alle 500 volte quella del flusso sanguigno normale (da 6 a 20 atmosfere). Il palloncino, in questo modo, spinge la placca aprendo il vaso e migliorando l’apporto ematico; in seguito viene sgonfiato e il catetere ritirato. L’angioplastica `e stata inizialmente descritta dal radiologo interventista Charles Dotter nel 1964; una spiegazione pi`u approfondita ed esaustiva della tecnica `e riportata in [4].

Figura 1.1: Esempi delle tecniche di angioplastica e di innesto di un bypass aortocoronarico

L’innesto di un bypass coronarico `e solitamente eseguito in pazienti che hanno una ostruzione delle arterie coronariche. Nell’eseguire un bypass coronarico, il

chirurgo utilizza una porzione di una vena del paziente (solitamente la safena) o di una arteria (solitamente la mammaria) per creare un percorso alternativo attraverso cui il sangue ossigenato pu`o raggiungere il muscolo cardiaco. La perdita di facolt`a mentali `e comune nei pazienti sottoposti a innesto bypass coronarico. Uno studio, attraverso l’uso di imaging MRI, ha riscontrato significanti danni cerebrali nel 51% dei pazienti subito dopo l’intervento di bypass coronarico [5]. Vari fattori possono contribuire a questo declino cognitivo. La macchina cuore-polmone e la chirurgia in se rilasciano vari detriti, tra cui frammenti di eritrociti e piccoli emboli. Per esempio, quando un chirurgo clampa e connette l’arteria ad una canula, si formano emboli che bloccano il flusso sanguigno causando piccoli infarti. Altri fattori che nella chiururgia cardiaca possono causare danni cerebrali sono l’ipossia, temperatura corporea troppo alta o troppo bassa, pressione sanguigna anormale, aritmie cardiache e febbre post intervento [6]. Un’alternativa alle procedure standard `e la rimozione della placca, che ostruisce l’arteria, tramite dispositivi per aterotomia.

Figura 1.2: (a) SilverHawk Atherectomy, (b) Rotablator e (c) CSI DiamondBack 360

L’aterotomia `e una procedura, simile all’angioplastica, attraverso la quale si ripristina il flusso sanguigno rimuovendo la placca (ateroma); la differenza nelle due tecniche `e che, per rimuovere la placca, l’aterotomia usa micro-frese, laser o il rilascio

di energia microsonica; dispositivi commerciali per aterotomia sono: il SilverHawk Atherectomy (EV3, Minneapolis, MN) (Figura 1.2a), il CSI DiamonBack 360 (CSI, Minneapolis, MN) (Figura 1.2c), il Rotablator device (Boston Scientific, Natik, MA) (Figura 1.2b) o l’ EkoSonic—Endovascular System (EkoSonic, ES). La strategia di navigazione all’interno dei vasi tradizionalmente consiste in cateteri endovascolari fatti avanzare sotto la guida di immagini provenienti da fluoroscopia. Le innovazioni tecniche sono chiaramente mirate a ridurre l’esposizione del medico alla fluoroscopia, migliorare la stabilit`a e riprodicibilit`a dei catereri, e, naturalmente, ad aumentare l’incolumit`a del paziente [7].

Recentemente, sono stati introdotti due sistemi per la navigazione remota del caterere, entrambi con la possibilit`a di controllare anche l’ablazione della placca [8]. Uno si basa su un sistema elettromeccanico dove due guaine curvabili indirizzano un caterere convenzionale (Sensei—Robotic Navigation System, RNS), mentre l’altro sfrutta un campo magnetico permanente orientabile, grazie al quale un catetere equi-paggiato di magnete deve allinearsi (Niobe—Remote-Controlle Magnetic Navigation System, MNS). Un promettente approccio per il posizionamento robotico di cateteri per stent o palloncino e fili guida coronarici in procedure di angioplastica coronarica `e quello proposto dal CorPath 200 System (Corindus Vascular Robotics, MA). No-nostante i vantaggi offerti dalle piattaforme robotiche per applicazioni endovascolari, queste necessitano di ulteriori perfezionamenti per migliorare la loro applicabilit`a e per dimostrare la non inferiorit`a rispetto alle procedure manuali. Oltretutto tutte queste piattaforme utilizzano cateteri e non possono essere convertire a soluzioni wireless o softly-wired. Oltre a questi dispositivi commerciali sono stati proposti altri sistemi di navigazione basati sull’interazione tra un campo magnetico esterno e materiali paramagnetici incorporati all’interno di sonde endovascolari. Guo et al. hanno presentato un pesce miniaturizzato equipaggiato di magneti interni, che permettono l’oscillazione, la rotazione della pinna e la propulsione frontale, proponen-done l’uso anche nell’apparato cardiocircolatorio [9]. Abbott et al. hanno sviluppato una piattaforma robotica comprensiva di un magnete permanente rotante che muove piccoli magneti all’interno del fluido cerebrospinale [10]. Martel et al., anche se con un diverso approccio, hanno proposto l’uso della risonanza magnetica sia per il

trac-Figura 1.3: (a) Sensei—Robotic Navigation System, (b) Niobe—Remote-Controlled Magnetic Navigation System e (c) CorPath 200 System.

ciamento che per la propulsione di microparticelle all’interno di piccoli vasi (di circa 1-2 mm di diametro) [11][12]. La localizzazione di questi micro-sistemi intravascolari rimane un problema chiave in questa tipologia di applicazioni. Diverse tecniche sono utilizzate per la diagnosi delle placche cardiovascolari e possono essere riassunte in imaging a risonanza magnetica (MRI), tomografia computerizzata (CT), tomografia ad emissione di positroni (PET) ed ecografia a ultrasuoni (US). Attraverso l’ MRI `e possibile caratterizzare la vulnerabilit`a di una placca [13] e, con l’uso di gadolinio come mezzo di contrasto, si possono far esaltare le diversit`a fra le varie componenti della stessa [14]. La CT mediante acquisizioni rapide e multistrato permette la ricostruzione tridimensionale delle varie strutture anatomiche e la scelta del piano di proiezione dell’immagine (assiale, sagittale, frontale o libera) [15]. La PET permette un’eccellente sensivit`a in imaging di tipo molecolare, ma ha bassa risoluzione spaziale. Le immagini US sono ampiamente usate nel tracciamento delle placche e molte altre procedure vengono sviluppate combinando le US ad altre tecniche. Le immagini US si basano sul processamento selettivo delle onde acustiche di ritorno dalle interfacce tra tessuti con differente impedenza acustica [16]. Oltretutto, l’ecografie 2D e 3D forniscono informazioni sulla distribuzione della placca intravascolare e sulle sue carattaristiche superficiali [17]. Nonostante MRI e CT forniscano risoluzioni spaziali molto pi`u accurate (0.57 mm per una MRI a 3.0 Tesla [18] e 0.195 mm per una CT), hanno tempi di acquisizione lunghi [19] e alte dosi di radiazione. Diversamente, l’ecografia combina una buona risoluzione spaziale con minimi rischi per la salute del paziente; inoltre, grazie all’alta velocit`a di acquisizione e ad un adeguato frame rate (fino a 100 frame al secondo), pu`o essere considerata come valida alternativa per tracking e posizionamento in procedure roboticheassistite [20].

1.3

Scopo della tesi

Tenendo a mente tutte le considerazioni fatte nelle sezioni precendenti, l’obbiettivo di questa tesi riguarda lo sviluppo di una strategia di locomozione autonoma all’interno di una piattaforma robotica per procedure mediche intravascolari. Combinando i benefici delle immagini ecografiche e della navigazione magnetica robot-assistita si propone una piattaforma innovativa basata sull’archittettura tradizionale di chirurgia

computer-assistita (CAS) adattata per procedure mediche intravascolari.

Figura 1.4: Architettura CAS riadattata per procedure mediche intravascolari con locomozione magnetica e controllo US

Come schematizzato in Figura 1.4, la piattaforma per navigazione vascolare `e composta da tre unit`a principali:

ˆ unit`a magnetica comprendente un magnete esterno permanente (EPM) per la locomozione di un dispositivo magnetico endovascolare all’interno del paziente;

ˆ unit`a di controllo che collega l’unit`a magnetica con l’operatore;

ˆ unit`a di elaborazione che unisce i dati pre-operatori e dati intra-operatori ricavati attraverso il sistema di tracking a US, implementando cos`ı un ciclo controllo basato sulle immagini US.

La piattaforma, mostrata in Figura 1.5, `e formata da due bracci robotici, delle quali una fornita di EPM e l’altra di sonda US. L’EPM muove un diposistivo magnetico interno mentre l’US fornisce il tracking dello stesso con l’aiuto dei dati pre-operativi.

Un controllo di basso livello si assicurer`a che il sistema endovascolare sia sempre nel campo visivo dell’US e che i movimenti siano consistenti con il percorso desiderato, pianificato dalle immagini pre-operative.

Figura 1.5: Rappresentazione schematica della piattaforma endovascolare MicroVast Nella piattaforma verranno anche integrate delle strategie post-intervento che non vengono affrontate in questa tesi. In particolare, raggiunta una occlusione, il dispositivo sar`a in grado di rilasciare diversi agenti: innanzitutto particelle per magnetizzare l’embolo; sucessivamente, micro-bolle per facilitare la lisi della placca tramite un trasduttore US ad alta intensit`a. Questi micro-agenti possono essere rilasciati dal dispositivo magnetico attraverso un micro-catetere apposito, che pu`o essere utilizzato anche come sistema di recupero d’emergenza. `E bene sottolineare che, al contrario dei catereri tradizionali ora in commercio, il micro-catetere non avr`a nessuna funzione strutturale, prevenendo danni alle pareti interne del vaso e incrementando la mobilit`a. I frammenti risultanti dall’azione della lisi con US dovrebbero essere pi`u piccoli dei globuli rossi per venir assorbiti dal sistema retico-loendoteliare; comunque, alcuni frammenti pi`u grandi potrebbero formarsi, con il rischio di embolizzazione. La raccolta dei frammenti `e quindi di primaria importanza; nella piattaforma, grazie a particelle magnetiche la cui superfice `e stata modificata

con anticorpi antifibrinogeni, i frammenti potranno venir raccolti in un’area sicura e sucessivamente rimossi.

La strategia di locomozione autonoma verr`a incorporata all’interno dell’unit`a di elaborazione. Unendo le informazioni ricavate dai dati preoperatori con quelle intraoperatorie si potr`a localizzare il dispositivo endovascolare e spostarlo all’interno di percorso desiderato. Per fare ci`o dalle informazioni preoperatorie, costituite da immagini CT o MRI, si ricaver`a il percorso da seguire all’interno dei vasi sfruttando tecniche di individuazione del percorso centrale, mentre tramite le informazioni intraoperatorie, ricavate da immagini ecografiche, si individuer`a il dispositivo e il suo movimento all’interno del percorso.

1.4

Contributo

I principali contributi di questa tesi allo sviluppo della piattaforma riguardano: ˆ Lo sviluppo di un algoritmo di tracking del dispositivo tramite tecniche di

optical flow;

ˆ Lo sviluppo di una strategia per la locomozione autonoma del dispositivo endovascolare mediante l’uso di immagini US;

ˆ Un approccio per l’utilizzo dei dati preoperatori per la costruzione di un percorso dentro il quale deve muoversi il dispositivo interno;

ˆ Lo sviluppo di un algoritmo di controllo della forza impressa dalla sonda ecografica sul corpo del paziente.

L’insieme di questi contributi permette un possibile sviluppo della piattaforma robotica, basata su locomozione magnetica permanente e controllo ad anello chiuso tramite immagini US, fornendo una base per ulteriori evoluzioni al fine di ridurre il divario tra le attivit`a di ricerca e la pratica medica.

1.5

Organizzazione e struttura della tesi

Capitolo 2 descrive l’architettura della piattaforma robotica per chirurgia car-diovascolare concentrandosi sul controllo teleoperato e cooperativo dei due bracci robotici antropomorfi, dei quali uno `e equipaggiato con un magnete permanente e l’altro con la sonda robotica. Viene anche affrontato l’uso dei dati preoperatori e la costruzione del percorso che deve seguire il dispositivo interno;

Capitolo 3 descrive lo sviluppo dell’algoritmo di tracking del dispositivo, mostrando le varie strategie di localizzazione implementate, la scelta della pi`u efficiente e dei test a cui `e stato sottoposto l’algoritmo finale per validare il suo utilizzo; Capitolo 4 descrive le prove effettuate per testare l’intera strategia di locomozione,

i risultati ottenuti e conclude il lavoro di tesi discutendo i risultati ottenuti e suggerendo possibili sviluppi futuri.

Architettura

MicroVAST (MICROsystem for VAscular diagnosticS and inTervention) `e un pro-getto nazionale finanziato dalla Fondazione Cassa di Risparmio di Pisa per la durata di 3 anni (Figura 2.1). Il progetto `e partito il 1° Dicembre 2010 e terminer`a il 1° Dicembre 2013 per una durata complessiva di 36 mesi. Il consorzio racchiude 5 partner provenienti sia da industrie che da organizazzioni di ricerca, L’Istituto di Biorobotica della Scuola Superiore Sant’Anna `e il coordinatore del progetto. Il pro-getto `e mirato e motivato nel trattare le patologie cardiovascolari, che costituiscono una delle pi`u gravi problematiche di salute a livello mondiale e, nello specifico, le placche aterosclerotiche che si sviluppano all’interno delle arterie, causa principale di patologie vascolari e cardiache. L’identificazione precisa della struttura anatomica della placca aterosclerotica, nel singolo paziente, `e ancora lontana dall’essere rag-giunta nella pratica clinica. Questo implica che il numero dei pazienti che potranno trarre beneficio dallo sviluppo di nuove tecnologie `e quasi il 50% di tutti i pazienti con eventi coronarici acuti. `E in questo scenario che la robotica pu`o dare il suo contributo. Le arterie, che si ramificano da diametri dell’ordine dei centimetri fino a pochi micron, sono lo scenario pi`u interessante, rappresenta una grossa sfida per applicazioni di micro- e nano-sistemi, e il loro uso potr`a avere un enorme impatto sulla salute della popolazione. Quindi, il principale obbiettivo di MicroVAST `e di affrontare le patologie cardiovascolari attraverso lo sviluppo di nuove procedure, sia diagnostiche che terapeutiche, nel sistema vascolare sfruttando micro/nano-sistemi

integrati in una piattaforma robotica fruibile per applicazioni cliniche.

Figura 2.1: Progetto MicroVAST

All’interno del progetto l’autore della tesi ha basato il suo lavoro nello sviluppo di una strategia di locomozione autonoma da integrare in una piattaforma robotica basata sull’archittettura tradizionale di chirurgia computer-assistita (CAS) adattata per procedure mediche intravascolari, combinando i benifici della navigazione ma-gnetica robot-assistita e la navigazione tramite imaging a US. Come schematizzato in Figura 1.4, la piattaforma per navigazione vascolare `e composta da tre unit`a principali: i) unit`a magnetica comprendente un magnete esterno permanente (EPM) per la locomozione di un dispositivo magnetico endovascolare all’interno del paziente, ii) unit`a di controllo che collega l’unit`a magnetica con l’operatore, e iii) unit`a di elaborazioneche unisce i dati pre-operatori e intra-operatori ricavati attraverso il sistema di tracking a US, implementando cos`ı un ciclo di controllo basato sulle immagini US. La piattaforma, mostrata schematicamente in Figura 2.2, `e formata da due bracci robotici, delle quali una fornita di EPM e l’altra di sonda US.

L’EPM muove un diposistivo magnetico interno mentre l’US fornisce il tracking dello stesso con l’aiuto dei dati pre-operativi. Un controllo di basso livello si assicurer`a che il sistema endovascolare sia sempre nel campo visivo dell’US e che i movimenti siano consistenti con il percorso desiderato, pianificato dalle immagini pre-operative.

Figura 2.2: Rappresentazione grafica della piattaforma endovascolare MicroVAST All’interno del capitolo verr`a descritta la piattaforma robotica per chirurgia cardiovascolare concentrandosi sul controllo teleoperato delle due bracci robotici antropomorfi e di come sono stati utilizzati i dati preoperatori e intraoperatori per la costruzione di un cammino all’interno del quale il dispositivo magnetico interno deve muoversi e un controllo della forza che la sonda ecografica imprime sul corpo del paziente.

2.1

Sistema robotico

La piattaforma robotica, rappresentata in Figura 2.3, comprende un braccio robo-tico antropomorfo con 6 gradi di libert`a (RV-3SB; Mitsubishi Electric, Giappone) provvisto di un EPM attaccato all’end-effector; un secondo braccio robotico antropo-morfo con 6 gradi di libert`a (RV-6SL; Mitsubishi Electric) per mantenere e spostare una sonda ecografica (CA430E, Esaote, Italia) durante il controllo bastato su US; una interfaccia uomo-macchina (HMI) con una periferica di controllo intuitiva; e il dispositivo endovascolare (capsula o simil-catetere) fornito di magnete interno permanente (IPM) per la propulsione. Il diposistivo endovascolare, all’interno del progetto MicroVAST, `e una piccola caspula di diametro di 5 mm, lunghezza 10.6 mm e peso di 0,75 g. La capsula `e equipaggiata con 6 magneti permanenti NdFeB N52,

magnetizzati assialmente con diametro di 3.2 mm e spessore 1.6 mm. Nella modalit`a di locomozione semi-autonoma (descritta in maniera pi`u approfondita nel paragrafo 2.2.1) l’operatore pu`o muovere il dispositivo tramite l’uso di una interfaccia aptica (Phantom-Omni, Sensable Technologies, Wilmington, MA, USA), imponendo un movimento al braccio robotico utilizzato per mantenere, muovere e orientare l’EPM attraverso l’uso di software real-time (RT) dedicato. Grazie all’interazione tra l’EPM montato come end-effector del braccio robotico e l’IPM all’interno del dispositivo endovascolare, il commando di movimento imposto dall’operatore viene trasmesso in maniera wireless al dispositivo. Come EPM `e stato scelto un magnete permanente magnetizzato assialmente NdFeB N52 (rimanenza 1.48T), di 51 mm di diametro, 25 mm di spessore e pesante 0.4 kg.

Figura 2.3: Architettura del sistema robotico composta da una interfaccia uomo macchina (HMI) e due bracci robotici a 6 gradi di libert`a

Il secondo braccio robotico `e dotato di una sonda ecografica per l’implentazione di un tracking RT basato sulle immagini US. L’algoritmo (di cui si parler`a in maniera pi`u esaustiva nel Capitolo 3) processa in RT le immagini US al fine di tracciare il dispositivo e stabilire, in maniera univoca, la differenza in posizione tra l’oggetto e il

centro dell’immagine. Nell’elaborare le immagini vengono effettuati vari processi (selezione ROI, estrazione feature, segmentazione oggetto etc) grazie ai quali `e possibile identificare il dispositivo endovascolare e ricavare il suo posizionamento. Come trasduttore US `e stata usata una sonda ecografica convessa multielementi con frequenza di lavoro variabile tra i 3.5 e i 5 MHz e raggio di curvatura di 40 mm. La frequenza `e stata fissata a 5 MHz perch´e permette una maggiore risoluzione spaziale. La profondit`a di scansione dello strumento varia da 20 a 150 mm.

Le due braccia robotiche vengono controllate all’interno di un sistema basato su interazioni server/client. In questo sistema, un primo computer si comporta come client, riceve i nuovi dati contenenti posizione e orientazione voluti dall’utente e manda uno specifico pacchetto di dati a un secondo computer che agisce come server in un protocollo di comunicazione bidirezionale TCP/IP. Il server, che coesiste nella stessa area con i due robot, ha il compito di mandare i comandi di posizione e orientamento, richiesti dall’utente, ai due robot sfruttando, in questo caso, una comunicazione bidirezionale di tipo UDP/IP, giustificata dall’uso di una connessione ethernet diretta. A causa della prossimit`a con i robot, il server si fa carico anche di tutte quelle strategie di sicurezza, come il controllo dei limiti meccanici dei joint e singolarit`a. Per bilanciare il carico computazionale tra i due computer, l’algoritmo di tracking del dispositivo viene eseguito sulla macchina client.

2.2

Locomozione e uso dei dati preoperatori

Un punto particolarmente cruciale per la piattaforma robotica `e la definizione di un percorso, dentro il quale il diposistivo magnetico interno deve muoversi e, come queste informazioni vengano elaborate per inviarle ai due bracci robotici al fine di muoversi in maniera corretta. Tecniche diagnostiche come CT e MRI, permettono la ricostruzione di immagini tridimensionali del corpo del paziente con una risoluzione particolarmente accurata. In particolare la CT, mediante acquisizioni rapide e multistrato, permette la ricostruzione tridimensionale delle varie strutture anatomiche e la scelta del piano di proiezione dell’immagine (assiale, sagittale, frontale o libera) [15]. Sfruttando queste due tecniche `e possibile ricavare un tragitto, dentro il quale la capsula deve muoversi, con estrema precisione. Utilizzando, quindi, queste informazioni, una

volta segmentati i vasi dall’immagine complessiva, `e possibile tramite tecniche di estrazione del cammino centrale, ricavare un percorso ben definito e utilizzarlo come traiettoria da fornire ai due bracci robotici. Per una trattazione pi`u approfondita su queste tecniche si consiglia la lettura di [21] e [22]. Questa traiettoria, oltre che per il movimento dei robot, sar`a di fondamentale importanza per l’orientazione della sonda ecografica, che per poter tracciare il dispositivo interno, dovr`a sempre essere posizionata in base alla orientazione del vaso.

Figura 2.4: Uso dei dati preoperatori all’interno dell’architettura CAS I dati ricavati dal processo di estrazione del percorso saranno quindi elaborati per essere convertiti in coordinate spaziali e poi forniti come ingresso ai due robot. Nella procedura automatizzata i due robot si muoveranno autonomamente seguendo la traiettoria impostata, a meno che il controllo delle immagini ecografiche (descritto esaustivamente in Capitolo 3) dia responso negativo. In Figura 2.4 vengono eviden-ziati, all’interno dell’architettura di chirurgia computer-assistita (CAS), i blocchi in cui si fa uso dei dati preoperatori.

2.2.1 Locomozione semi-autonoma

Nello sviluppo del lavoro di tesi `e stata implementata anche una strategia di loco-mozione semi-automatizzata. Questa strategia permette all’operatore un maggiore controllo nella fase di locomozione del dispositivo magnetico interno consentendo una certa libert`a di movimento dalla traiettoria ottenuta con i dati preoperatori. `E stata scelta una interfaccia aptica come dispositivo di controllo da parte dell’utente. Il dispositivo `e un joystick (Phantom Omni, Sensable, USA) con 6 gradi di libert`a, force feedback e cinematica assimilabile a quella del braccio robotico antropomorfo. I due bracci robotici saranno controllati attraverso i movimenti di traslazione e/o rotazione del joystick Phantom Omni. La periferica restituisce 6 comandi di

movi-Figura 2.5: Rappresentazione grafica locomozione semi-autonoma. L’operatore, attraversto il Phantom Omni, pu`o spostare la caspula in un intorno della traiettoria ricavata dalle immagini preoperatorie

mento (3 per le traslazioni 3 per le rotazioni) come differenza di posizione assoluta del joystick tra il ciclo k e k-1. La periferica `e connessa al computer client tramite una porta FireWire e si interfaccia con l’unit`a di controllo sfruttando l’OpenHaptics toolkit. Per attuare il controllo semi-automatizzato, i movimenti effettuati mediante il joystick, sono stati moltiplicati per una matrice di rotazione generando cos`ı una

stringa di comandi relativi all’istruzione che il robot deve compiere. Semplificando, tramite uno spostamento avanti/indietro del joystick si avanza/indietreggia nella traiettoria mentre, muovendo lateralmente lo stick del Phantom, ci si pu`o spostare in un intorno della traiettoria (compatibilmente con il diametro del vaso in cui il dispositivo interno si trova) come mostrato in Figura 2.5.

2.2.2 Controllo di forza della sonda ecografica

Per il corretto funzionamento della sonda ecografica, questa deve stare sempre a contatto con il corpo del paziente e premere con una forza costante. Per questo motivo `e stato sviluppato un ciclo di controllo al fine di mantenere una pressione costante sulla sonda, senza correre il rischio di danneggiare il paziente. Come sensore di forze e coppie, `e stata utilizzata una cella di carico commerciale a 6 gradi di libert`a (MINI-45 SI 145-5, ATI Industrial Automation, USA) e successivamente installata, tramite una interfaccia dedicata in alluminio, tra il robot e la sonda ecografica. Il sensore ha una risoluzione di 1/16 N per le forze misurate lungo i tre assi, 1/752 Nm per le coppie sull’asse x e y e 1/1504 Nm lungo l’asse z. Il range di valori misurabili va da±145 N per le forze misurate lungo gli assi x e y, ±290 N per le forze lungo l’asse z e ±5 Nm per le coppie lungo i tre assi. La cella di carico `e connessa al PC tramite una board di acquisizione dati National Instruments (NI PCI-6220, National Instruments, Inc., USA) e interfacciata con il programma di controllo dei robot attraverso una implementazione software in C++. Uno schema a blocchi della strategia di controllo di forza `e mostrato in Figura 2.6.

Per simulare il comportamento della sonda alle sollecitazioni, `e stato costruito un frame cilindrico in Delrin® (diametro 90mm, spessore 20mm) geometricamente simile (per raggio di curvatura e larghezza) alle dimensioni della sonda stessa. Dai dati ottenuti dalla cella di carico, viene compensato il peso della sonda, dovuto alla forza di gravit`a, in maniera dinamica. I valori compensati, fc(k), vengono poi

processati mediante sogliatura, al fine di rimuovere valori al di sotto di un certo limite (0.3 N per le forze e 0.1 N-mm per le coppie), eliminando cos`ı le interferenze elettroniche. A questo punto viene effettuato un controllo su i valori di forza e coppia ottenuti e, mediante un feedback di orientazione dei joint, calcolate le nuove posizioni e orientazioni da fornire all’end effector del robot.

Figura 2.7: Sensore F/T ATI installato sul braccio robotico e frame cilindrico. Le dimensioni del frame sono paragonabili a quelle della sonda ecografica

Questo ciclo di controllo `e di cruciale importanza per l’incolumit`a del paziente, infatti, in caso di valori di forza e coppia sovrasoglia, il ciclo controllo imposter`a delle nuove posizioni che riducano la pressione della sonda sul corpo, escludendo cos`ı la possibilit`a di nuocere alla salute del paziente.

Tracking tramite immagini US

La parte principale di controllo dell’intera piattaforma robotica `e il feedback tramite immagini ecografiche. Queste devono fornire informazioni sulla posizione del disposi-tivo endovascolare all’interno dei vasi e se il movimento impresso dal EPM viene effettivamente percepito dal dispositivo interno. Le immagini US sono intrisecamente pi`u sicure di altre tecniche diagnostiche e hanno un frame rate tale da permettere applicazioni in tempo reale. Di contro non hanno una elevata risoluzione e quindi discriminare oggetti, al loro interno, `e particolarmente complesso. Per questo motivo sono state implementate diverse strategie di controllo delle immagini US al fine di ottenere il miglior risultato in termini di tracking dell’oggetto e di velocit`a di esecuzione dell’algoritmo stesso. L’elaborazione delle immagini `e stata sviluppata sfruttando le librerie visive OpenCV, e successivamente integrate nel programma in C++ di controllo dei due robot. Per questioni di carico computazionale, la parte di elaborazione delle immagini avviene nel computer client, come descritto nel paragrafo 2.1.

In questo capitolo verranno quindi esposte le strategie implementate e la scelta di una che ragiungesse i parametri di tracking e rapidit`a di esecuzione desiderati. Successivamente, per la strategia scelta, sono stati effettuati ulteriori test al fine di caratterizzarne meglio le funzionalit`a al variare di specifici parametri dell’ecografo (potenza e guadagno) e i risultati ottenuti da questi test.

Figura 3.1: Uso dei dati intraoperatori all’interno dell’architettura CAS.

3.1

Estrazione di feature

L’obbiettivo dell’algoritmo di tracking `e di trovare il maggior numero di feature possibili relative all’oggetto e, di fare questo nel minor tempo possibile. Questo perch´e avere molte feature dell’oggetto permette un tracking pi`u accurato e, non meno importante, l’algoritmo deve essere veloce per rimanere in realtime. Naturalmente, le features estratte devono appartenere solamente all’oggetto, altrimenti il tracking sar`a affetto da errore. Sono stati esplorati tre diversi approcci per l’estrazione delle feature e confrontati tra loro per capire quello che pi`u si adattava alle nostre esigenze.

I tre diversi approcci sono:

1. SURF (Speeded Up Robust Feature) [23]; 2. Lucas Kanade (LK) [24];

SURF (Speeded Up Robust Feature) `e un algoritmo di feature detection, pre-sentato da Herbert Bay et al. nel 2006, che pu`o essere usato sia per compiti come riconoscimento di oggetti che per ricostruzioni tridimensionali. Prende spunto da un altro algoritmo visivo, il SIFT (Scale-invariant feature transform)[26], anche se rispetto a questo `e pi`u robusto a trasfomazioni dell’immagine e varie volte pi`u veloce per quanto riguarda l’esecuzione. SURF si basa su wavelet Haar 2D e fa un uso particolarmente efficiente di immagini integrali.

Il Lucas Kanade `e un algoritmo differenziale di stima dell’optical flow sviluppato da Bruce D. Lucas e Takeo Kanade. Assume che lo spostamente di punti di interesse (feature) `e essenzialmente costante in un intorno del punto considerato. Sotto queste considerazioni risolve le equazioni base dell’optical flow per tutti i pixels presenti in quell’intorno. Le feature vengono estratte usando un altro algoritmo, lo Shi-Tomasi[27], che ricerca iterativamente spigoli all’interno dell’immagine. Fornendo queste feature, l’algoritmo Lucas-Kanade `e in grado di calcolare lo spostamento dei punti da un frame all’altro.

Il Watershed `e un particolare tipo di segmentazione dell’immagine; sfrutta l’idea che le immagini possano essere assimilabili a rilievi topografici dove, il valore di grigio del singolo pixel, rappresenta l’altitudine in quel punto. Al fine di segmentare un oggetto, il watershed opera su immagini differenziali dove il gradiente `e massimo nei contorni dell’oggetto.

Figura 3.2: Schema a blocchi del funzionamento dell’algoritmo di visione. Le tre strategie sono state implementate seguendo una logica di confronto tra fra-me successivi cofra-me rappresentato schematicafra-mente in Figura 3.2. L’implefra-mentazione richiede all’utente di definire una ROI (region of interest) selezionando l’oggetto con

il mouse, dopodich´e verranno estratte le feature, calcolato il baricentro (come media di tutte le feature trovate) e confrontate con quelle del frame successivo in modo iterativo. Dopo la fase di selezione dell’oggetto con il mouse, l’algoritmo aggiorner`a automaticamente l’oggetto in base alle informazioni elaborate nel frame precedente, attuando cos`ı un tracking dell’oggetto.

Tenedo a mente lo schema a blocchi di Figura 3.2, si descriver`a pi`u nel dettaglio come sono stati implementati i tre approcci.

3.1.1 Algoritmo SURF

Figura 3.3: Immagine ecografiche dell’algoritmo SURF in esecuzione. A destra `e rappresentata la maschera.

Il SURF `e un algoritmo vero e proprio di estrazione e matching di feature, quindi ha dentro di se tutte le varie parti necessarie per questo scopo. Una volta che l’utente seleziona l’oggetto tramite il mouse al frame i, viene richiamata una funzione delle OpenCV (CvExtractSURF) che elabora la parte di immagine selezionata ne estrae le features. Queste features non solo contengono le x e y all’interno dell’immagine, ma anche dei “descrittori” utilissimi per associare le features solo all’oggetto selezionato. Questi descrittori permettono di ritrovare l’oggetto anche se questo viene completamente perso dall’immagine permettendo cos`ı un suo possibile recupero. Una volta ottenute le features viene calcolato il loro baricentro. A questo

punto viene richiamata di nuovo CvExtractSURF e si estraggono tutte le feature del frame successivo (i+1) a quello in cui l’utente seleziona l’oggetto. Ora vengono confrontate le features dell’oggetto con quelle di tutto il frame successivo, riconosciuto l’oggetto all’interno del frame e richiamata una funzione per aggiornare le feature dell’oggetto. In questa funzione, viene creata una ROI (region of interest) centrata sul baricentro calcolato precendentemente, estratte le feature di questa ROI e creata una maschera circolare. Questa maschera circolare verr`a poi usata al frame i+2, dove, al posto di estrarre le features di tutto il frame, vengono estratte solo quelle all’interno della maschera, aumentando cos`ı la velocit`a di esecuzione del programma. Queste features verrano confrontate con quelle dell’oggetto e cos`ı via iterativamente fino alla fine dell’esecuzione del programma.

3.1.2 Algoritmo Lucas Kanade

Figura 3.4: Immagine ecografiche dell’algoritmo Lucas Kanade in esecuzione. A destra `e rappresentata la maschera.

Il Lucas Kanade `e un algoritmo per il calcolo dell’optical flow, e non per il matching e detection di features. Per questo motivo `e stata implementata una strategia di confronto tra frame successivi per ottenere un detection di features, sotto l’ipotesi che fra due frame successivi l’oggetto non si sposti troppo. L’algo-ritmo parte quando l’utente seleziona l’oggetto con il mouse (frame i). Di questa

parte selezionata, vengono estratte le features Shi-Tomasi tramite una funzione delle OpenCV (CvGoodFeatureToTrack). Questa funzione restituisce un vettore (Points0) con le coordinate x e y delle features all’interno dell’immagine. Viene poi calcolato il baricentro delle features trovate. Questa `e la grossa differenza con l’approccio SURF: mentre cvExtractSURF, oltre le coordinate delle features, restituisce anche un descrittore delle stesse, CvGoodFeatureToTrack da solo le coordinate e quindi in caso di scomparsa dell’oggetto dall’immagine `e impossibile recuperarlo. Al frame i+1 viene calcolato l’optical flow utilizzando un’altra funzione delle OpenCV (CalcOp-ticalFlowPyrLK) a cui vengono dati in ingresso il vettore Points0 e restituisce un nuovo vettore, Points1, con le coordinate aggiornate delle features trovate preceden-temente. Viene calcolato il baricentro delle feature presenti in Points1 e richiamata una funzione per aggiornare le features dell’oggetto. La funzione di aggiornamento crea una ROI centrata sul baricentro delle features, crea una maschera circolare e richiama la funzione CvGoodFeatureToTrack, che questa volta ricercher`a le feature solo all’interno della maschera. Di queste features verr`a calcolato il baricentro, l’optical flow e cos`ı via iterativamente per tutta l’esecuzione dell’algoritmo.

3.1.3 Algoritmo Lucas Kanade con segmentazione Watershed

Figura 3.5: Immagine ecografiche dell’algoritmo Lucas Kanade con segmentazione Watershed in esecuzione. A destra `e rappresentata la maschera.

L’approccio Lucas Kanade con segmentazione Watershed non differisce molto da quello presentato nel paragrafo 3.1.2. La differenza sostanziale si trova nella routine di aggiornamento delle feature dell’oggetto. In questo approccio, al posto della maschera circolare, viene creata una maschera utilizzano il watershed. Per fare ci`o viene utilizzata una funzione di OpenCV (watershed) che ha bisogno di una immagine di input, quella con l’oggetto, e di una immagine di markers, con dei punti chiave per fare convergere l’algoritmo. La maschera ottenuta viene poi dilatata e utilizzata dalla funzione CvGoodFeatureToTrack. Il vantaggio di utilizzare una maschera cos`ı ottenuta `e che, avendo una forma molto simile a quella dell’oggetto, permette di estrarre solo features del dispositivo e non features appartenenti ad altre strutture.

3.1.4 Scelta del algoritmo

I tre approcci descritti prima, sono stati testati nelle stesse condizioni operative (Intel® Core—2 Duo CPU P8400 2.26GHz, 4 Gb RAM, Windows Vista) e i risultati

sono i seguenti:

SURF LK LK-W Tempo elaborazione medio 258 ms 13 ms 13 ms Feature estratte massime 18 9 12 Feature estratte medie 11 6 7 Feature estratte minime 4 4 4

Tabella 3.1: Riassunto delle performance dei tre approcci. LK - LKW

H 0

p 0,4543

Tabella 3.2: T-test sul numero features estratte con algoritmo Lucas Kanade e Lucas Kanade con segmentazione watershed.

Dalle prove si `e evidenziato che con SURF vengono estratte molte pi`u feature rispetto gli altri due approcci ma il tempo di elaborazione `e estremamente elevato e quindi non `e compatibile con una applicazione real-time, dove il nostro limite superiore `e 40 ms (25 frame/s). LK e LK-W hanno tempi di elaborazioni paragonabili e anche stesso numero di feature (come evidenziato dal t-test, p-value = 0,01, in

tabella 3.2) ma LK tende a perdere l’oggetto molto rapidamente, mentre questo non accade con l’impementazione LK-W, dove la segmentazione aiuta l’algoritmo a seguire meglio l’oggetto.

Per queste ragioni `e stata scelta l’implementazione LK-W che, tra le tre, `e la pi`u efficacie delle strategie implementate.

Figura 3.6: Tempi elaborazione e distribuzione delle features estratte dai vari algoritmi (Intel® Core—2 Duo CPU P8400 2.26GHz, 4 Gb RAM, Windows Vista).

3.2

Caratterizzazione Algoritmo

Per comprendere meglio il comportamento dell’algoritmo in diverse condizioni si `e deciso di effettuare delle prove variando dei parametri dell’ecografo che modificano l’immagine ottenuta, come `e possibile vedere in Figura 3.7.

Figura 3.7: Immagini ecografiche al variare di potenza e guadagno. Si noti come all’aumentare dei parametri il contrasto tra oggetto e sfondo diminuisce.

I parametri che si `e scelto di variare sono potenza e guadagno. L’ecografo (MyLab—Five, ESAOTE, Italia) permette la scelta fra sette settaggi di potenza ( 0%, 37%, 50%, 62%, 75%, 87%, 100%) mentre il guadagno pu`o essere impostato liberamente tramite uno slider circolare. I guadagni usati per i test sono: 0%, 20%, 40%, 60%, 80% e 100%. Le prove hanno lo scopo di comprendere come la variazione di questi parametri si rifletta sul tracking e se, una particolare combinazione di questi, permetta un funzionamento ottimale. Il banco di prova, realizzato al fine di simulare un’applicazione di tipo cardiovascolare, consiste in un tubo in PVC rettilineo immerso in acqua distillata e contenente un capsula provvista di magneti visionata da una sonda ecografica in parziale immersione. La caspula `e stata bloccata all’interno del tubo e la sonda mossa su un tragitto di 40 mm, avanti e indietro, sopra l’oggetto. Le prove sono state effettuate variando entrambi i parametri e registrando i video ottenuti dall’ecografo. I video poi sono stati fatti processare dall’algoritmo di tracking.

3.2.1 Numero di features

Pi`u l’oggetto `e definito, pi`u features si estraggono, pi`u `e facile il tracking. L’aumento di potenza e guadagno modificano l’immagine che viene elaborata dall’ecografo, cambiando quindi il numero di features che vengono estratte e quindi la precisione del tracking. I risultati delle varie prove sono graficati in Figura 3.9 e, da subito, si pu`o notare una grossa differenza tra il numero di features estratte a potenza zero rispetto alle altre potenze. Altre differenze, meno marcate, possono essere notate tra il gruppo di potenze comprese tra 37% e 62% e quello compreso fra 75% e 100%. Per comprendere meglio i dati, sono stati analizzati mediante prima t-test (p = 0,01) e poi una analisi di varianza (ANOVA, α = 0, 01), sfruttando i tool statistici presenti nel programma MATLAB (Mathworks, Inc., Natick, MA).

Figura 3.9: Feature estratte al variare di potenza e guadagno.

I risultati, in Tabella 3.3, mostrano, oltre alla ovvia differenza tra potenza zero e il resto, che il numero di features ottenute con potenze comprese tra il 37% e il 62% sono assimilabili, mentre c’`e qualche differenza tra il 62% e il 75% e che con potenze tra il 75% e il 100% il numero di features non differisce in maniera significativa.

In Tabella 3.4, oltre alla ovvia differenza tra il numero di features estratte guadagno all’80% e al 100% (visibile anche in Figura 3.9), notiamo che ci sono differenze significative nel variare il guadagno da 0% fino al 40%, mentre il numero

delle features estratte con guadagni compresi tra il 40% e l’80% non differisce in maniera significativa. P00 - P37 P37 - P50 - P62 P62 - P75 P75 - P87 - P100 G00 8,88*10-16 0,017 0,44 0,67 G20 1,84*10-12 0,02 0,05 0,06 G40 5,09*10-10 0,51 3,45*10-4 0,43 G60 4,35*10-12 0,08 0,14 0,07 G80 6,91*10-12 0,52 0,01 0,91 G 100 9,77*10-15 0,02 0,002 0,12 Tabella 3.3: Test ANOVA variazione Potenza. In grassetto i p-value minori o uguali a 0,01. G00 - G20 G20 - G40 G40 - G60 - G80 G80 - G100 P 00 0,0022 0,13 0,57 6,77*10-10 P 37 0,0028 0,038 0,016 9,46*10-4 P 50 0,0016 0,0031 0,78 6,75*10-11 P 62 0,12 0,0013 0,039 1,31*10-9 P 75 0,0067 3,06*10-4 0,15 3,88*10-15 P 87 0,0115 1,81*10-4 0,023 8,05*10-10 P100 4,23*10-4 0,02 0,12 1,23*10-5 Tabella 3.4: Test ANOVA variazione Guadagno. In grassetto i p-value minori o uguali a 0,01.

3.2.2 Errori di tracking

Come accennato prima, `e importante, per un buon tracking, avere un elevato numero di features, ma queste devono appartenere all’oggetto e non ad altre strutture. Per questo motivo si sono svolti altri test per verificare se il baricentro calcolato dall’algoritmo corrispondesse a quello dell’oggetto e non soffrisse di errori dovuti alla presenza di features esterne ad esso. Sfruttando le OpenCv si `e sviluppato un programma che disegnasse un ellisse, delle dimensioni della capsula, e ne seguisse gli spostamenti. L’ellisse mantiene, frame per frame, la stessa posizione della capsula, dandoci cos`ı un riferimento della posizione reale del dispositivo, come mostrato in Figura 3.10. Sfruttando i risultati ottenuti con i precedenti test, e sapendo che con potenze superiori al 75% non ci sono sostanziali variazioni nel numero di feature, si `e registrato, al variare del guadagno, la distanza tra il valore “teorico” del baricentro

Figura 3.10: Screenshot del programma che, mediante il disegno di un ellisse, restituisce la posizione reale del baricentro.

(quello dell’ellisse) con quello calcolato dall’algoritmo. Sono state implementate due modalit`a di calcolo del baricentro: la prima come media delle features, la seconda come baricento della forma dell’oggetto segmentata dall’algoritmo di watershed. In

Figura 3.11: Errore tra il baricentro reale e quello calcolato dall’algoritmo. Figura 3.11 sono mostrati gli errori medi ottenuti con i due metodi di calcolo del

baricentro; mediamente questi non si superano mai 5 px che corrispondono a 0,95 mm. I dati poi sono stati analizzati mediante t-test e ANOVA.

Feat Shape H p H p G00-G20 0 0,62 0 0,74 G20-G40 0 0,69 0 0,99 G40-G60 0 0,85 0 0,59 G60-G80 0 0,76 0 0,99 G80-G100 1 0,0026 1 0,0017

Tabella 3.5: T-test errori calcolo baricentro, in grassetto i p-value minori o uguali a 0,01 . Si noti che l’unica differenza significativa si ha con il guadagno massimo.

Feat Shape

G00-G20-G40-G60-G80

0,98 0,88 G80-G100 0,0026 0,0017

Tabella 3.6: Test ANOVA errori calcolo baricentro, in grassetto i p-value minori o uguali a 0,01 . Si noti che l’unica differenza significativa si ha con il guadagno massimo.

Le analisi statistiche mostrano che gli errori sono paragonabili per guadagni compresi tra 0% fino al 80%, mentre, con guadagno massimo, l’errore cresce e differisce in maniera significativa. Inoltre, la differenza tra errore calcolato con le features e quello calcolato con il watershed non `e significativa, quindi, essendo l’algoritmo per il calcolo del baricentro dalla forma dell’oggetto pi`u gravoso computazionalmente, si `e scelto di usare il baricentro calcolato con le features per ridurre il tempo di esecuzione totale di tutto l’algoritmo di tracking.

3.2.3 Condizioni ottimali di lavoro

Analizzando tutti i dati si `e arrivati alla conclusione che l’algoritmo trova le condizioni ottimali di lavoro con potenze superiori al 75% e guadagni compresi tra il 40% e l’80%. Questi valori, di per se, non sono particolarmente utili, visto che cambiando ecografo o la sonda, i parametri di potenza e guadagno modificheranno in maniera diversa l’immagine. Per questo motivo si `e scelto di ricavare un parametro relativo all’immagine in se e non legato ai parametri dell’ecografo. Per far ci`o si `e calcolato il

valore di contrasto tra l’oggetto e lo sfondo dell’immagine come media pesata degli istogrammi relativi all’oggetto e allo sfondo (visibili in Figura 3.10), nelle condizioni di esecuzione ottimali , sfruttando le OpenCV. Il valore di contrasto calcolato `e pari a 6, cio`e l’istogramma dell’oggetto deve avere valori di grigio mediamente 6 volte pi`u alti rispetto all’istogramma dello sfondo. Questo valore potr`a essere sfruttato, durante l’esecuzione del programma, in modo da modificare iterativamente i parametri dell’ecografo al fine di mantere il contrasto, tra oggetto e sfondo, sempre in un range ottimale.

Risultati sperimentali e

conclusioni

Una volta implementate le varie parti che compongono la strategia di controllo si `e deciso di effetturare delle prove al fine di verificare il buon funzionamento della strategia di locomozione e, come il ciclo di controllo basato su immagini ecografiche, si comportasse in uno scenario comprendente varie problematiche da affrontare.

`

E stato effettuato quindi un test in-vitro, tale da mettere in evidenza possibili pro-blemi nell’implementazione della strategia di controllo e dei limiti dell’archittettura robotica.

In questo capitolo verrano esposti i test eseguiti per verificare l’intera strategia di locomozione e, concludendo, verranno discussi i risultati ottenuti e suggeriti possibili sviluppi futuri.

4.1

Costruzione del percorso

Come test da fare affrontare alla piattaforma, `e stato deciso di creare un percorso ispirato al tratto vascolare in cui l’aorta addominale si biforca nelle due arterie iliache. Il calibro dell’aorta addominale, in condizioni fisiologiche, `e di 1,5-2 cm. Sono stati quindi utilizzati dei tubi in plexiglass (polimetilmetacrilato, PMMA) che avessero lo stesso diametro interno dell’aorta addominale, in modo da riprodurre un’ambiente

di dimensioni paragonabili a quelle fisiologiche. I tubi scelti hanno diametro esterno di 25mm e diametro interno di 19mm, paragonabile a quello fisiologico. Il percorso `e stato costruito nel seguente modo (come mostrato in Figura 4.1):

ˆ un primo tratto rettilineo lungo 230mm; ˆ biforcazione di 120°;

ˆ lunghezza delle biforcazioni di 120mm; ˆ tratto discendente di 150°.

Il percorso `e poi stato immerso in acqua per poter testare l’intera piattaforma (Figura 4.2).

Figura 4.2: Percorso realizzato immerso in acqua

4.2

Verifica del controllo tramite immagini ecografiche

In prima istanza `e stato verificato il funzionamento del controllo del dispositivo endovascolare tramite il tracking a immagini US. Per questo, all’interno del tratto

rettilineo di 230mm, si `e fatta muovere la capsula controllando, ad ogni ciclo del programma, la sua posizione relativa al centro dell’immagine (la linea verde in Figura 4.3) ottenuta dalla sonda ecografica. Il controllo inizia quando l’utente seleziona il dispositivo con il mouse. Una volta che il controllo `e iniziato, vengono graficate altre due linee rosse (visibili in Figura 4.3) che stanno a delimitare la distanza entro la quale il baricentro dell’oggetto deve sempre rimanere. Finch´e il baricentro `e dentro queste due linee, i due robot sono liberi di muoversi secondo la traiettoria ricavata dai dati preoperatori. Nel caso in cui la capsula non seguisse pi`u il movimento imposto dal magnete esterno, il baricentro dell’oggetto andr`a a spostarsi sempre pi`u verso una delle due linee rosse attivando un blocco dell’avanzamento dei robot e permettendo solo un ritorno alle posizioni precedenti, permettendo il recupero della dispositivo; una volta recuperato il dispositivo si pu`o procedere nella traiettoria imposta dai dati preoperatori.

Figura 4.3: Test sul controllo tramite immagini ecografiche. L’operatore fa partire il controllo selezionando la capsula dalle immagini US (a), dopodich´e i robot si muovono secondo il percorso prestabilito (b); se non la capsula non segue il movimento del magnete (c) viene impedito il movimento in avanti e permesso solo indietro al fine di recuperare la capsula (d).

4.3

Approccio alle biforcazioni

Un altro punto critico da testare era l’approccio di biforcazioni, all’interno del percorso, da parte della piattaforma robotica. Per fare ci`o `e stato implementato un algoritmo che va a controllare se nei dati della traiettoria sono presenti dei cambi di direzione e che angolo creano rispetto alla direzione precedente. In questo modo, quando si approccia una biforcazione, l’algoritmo individuer`a un cambio di direzione e l’angolo di questa nuova direzione. L’angolo verr`a poi dato come orientazione al braccio robotico che mantiene la sonda ecografica in modo da rimanere sempre ben orientata rispetto al percorso. Durante la fase di orientazione `e possibile che l’oggetto venga perso dall’algoritmo di controllo, se questo avviene l’operatore pu`o tranquillamente selezionare di nuovo il dispositivo e continuare l’intervento.

Figura 4.4: Orientazione della sonda ecografica nel percorso. Quando si arriva ad una biforcazione (a) la sonda US viene orientata (b) e una volta finita l’orientazione (c) si continua l’avanzamento (d)

Proseguendo nel percorso si incontra un tratto discendente che porta la traiettoria a svilupparsi nelle tre dimensioni. Grazie all’uso dei dati preoperatori `e stato possibile affrontare questo tratto del percorso senza difficolt`a.

Figura 4.5: Tratto discendente del percorso

4.4

Conclusioni

`

E stata sviluppata una strategia di locomozione per dispositivi endovascolari all’in-terno di una piattaforma robotica innovativa per diagnosi e chirurgia endovascolare. Il tracking ad ultrasuoni, implementato tramite tecniche di optical flow e utilizzato come controllo principale per il posizionamendo del dispositivo endoscopico, si `e dimostrato uno strumento affidabile e robusto per il controllo della caspula endova-scolare all’interno dei vasi. L’utilizzo dei dati preoperatori, provenienti da immagini CT o MRI, e la pianificazione di una traiettoria entro la quale muoversi, ha permesso di affrontare percorsi che si sviluppano nelle tre dimensioni.

La strategia di locomozione implementata `e quindi un valido progresso nello sviluppo dell’intera piattaforma robotica.

4.4.1 Sviluppi futuri

Nonostante l’implementazione sviluppata si `e dimostrata valida sono emerse delle limitazioni che andrebbero eliminate per un miglioramento dell’intera piattaforma. La limitazione pi`u grossa `e senza dubbio l’uso di una sonda ecografica bidimensionale. L’uso di una sonda di questo tipo costringe ad un posizionamento e un orientazione dei robot particolarmente preciso, pena la perdita del dispositivo dall’immagine. Per questo motivo si propone l’uso di una sonda 4D che, scansionando un volume del paziente anzich`e una singola fetta, permette di monitorare meglio il dispositivo interno nei vasi e non costringe ad usare particolari configurazioni dei robot per mantenere il dispositivo dentro il campo di visualizzazione.

Questo perch´e il plexyglass ha una impedenza acustica maggiore rispetto quella dei tessuti biologici (3,23 MRayl [28]) e quindi gran parte delle onde sonore vengono riflesse dandoci un immagine peggiore.

[1] M. Naghavi, E. Falk, H. S. Hecht, M. J. Jamieson, S. Kaul, and D. et al. Berman. From vulnerable plaque to vulnerable patient part iii: Executive summary of the screening for heart attack prevention and education (shape) task force report. The American Journal of Cardiology, 98(2a):2H–15H, 2006.

[2] Data from american heart association: Heart disease and stroke statistics, 2004. [3] W. Casscells, M. Naghavi, and J. T. Willerson. Vulnerable atherosclerotic

plaque a multifocal disease. Circulation, 107(16):2072–2075, 2003.

[4] Judkins M.P. Dotter C.T. Transluminal treatment of arteriosclerotic obstruc-tion. description of a new technic and a preliminary report of its applications. Circulation, Volume XXX, pages 654–670, November 1964.

[5] Knipp SC, Matatko N, Wilhelm H, Schlamann M, Thielmann M, L¨osch C, Diener HC, Jakob H. Cognitive outcomes three years after coronary artery bypass surgery: relation to diffusion-weighted magnetic resonance imaging. Ann Thorac Surg, 85(3):872–9, 2008.

[6] Stutz, Bruce. Pumphead: Does the heart-lung machine have a dark side? AScientific American, 2009.

[7] K. R. Chun, B. Schmidt, B. Kktrk, R. Tilz, A. Frnkranz, M. Konstantinidou, E. Wissner, A. Metzner, F. Ouyang, and K. H. Kuck. Catheter ablation new developments in robotics. Herz, 33(8):586–589, 2008.

[8] S. Ernst. Magnetic and robotic navigation for catheter ablation. Journal of interventional cardiac electrophysiology, 24:41–44, 2008.

[9] Q. Pan, S. Guo, and T. Okada. Development of a wireless hybrid microrobot for biomedical applications. In Proc. 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems, Taiwan, pages 5768–5773, 2010.

[10] T. W. R. Fountain, P. V. Kailat, and J. J. Abbott. Wireless control of magnetic helical microrobots using a rotating-permanent-magnet manipulator. In IEEE International Conference Robotics and Automation, pages 576–581, 2010. [11] S. Martel, M. Mohammadi, O. Z. Lu, and P. Pouponneau. Flagellated

magne-totactic bacteria as controlled mri-trackable propulsion and steering systems for medical nanorobots operating in the human microvasculature. International Journal of Robotics Research, 28:571–582, 2009.

[12] L. Arcese, A. Cherry, M. Fruchard, and A. Ferreira. Optimal trajectory for a microrobot navigating in blood vessels. In Proc. 2010 IEEE Engineering in Medicine and Biology Society (EMBC), 2010.

[13] T. Saam, T. S. Hatsukami, V. L. Yarnykh, C. E. Hayes, H. Underhill, B. Chu, N. Takaya, J. Cai, W. S. Kerwin, D. Xu, Polissar N. L., B. Neradilek, W. K. Hamar, J. Maki, D. W. Shaw, R.J. Buck, B. Wyman, and C. Yuan. Reader and platform reproducibility for quantitative assessment of carotid atherosclerotic plaque using 1.5t siemens, philips, and general electric scanners. Journal of Magnetic Resonance Imaging, 26(2):344–352, 2007.

[14] Yuan C, Kerwin WS, Yarnykh VL, et al. Mri of atherosclerosis in clinical trials. NMR Biomed, 19:636, 654 2006.

[15] L. Saba, G. Caddeo, R. Sanfilippo, R. Montisci, and G. Mallarini. Efficacy and sensitivity of axial scans and different reconstruction methods in the study of the ulcerated carotid plaque using multidetector-row ct angiography: comparison with surgical results. American Journal of Neuroradiology, 28:716–723, 2007. [16] T. A. Whittingham. Medical diagnostic applications and sources. Progress in

[17] S. K. Kakkos, Nicolaides A. N. Stevens, J. M., E. Kyriacou, G. Pattichis, C. S. Geroulakos, and D. Thomas. Texture analysis of ultrasonic images of symptoma-tic carotid plaques can identify those plaques associated with ipsilateral embolic brain infarction. European Journal of Vascular and Endovascular Surgery, 33(4):422–429, 2007.

[18] F. Schick. Whole-body mri at high field: technical limits and clinical potential. European Radiology, 15(5):946–959, 2005.

[19] K. Chinzei, R. Kikinis, and F. A. Jolesz. Mr compatibility of mechatronic devices: design criteria. medical image computing and computer-assisted intervention. Lecture Notes in Computer Science 1679 Springer, pages 1020–1030, 1999. [20] X. C. Xu, C. H. Hu, L. Sun, J. Yen, and K. K. Shung. High-frequency high frame

rate ultrasound imaging system for small animal imaging with linear arrays. In Proc. of IEEE International Ultrasonics Symposium, pages 1431–1434, 2005. [21] P. Golland and W.E.L. Grimson. Fixed topology skeletons. Computer Vision

and Pattern Recognition, 2000.

[22] N.D. Cornea and P. Min. Curve-skeleton properties, applications, and algo-rithmss. EEE Trans. Visualization and ComputerGraphics, 13(3):530–548, May/June 2007.

[23] Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool. Surf: Speeded up robust features. Computer Vision and Image Understanding (CVIU), 110(3):346– 359, 2008.

[24] B. D. Lucas and T. Kanade. An iterative image registration technique with an application to stereo vision. Proceedings of Imaging Understanding Workshop, pages 121–130, 1981.

[25] F. Meyer and S. Beucher. Morphological segmentation. . Vis. Commun. Image Represent., 1:21–46, 1990.

[26] Lowe, David G. Object recognition from local scale-invariant features. Pro-ceedings of the International Conference on Computer Vision, 2:1150–1157, 2008.

[27] J. Shi and C. Tomasi. Good features to track. 9th IEEE Conference on Computer Vision and Pattern Recognition. Springer, June 1994.

[28] Bloomfield PE, Lo WJ, Lewin PA. Experimental study of the acoustical properties of polymers utilized to construct pvdf ultrasonic transducers and the acousto-electric properties of pvdf and p(vdf/trfe) films. IEEE Transactions on Ultrasonics Ferroelectrics, and Frequency Control, 47(6), november 2000.

In questa breve pagina vorrei ringraziare tutte le persone che mi hanno accompagnato in questi anni di Universit`a e in particolare coloro che mi hanno aiutato nella realizzazione di questo lavoro di tesi.

Non posso esimermi dal ringraziare la Prof.ssa Arianna Menciassi, per avermi concesso la possibilit`a di confrontare le mie conoscenze e i miei interessi con un progetto ambizioso e di grosso spessore.

Desidero ringraziare in particolar modo il Dott. Ing. Gastone Ciuti per la grande disponibilit`a dimostrata nei miei confronti e per la professionalit`a e la competenza che lo distinguono. Le nottate passate in laboratorio non verranno dimenticate. Un sincero ringraziamento anche ad Andrea per il supporto tecnico e le buone idee. Un grosso grazie a tutti i colleghi, in compagnia dei quali, la vita in laboratorio `e risultata meno faticosa del previsto: Riccardo, Francesca, Alfredo, Alessandra, Tommaso, Martina, Iris; abbiamo condiviso gioie e dolori di questo percorso, grazie di tutto il supporto. Voglio anche ringraziare enormemente tutti coloro che mi hanno dato una mano durante questo periodo di tesi: Selene, Antonella, Gioia, Maral, Piero, Marta, Virginia; grazie di tutto!

Infine, il mio ringraziamento pi`u grande va ai miei genitori, mamma e babbo, e a mia sorella per essere sempre al mio fianco in ogni situazione. Mi avete sempre sostenuto e incoraggiato a concentrarmi nello studio. In particolare, vorrei ringraziare mia sorella Marta, il cui punto di vista agli antipodi rispetto al mio, `e sempre fonte di ispirazione e idee per guardare il mondo sotto un’altra luce.