In questo capitolo sono presentati i principali risultati delle simulazioni eettuate. Sono state utilizzate tre diverse tracce:
due relative a delle prove fatte in Spagna su UAV a prestazioni elevate;
una relativa ad un test eettuato con il Colibrì, un drone dell'IDS-Corporation. Le prime due simulazioni sono servite per testare l'algoritmo con bersagli posti ad elevate distanze (si parla di circa 10 km) e con prestazioni nominali diverse da quelle degli sUAV. La terza simulazione permette di valutare il comportamento dell'algoritmo con un UAV multirotore, in presenza di manovre diverse da quelli ad ala ssa (come l'hovering). Le simulazioni sono state divise in due categorie: delle single run e delle Simulazioni di Monte-Carlo. Le prime sono state utilizzate per controllare il soddisfacimento dei requisiti richiesti dall'azienda, per avere la stima della velocità, dell'accelerazione e della velocità angolare dell'UAV bersaglio e, in ne, per valutare le probabilità dei singoli modelli ad ogni passo dell'iterazione. Le seconde, invece, sono servite per stimare l'intensità degli errori di stima, in quanto ne sono stati calcolati gli RMS; inoltre, sono state utilizzate per i test di consistenza del ltro.
La parte nale del capitolo è dedicata all'analisi delle prestazioni dello stimatore al variare degli errori di misurazione introdotti dal radar.
In primo luogo, si è diminuito lo scatter nelle misurazioni, portando a 2 σ il livello di con denza. Successivamente si è studiato l'eetto della riduzione di uno dei due errori del radar, lasciando inalterati gli altri parametri.
6.1 Simulazione 1
6.1 Simulazione 1
In questa sezione vengono presentati i risultati di una delle prove eettuate in Spagna. Con questa simulazione si è voluto dimostrare l'e cacia dell'algoritmo di tracking con un UAV avente prestazioni molto maggiori rispetto agli UAV commerciali. In particolare, la velocità del bersaglio è molto maggiore rispetto a quella di un UAV multirotore.
La traccia fornita dall'IDS Corporation, a seguito del processamento dei dati ADS-B descritto nella sezione ??, è riportata in gura ??.
Figura 6.1: Traccia Simulazione 1
Come si può notare dalla gura, in questa simulazione la dinamica dell'UAV bersaglio è molto varia, pertanto costituisce un ottimo banco di prova per l'algoritmo.
Utilizzando la function MATLAB Noise_Measurements_Biased_Correction, si sono ge- nerate le misurazioni virtuali del radar, come descritto nella sezione ??. Sovrapponendo tali misurazioni alla traccia vera dell'UAV si possono chiaramente notare gli errori del radar dovuti alla presenza del rumore. La gura ?? mostra chiaramente quanto detto sopra. La traccia fornita dall'IDS è costituita da 33516 misurazioni. Impiegando un radar con un refresh rate di 1
3Hzsi può facilmente veri care che, ogni volta che viene eettuata
una misurazione dal radar, si ricevono 50 informazioni dall'ADS-B. Campionando il dato ADS-B con tale frequenza, si ottengono circa 670 misurazioni radar, cioè 670 passi itera- tivi per l'algoritmo.
Per veri care che i requisiti imposti dall'IDS Corporation vengano soddisfatti dall'architet- tura descritta nel capitolo ??, è stata condotta un single run. I risultati della simulazione sono stati riportati qui in maniera gra ca.
Dalla gura ?? si possono valutare le performance dell'algoritmo, in termini di accura- tezza, nella stima della posizione dell'UAV bersaglio. Per comprendere il modus operandi
6.1 Simulazione 1
Figura 6.2: Misurazioni Radar - Simulazione 1
dell'algoritmo si può analizzare la gura ??: lo stimatore pesa le misurazioni ed i mo- delli implementati in modo tale da seguire le prime se l'errore di misurazione è piccolo, o seguire i secondi se esso è grande. Nelle gure ?? e ?? sono riportati gli errori, in termini assoluti, in range ed in azimuth. Come si può vedere, i requisiti sono stati sta- ti pienamente soddisfatti. Essendo una single run, questi risultati esprimo solamente un trend generale degli errori; per valutare l'intensità di tali errori è necessario condurre delle analisi di Monte-Carlo. In ne, nelle due gure compaiono anche i valori medi degli errori: quello in azimuth è praticamente nullo, mentre quello in range è leggermente diverso da zero, ma ha un modulo su cientemente piccolo da aermare che le ipotesi di consistenza fatte nel capitolo ?? sono veri cate. Per comprendere la natura di questi errori può essere utile analizzare gli errori nelle due coordinate. Dalle gure ?? e ?? e, da un confronto con gli errori in range ed azimuth, si intuisce che gli errori nelle due coordinate sono correlati: un errore in azimuth porta ad errori di segno opposto in x ed y. Questo spiega perché l'errore in range rimane sempre piuttosto contenuto.
Per veri care quale modello era "in azione" all'intervallo di campionamento k, è neces- sario valutarne la sua probabilità. Pertanto si è deciso di riportare le probabilità di ogni modello durante tutta la simulazione. Dalla gura ?? si deduce facilmente che i modelli più probabili per la traccia analizzata sono quelli a velocità quasi costante, indicato nella legenda con DWNA1, ed il modello non lineare sulla virata, indicato nella legenda con NCT. Questi risultati erano abbastanza attendibili, in quanto, dalla traccia, si notava che erano presenti diverse manovre di virata (non necessariamente corretta). Le probabilità degli altri modelli non sono mai nulle: questa caratteristica dell'IMM consente un facile switch da un modello all'altro. Inoltre, tali modelli contribuiscono comunque alla stima dell'accelerazione e della velocità in maniera proporzionale al loro "peso", cioè alla loro
6.1 Simulazione 1
Figura 6.3: Confronto tra traiettoria vera e traiettoria stimata - Simulazione 1
6.1 Simulazione 1 probabilità.
In ne, le gure ??, ?? e ?? rappresentano le stime eettuate dall'algoritmo sulla velocità, l'accelerazione e la velocità angolare dell'UAV bersaglio. Non ricevendo come ingressi le misurazioni relative a tali quantità, la loro stima risulta caratterizzata da picchi istan- tanei. Queste informazioni sono molto importanti per predirre lo stato futuro dell'UAV bersaglio nel caso in cui non fosse disponibile la misurazione radar nell'istante di cam- pionamento successivo; ciò può essere causato da ostacoli, come palazzi, nella direzione radar-bersaglio. Una ripulitura di questi tre dati, in modo tale da eliminare quei picchi indesiderati, può essere oggetto di studio per lavori futuri.
Sono state eseguite 100 simulazioni di Monte-Carlo per ottenere gli errori quadratici medi in range ed azimuth ad ogni intervallo di campionamento, in modo da valutarne l'inten- sità. I risultati sono riportati nelle gure ?? e ??. Da queste si può vedere che l'intensità degli errori è piuttosto contenuta; in particolare, l'errore in azimuth, che aveva requisiti molto più stringenti, è, in media, sempre sotto la soglia di 1°, cioè è sempre inferiore del- l'errore intrinseco del radar. L'intensità dell'errore in range rimane quasi sempre intorno alla soglia dei 2 m, tranne che per rari istanti.
Inoltre, sono stati rappresentati anche gli errori quadratici medi relativi ad ogni simula- zione. Nelle gure ?? e ?? sono illustrati i risultati. Il RMS dell'errore in range rimane approssimativamente intorno a 1.8 m mentre per l'azimuth si hanno circa 0.75°; questi valori continuano ad essere accettabilmente bassi ed entro i requisiti richiesti.
In ne, è necessario veri care la consistenza dello stimatore. Per far questo, in accordo con quanto detto nella sezione ??, è necessario controllare il NEES. In gura ?? è illustrato l'andamento dell'average NEES. Il suo valor medio è pari a 2.0423 che è accettabilmente uguale al numero di gradi di libertà della distribuzione "chi-squared" che lo rappresenta (in questo caso 2, perché si possono stimare solamente gli errori nelle coordinate x ed y). Si può inoltre aermare che, in larga parte, è veri cata anche l'ipotesi di appartenenza all'intervallo [1.6, 2.4]; in alcuni casi si possono trovare valori che escono da questo inter- vallo: questo è dovuto principalmente ad un errore locale nella scelta del modello.
6.1 Simulazione 1
Figura 6.5: Errore in Range - Simulazione 1
6.1 Simulazione 1
Figura 6.7: Errore nella coordinata x - Simulazione 1
6.1 Simulazione 1
Figura 6.9: Probabilità dei Modelli - Simulazione 1
6.1 Simulazione 1
Figura 6.11: Accelerazione Stimata - Simulazione 1
6.1 Simulazione 1
Figura 6.13: RMS dell'errore in Range per ogni intervallo di campionamento - Simulazione 1
Figura 6.14: RMS dell'errore in Azimuth per ogni intervallo di campionamento - Simulazione 1
6.1 Simulazione 1
Figura 6.15: RMS dell'errore in Range per ogni simulazione - Simulazione 1
6.2 Simulazione 2
Figura 6.17: Average NEES - Simulazione 1
6.2 Simulazione 2
La traccia utilizzata in questa sezione è stata selezionata all'interno di quelle relative ai test eettuati in Spagna dall'IDS Corporation. Anche in questo caso si è analizzato un UAV con prestazioni maggiori rispetto a quelli commerciali.
Come si può vedere dalla gura ??, il pattern di questa traccia è simile a quello della traccia precedente. Pertanto, a nché lo stimatore sia consistente, i risultati attesi dovranno essere simili.
6.2 Simulazione 2
Figura 6.19: Misurazioni Radar - Simulazione 2
Dall'ADS-B a bordo dell'UAV bersaglio, sono stati inviati 30068 pacchetti, interval- lati da 60 ms ognuno. Utilizzando il radar della simulazione precedente, si ottengono 601 misurazioni e, quindi, 601 intervalli di campionamento. Pertanto questa simulazione con- tiene un numero di misurazioni leggermente minore di quella studiata nella sezione ??. Tramite la function MATLAB Noise_Measurements_Biased_Correction, sono state cal- colate le misurazioni del radar, mostrate in gura ??. Queste misurazioni sono state utilizzate come ingressi all'algoritmo IMM. La stima dell'UAV bersaglio, confrontata alla sua traccia vera, è illustrata nella gura ??. Si può nuovamente evidenziare il carattere dello stimatore ingrandendo parti della traiettoria.
6.2 Simulazione 2
In maniera analoga a quanto fatto nella sezione ??, è stata condotta una single run in modo da veri care il soddisfacimento dei requisiti.
Dalle gure ?? e ?? è evidente il rispetto dei vincoli richiesti dall'azienda; anche in questo caso l'errore in azimuth ha valor medio essenzialmente nullo mentre quello in range ha un leggero bias. Dalle gure ?? e ?? si può dedurre che, anche in questa simulazione, gli errori nelle due coordinate siano essenzialmente correlati.
Dalla gura ??, si intuisce che i modelli più probabili durante la simulazione sono stati il NCT (virata) ed il DWNA1 (velocità quasi costante). Inoltre, nelle prime fasi di vo- lo, sono risultati anche i due modelli implementati per le manovre più rapide (DWPA2, DWNA2).
Le stime sulla velocità, sull'accelerazione e sulla velocità angolare, mostrate rispettiva- mente nelle gure ??,?? e ??, danno un'idea sulle prestazioni dell'UAV bersaglio. Anche in questo caso, si possono notare dei picchi indesiderati, eliminabili in una fase di post- processing.
Per testare la consistenza dello stimatore, sono state condotte 100 simulazioni di Monte- Carlo.
Analizzando le gure ?? e ??, si può chiaramente aermare che le prestazioni dell'algorit- mo per questa simulazione sono state molto superiori rispetto a quella precedente. Basti osservare il RMS dell'errore in azimuth, molto più basso di quello della simulazione 1. Per valutare la consistenza dello stimatore si guardi la gura ??: il valor medio dell'average NEES è circa 1.9391, in prima approssimazione vicino a 2, cioè il numero di gradi di libertà della relativa distribuzione "chi-squared". Inoltre, l'average NEES rimane accettabilmen- te entro i limiti introdotti nella sezione ??.
Si può pertanto concludere che, anche in questa simulazione, l'algoritmo ha dato buoni risultati, soddisfacendo tutti i vincoli sull'accuratezza della stima discussi nella sezione ??.
6.2 Simulazione 2
Figura 6.21: Errore in Range - Simulazione 2
6.2 Simulazione 2
Figura 6.23: Errore nella coordinata x - Simulazione 2
6.2 Simulazione 2
Figura 6.25: Probabilità dei Modelli - Simulazione 2
6.2 Simulazione 2
Figura 6.27: Accelerazione Stimata - Simulazione 2
6.2 Simulazione 2
Figura 6.29: RMS dell'errore in Range per ogni intervallo di campionamento - Simulazione 2
Figura 6.30: RMS dell'errore in Azimuth per ogni intervallo di campionamento - Simulazione 2
6.2 Simulazione 2
Figura 6.31: RMS dell'errore in Range per ogni simulazione - Simulazione 2
6.3 Simulazione al Campo Volo
Figura 6.33: Average NEES - Simulazione 2
6.3 Simulazione al Campo Volo
Quest'ultima simulazione proposta dierisce da quelle no ad ora presentate: i dati ADS-B sono stati raccolti direttamente sul campo e processati in azienda. La prova al campo volo è stata eseguita con un quadricottero di proprietà dell'IDS Corporation, il IA3 Colibrì. In gura ?? è mostrato il Colibrì, mentre la sua speci ca tecnica è riportata in tabella ??. Come si può dedurre dalla speci ca tecnica, il Colibrì ha prestazioni inferiori rispetto agli UAV visti nelle precedenti simulazioni. Questo permetterà di testare l'algoritmo con un'altra classe di UAV.
Prima di descrivere i risultati di questa analisi, è bene fare una premessa. I dati ADS-B Tabella 6.1: Speci ca Tecnica IA3 Colibrì
Diametro 810 mm
Altezza 280 mm
MTWO (Maximum Take O Weight) 5.5 kg
Payload 1 kg
Motori 4 Motori Elettrici da 700 W
Durata 40 minuti
Quota operativa 500 m
raccolti sono diversi da quelli analizzati nelle altre simulazioni: il data rate è di circa 2 Hz. Inoltre i dati raccolti e convertiti dalla function MATLAB ADSB_File_Reader non sono "puliti" come quelli delle tracce spagnole. Sono presenti le seguenti complicazioni:
6.3 Simulazione al Campo Volo
Figura 6.34: IA3 Colibrì
sono presenti informazioni ridondanti, cioè due dati leggermente diversi allo stesso istante temporale;
il data rate non è costante.
Per risolvere il primo problema, è stato identi cato l'indice delle misurazioni ridondanti per identi carle nell'array, dopodiché sono state eliminate e sostituite con una sola mi- surazione pari alla media aritmetica dei due. Il secondo problema, invece, risulta essere più delicato. Infatti, per come è stato pensato l'algoritmo, è necessario che gli intervalli di campionamento siano uniformi. Per riportarsi a questo caso, è stata eseguita un'inter- polazione lineare dei dati ad un intervallo di 0.5 s.
Questo processo è stato implementato nella function MATLAB Linear_Interpolation. Per testare al meglio l'algoritmo, si è deciso di eettuare delle manovre che non fossero presenti nelle tracce spagnole. In particolare, è stata eseguita anche la manovra di hove- ring, in cui il Colibrì ha mantenuto la propria posizione per alcuni secondi. La massima distanza dal pilota raggiunta durante la missione è stata di circa 1000 m, al contrario delle simulazioni precedenti, in cui tale distanza era dell'ordine di 10 km. In questa sezione, si è deciso di non rappresentare gra camente la traccia vera e stimata dell'UAV bersaglio, in quanto, essendo presenti vari tipi di manovre, sarebbe estremamente incomprensibile
6.3 Simulazione al Campo Volo al lettore.
Considerando la "ripulitura" dei dati ADS-B ed il refresh rate del radar, si sono ottenute 266 misurazioni in questa simulazione. Questo numero è molto inferiore a quelli visti nelle altre sezioni, ma rimane comunque un ottimo valore per eettuare dei test.
Procedendo in maniera analoga a quanto fatto nelle sezioni ?? e ??, si è eettuata una single run per vedere se i requisiti sono stati soddisfatti o meno.
Dalle gure ?? e ?? si può chiaramente notare che i requisiti sono stati nuovamente veri- cati, inoltre, l'errore in range risulta essere molto più piccolo che nelle altre simulazioni: questo è anche dovuto, principalmente, alla minore distanza dell'UAV dal radar. In più, anche gli errori lungo le due coordinate sono estremamente ridotti, come illustrato nelle gure ?? e ?? e, ancora una volta, sono correlati tra loro.
Contrariamente a quanto visto nelle sezioni precedenti, le probabilità dei modelli sono molto diverse. Osservando la gura ??, il modello predominante è il DWPA1, cioè quello a velocità costante. Gli altri modelli, però, non hanno delle probabilità basse. A volte è in azione il modello DWPA2, che indica grandi variazioni di accelerazione in modulo. Questo risultato era abbastanza prevedibile, essendo la dinamica degli UAV multirotore profondamente diversa da quella degli UAV ad ala ssa.
Nelle gure ??, ?? e ?? sono riportate le stime sulla velocità, l'accelerazione e la velocità angolare. Tali stime rispecchiano le prestazioni del Colibrì, sebbene possano essere mi- gliorate introducendo delle misurazioni aggiuntive, oltre a quelle di posizione.
In ne, sono state condotte 100 simulazioni di Monte-Carlo. L'intensità degli errori in range ed azimuth è piuttosto bassa, come mostrato nelle gure ?? e ??. La consistenza dello stimatore è invece provata in gura ??. Il valor medio dell'average NEES è di circa 2.1566, quindi accettabilmente vicino a 2. Ancora una volta l'average NEES è dentro l'intervallo stabilito dal criterio di consistenza, anche se con risultati meno soddisfacenti delle altre simulazioni. Questo è dovuto al fatto che la traccia utilizzata anche se "ripuli- ta", proveniva da dati piuttosto "grezzi", in cui erano presenti delle discontinuità.
6.3 Simulazione al Campo Volo
Figura 6.35: Errore in Range - Simulazione Campo Volo
6.3 Simulazione al Campo Volo
Figura 6.37: Errore nella coordinata x - Simulazione Campo Volo
6.3 Simulazione al Campo Volo
Figura 6.39: Probabilità dei Modelli - Simulazione Campo Volo
6.3 Simulazione al Campo Volo
Figura 6.41: Accelerazione Stimata - Simulazione Campo Volo
6.3 Simulazione al Campo Volo
Figura 6.43: RMS dell'errore in Range per ogni intervallo di campionamento - Campo Volo
Figura 6.44: RMS dell'errore in Azimuth per ogni intervallo di campionamento - Campo Volo
6.3 Simulazione al Campo Volo
Figura 6.45: RMS dell'errore in Range per ogni simulazione - Campo Volo
6.4 Eetto degli Errori del Radar
Figura 6.47: Average NEES - Campo Volo
6.4 Eetto degli Errori del Radar
Nelle sezioni precedenti è stato simulato un radar con un refresh rate di 3 s, avente errore in range di 1.5 m ed in azimuth di 1°. Per essere conservativi, è stato preso un livello di con denza sulle misurazioni di 1 σ. In questo modo, vi era una forte dispersione dei dati intorno al valore reale, dato dalle tracce ADS-B.
Visto che l'algoritmo di stima ha dato buoni risultati, soddisfacendo tutti i requisiti di progetto, è lecito analizzare le prestazioni dell'algoritmo al miglioramento delle prestazio- ni del radar. Il risultato aspettato sarà un perfezionamento dell'accuratezza sulla stima dell'algoritmo.
Per eettuare questo tipo di analisi, è stata riproposta la traccia della sezione ??, in modo poter fare dei paragoni.
Il primo studio è stato fatto sul livello di con denza delle misurazioni radar: si è supposto di diminuire il livello di scatter delle misurazioni dividendo per 2 l'errore in range ed in azimuth (ovvero la deviazione standard della distribuzione gaussiana del rumore). Questo equivale a impostare a 2 σ il livello di con denza della misurazione radar.
Le gure ?? e ?? mostrano i risultati principali di una single run. Comparando i risultati con quelli ottenuti nella sezione ??, si può chiaramente dire che le prestazione dell'algorit- mo di stima sono notevolmente aumentate. Per validare questa aermazione, sono state eettuate 100 simulazioni di Monte-Carlo. Le gure dalla ?? alla ?? confermano quanto detto sopra.
Si può quindi concludere che, una diminuzione dello scatter nelle misurazioni radar porta a signi cativi miglioramenti nel processo di stima dell'algoritmo.
6.4 Eetto degli Errori del Radar
Figura 6.48: Errore in Range - Simulazione con 2 σ
6.4 Eetto degli Errori del Radar
Figura 6.50: RMS dell'errore in Range per ogni intervallo di campionamento - Simulazione con 2 σ
Figura 6.51: RMS dell'errore in Azimuth per ogni intervallo di campionamento - Simulazione con 2 σ
6.4 Eetto degli Errori del Radar
Figura 6.52: RMS dell'errore in Range per ogni simulazione - Simulazione con 2 σ
6.4 Eetto degli Errori del Radar
Oltre allo studio dell'eetto della con denza sull'accuratezza dello stimatore, si sono indagate anche le conseguenze della diminuzione di uno solo dei due errori di misurazione. Inizialmente si è deciso di portare l'errore in range del radar ad 1 m, lasciando invariati l'errore in azimuth e la loro con denza (quindi sempre 1 σ). I risultati di una signle run ed di 100 simulazioni di Monte-Carlo sono illustrati nelle gure ??, ??, ??, ??, ?? e ??. Come si può notare, l'eetto della riduzione dell'errore di misurazione in range non ha forti conseguenze sull'errore in azimuth. L'unico cambiamento degno di nota si riscontra nella stima del range.
Lo scenario è sostanzialmente diverso se si diminuisce l'errore di misurazioni in azimuth.