Confronti eseguiti

È stato in questo caso possibile testare sia i modelli generati da OrthoEngine che quelli derivanti da SISAR e DPCOR, eseguendo differenze tra il modello in esame e quello di riferimento.

1. DSMs estratti con OrthoEngine

Come per le verifiche con punti di controllo, anche in questo caso i modelli generati sono stati suddivisi in due set; i primi risultati ottenuti sono i seguenti [20]:

DSM Mean [m] StDev [m] RMSE [m]

PAN_1m 0.02 5.07 5.07

PAN_4m 0.01 5.06 5.06

PAN_1m* 0.06 5.19 5.19

NIR -0.15 5.32 5.32

Tabella 5-17 - IKONOS II: risultati della validazione con il DSM di riferimento per i modelli estratti con OrthoEngine

Si ha un buon accordo con quanto descritto al paragrafo precedente per i confronti puntuali: a fronte di una media praticamente nulla per tutti i modelli, le deviazioni standard risultano comunque elevate, con errori maggiori concentrati principalmente nelle aree edificate.

I risultati più significativi ottenuti con il secondo set di modelli estratti ed eseguiti con DEMANAL (§5.3) sono i seguenti, sempre relativi ai soli modelli estratti senza TPs dato il totale accordo dei risultati (oltre all‟intera immagine si riportano anche i dati relativi a tiles di 3000x3000 pixel):

Modello Rigoroso, immagine PAN Rigoroso, immagine NIR

Area Totale Alberi Campagna Città Totale Alberi Campagna Città

Tot. punti 3 24820000 3038084 2906136 2915754 6131247 878380 764058 808602 % scartati 10.9 12.8 8.8 9.7 6.9 5.5 5.6 5.2 Residuo lim. [m] 5.13 5.95 3.98 8.84 7.78 8.70 6.92 11.20 Mean [m] 1.37 0.87 1.64 1.83 1.47 1.36 1.89 1.86 StDev [m] 1.71 1.98 1.33 2.95 2.59 2.90 2.31 3.73 RMSE [m] 2.19 2.17 2.11 3.47 2.98 3.20 2.98 4.17 Max [m] 6.50 6.82 5.62 10.67 9.25 10.05 8.81 13.06 Min [m] -3.76 -5.08 -2.34 -7.01 -6.30 -7.34 -5.03 -9.33

Modello Razionale di ordine 1, immagine PAN

Area Totale Alberi Campagna Città

Tot. punti 3 24774735 3538034 3184042 3228479 % scartati 12.0 15.3 8.2 9.8 Residuo lim. [m] 4.65 5.05 3.88 8.84 Mean [m] 1.35 0.99 1.53 1.16 StDev [m] 1.55 1.68 1.29 2.95 RMSE [m] 2.06 1.95 2.01 3.17 Max [m] 6.00 6.04 5.41 10.00 Min [m] -3.31 -4.06 -2.35 -7.68

Tabella 5-18 - IKONOS II: risultati della validazione con il DSM di riferimento per i modelli estratti con OrthoEngine

Scartando gli outliers, rispetto alla tabella precedente i risultati migliorano in maniera sensibile: un modello nel complesso migliore non è chiaramente identificabile, quello razionale sembra mostrare deviazioni standard di poco più contenute anche se ha percentuali mediamente maggiori per i punti scartati. In particolare, si è mostrato solo il risultato relativo all‟ordine 1 poiché non si sono apprezzate variazioni significative per gli altri; unica differenza si è notata nell‟inserimento dei TPs: se in tutte le altre prove ciò non comportava modifiche, per gli ordini 1 e 2 sono state eseguite più iterazioni, scartando circa un 2% di punti in più, con un calo delle medie di circa 0.5m e deviazioni standard comunque paragonabili (il RMSE è calato, ma anche in zone rurali è rimasto mediocre, con valori comunque attorno ad 1.5m).

2. DSMs estratti con DPCOR

I risultati più significativi (ricavati con DEMANAL, §5.3) tra tutti i test descritti in Tabella 5-12 sono mostrati nella tabella seguente:

Modello Punti non interpolati Punti interpolati

Area alberi_a campagna_a campagna_c1 alberi_a campagna_a campagna_c1

Tot. punti 3 492272 717261 742876 2236208 2237992 2242486 % scartati 10.7 6.2 5.2 5.3 7.7 6.3 Residuo lim. [m] 3.61 3.00 2.91 7.94 3.34 3.17 Mean [m] 0.44 2.10 2.08 1.25 2.09 2.09 StDev [m] 1.20 1.00 0.97 2.65 1.11 1.06 RMSE [m] 1.28 2.32 2.30 2.93 2.37 2.34 Max [m] 4.06 5.09 4.99 9.19 5.43 5.26 Min [m] -3.17 -0.90 -0.83 -6.70 -1.25 -1.08

Modello Punti non interpolati

Area città_a1 città_a2 città_b1

Tot. punti 3 321722 11125 3000480 % scartati 13.4 18.2 83.6 Residuo lim. [m] 3.28 6.97 3.14 Mean [m] 1.48 0.88 1.45 StDev [m] 1.09 2.32 1.05 RMSE [m] 1.84 2.48 1.79 Max [m] 4.76 7.85 4.59 Min [m] -1.80 -6.08 -1.69

Tabella 5-19 - IKONOS II: risultati della validazione con il DSM di riferimento per i modelli estratti dalle immagini pancromatiche con DPCOR

I test eseguiti con il tile alberi mostrano buoni residui per i punti sparsi, poiché l‟alta percentuale di punti scartati corrisponde alla zona in secca del letto del fiume (che non era stata esclusa dall‟area di matching e che nel modello di riferimento risulta a quota nulla). La creazione della griglia comporta però un aumento dell‟errore per via dell‟eccessiva approssimazione introdotta (molti punti trovati e corretti appartengono a gruppi di alberi al bordo delle strade presenti e quindi in prossimità di campi all‟interno dei quali pochi punti sono stati al contrario identificati), che rende quindi il DSM non sufficientemente preciso.

I test eseguiti sul tile campagna hanno mostrato che a parità di dimensione della finestra (test eseguiti con finestre 15x15 e 20x20, Tabella 5-12), variare il passo di movimento della finestra ed il coefficiente di correlazione minimo non comporta alcuna variazione. Analogamente, la variazione della dimensione della finestra comporta piccolissime variazioni dei risultati (RMSE sempre pari ad un pixel e punti analizzati comparabili come numero totale), mostrando i valori via via migliori con dimensioni di 15x15, 10x10 e 20x20. In questo caso, essendo ben distribuiti i punti riconosciuti e ridotte le variazioni altimetriche, la creazione della griglia a partire dalla nube di punti sparsi non ha comportato peggioramenti sui dati. Nel complesso, però, i valori di RMSE risultano troppo elevati

(sembra esserci un bias con quota media del modello estratto superiore) così come i residui massimi accettati.

I test eseguiti nel tile urbano sono relativi alle sole nubi di punti sparsi: il ridotto numero di punti correlati introduceva nel processo di creazione della griglia errori ovviamente inaccettabili (RMSE dell‟ordine di 610m). La prova con seed points a livello terreno aumentando la dimensione della finestra a 15x15 e riducendo ad 1px il passo di movimento (città_b1) ha dato risultati analoghi a quella standard (finestra 10x10 e passo di 3px, prova città_a1), in quanto come si vede oltre l‟80% dei punti trovati in più è stato scartato, punti che come detto (§5.9.4) sono comunque situati nelle aree periferiche ed in quelle verdi e non nelle zone più densamente edificate. I residui sono in generale molto buoni, ma il numero di punti riconosciuti è del tutto insufficiente per permettere la costruzione di un DSM della zona.

Per le immagini NIR si ha:

Modello Punti non interpolati

Area alberi_a campagna_a citta_a1 citta_a2

Tot. punti 3 45614 54157 49114 49021 % scartati 11.5 8.7 3.2 3.2 Residuo lim. [m] 5.30 3.63 13.97 13.91 Mean [m] 0.50 0.44 0.56 0.54 StDev [m] 1.77 1.21 4.66 4.64 RMSE [m] 1.83 1.29 4.69 4.67 Max [m] 5.79 4.08 14.53 14.46 Min [m] -4.80 -3.19 -13.41 -13.37

Tabella 5-20 - IKONOS II: risultati della validazione con il DSM di riferimento per i modelli estratti dalle immagini NIR con DPCOR

La creazione della griglia ha dato risultati del tutto analoghi; i valori risultano migliori rispetto alle immagini pancromatiche solamente nel tile campagna: in parte ciò è dovuto all‟assenza del bias prima descritto, in parte è comunque dovuto al fatto che il residuo massimo accettato è ancor più elevato.

Da ultimo, tutti i test condotti avendo estratto il DSM con orientamento eseguito mediante funzioni razionali hanno dato risultati del tutto analoghi nel tile campagna, mentre con deviazioni standard fino a 0.5m superiori nelle altre due aree.

3. DSMs estratti con SISAR

I risultati dei modelli più significativi (calcolati con DEMANAL, §5.3) sono i seguenti:

Modello Punti non interpolati

Area alberi campagna città

Tot. punti 3 740044 71331 \ % scartati 2.5 5.7 8.0 Residuo lim. [m] 10.55 2.28 9.55 Mean [m] 0.38 -0.84 1.93 StDev [m] 3.52 0.76 3.18 RMSE [m] 3.54 1.13 3.72 Max [m] 10.93 1.44 \ Min [m] -10.17 -3.12 \

Tabella 5-21 - IKONOS II: risultati della validazione con il DSM di riferimento per i modelli estratti con SISAR

Per quanto riguarda il tile alberi il residuo massimo accettato è troppo elevato così come il RMSE; in aggiunta, analizzando la distribuzione dei residui, il rilevato arginale mostra errori superiori ai 3m, mentre valori dell‟ordine dei 2m si ottengono nei campi coltivati adiacenti (l‟applicazione del filtro di smoothing non cambia i risultati ed elimina tutti i punti correlati proprio nella zona con vegetazione alta).

Il tile campagna ha dato buoni risultati in termini di numero e distribuzione dei punti riconosciuti e di RMSE, con valori di poco superiori alle dimensioni del pixel. In particolare, tale valore migliora ulteriormente nelle sole zone coltivate, in quanto si hanno residui maggiori localizzati lungo il cavalcavia dell‟uscita autostradale e nella zona sud con più capannoni.

In conclusione, le prove migliori con il tile città sono state ottenute con la finestra di ricerca di 20x20 pixel (i valori maggiori tentati per tenere in considerazione la parallasse e l‟altezza degli edifici davano RMSE quasi doppi). Anche in questo caso, comunque, il residuo limite accettato è molto elevato, quindi il RMSE di quasi 4px non risulta soddisfacente.

5.10.2.3. Considerazioni conclusive

I risultati delle tabelle del paragrafo precedente possono essere riassunte in questo confronto tra i tre software (Tabella 5-22), in cui per uniformità i test più significativi sono stati nuovamente condotti nel tile campagna 1000x1000 ed in quello città 500x500 (poiché nessuno dei tre programmi ha modellato in maniera soddisfacente l‟area di vegetazione fitta, il tile alberi non è stato considerato) valutando la significatività con il LE95:

Tile Campagna Città

Mean [m] StDev [m] RMSE [m] Mean [m] StDev [m] RMSE [m]

OrthoEngine 1.24 1.66 2.07 0.93 3.66 3.78

DPCOR 1.17 1.29 1.74 3.45 6.12 7.02

SISAR 1.69 1.35 2.17 -0.36 3.88 3.9

Tabella 5-22 - IKONOS II: riassunto della validazione con il DSM di riferimento per i modelli estratti con tutti i software testati

Nel tile campagna DPCOR dà i risultati migliori, mentre OrthoEngine e SISAR sembrano del tutto simili. In Figura 5-28 si vede in realtà come DPCOR e SISAR modellino in maniera analoga e nel complesso corretta non solo i campi ma anche il rilevato autostradale; entrambi risentono come OrthoEngine, seppure in maniera minore, dello stesso problema di matching nel campo in alto a destra. La principale differenza consiste nel range di quote del modello: esclusi gli outliers negativi, effettivamente DPCOR sembra avere valori più simili al modello di riferimento, mentre SISAR pare mostrare un bias negativo. Molto più estesa è la zona con problemi di matching per OrthoEngine, che in generale riconosce sia i rilevati che gli edifici in modo più irregolare e con la tendenza ad aumentare la dimensione. Nel complesso, quindi, i valori di residuo di quasi 2 pixel e la capacità di identificare gli oggetti sul territorio sono buoni per tutti e tre i software ma non permettono di impiegare il modello generato per studi di elevata precisione.

Nel tile città, come già detto DPCOR si è mostrato del tutto insufficiente per la creazione del modello. SISAR e OrthoEngine mostrano anche in questo caso residui analoghi, anche se i due programmi mostrano bias di segno opposto: come per l‟area rurale SISAR sembra sottostimare le quote, mentre al contrario esse sono mediamente più alte rispetto con OrthoEngine. In generale, quindi, in questo caso i modelli generati non possono essere ritenuti soddisfacenti per la descrizione della morfologia della città. Osservando in dettaglio i modelli in Figura 5-30 si vede come OrthoEngine non permetta quasi per nulla l‟identificazione del reticolo stradale e come gli isolati sembrino essere tutte “chiazze” deformi di quota all‟incirca costante. Con SISAR le quote sono meglio definite (i picchi positivi risultano molto ridotti ed isolati) ed è possibile identificare meglio le strade e le corti interne dei palazzi di dimensioni maggiori.