Valutazione dell’accuratezza

Come accennato al paragrafo 3.4, prima di procedere con l‟elaborazione, è necessario un primo controllo sulla qualità delle correzioni apportate. Il parametro statistico impiegato per la valutazione è il Root Mean Square Error (RMSE), pari a:

con:

: media dei residui [m]; : deviazione standard [m].

Per eseguire tali controlli, come descritto al paragrafo 4.2, oltre ai GCPs è bene disporre anche di CPs per valutare gli scostamenti fra le coordinate note e quelle ricavate dall‟implementazione del modello. In particolare, i residui relativi ai GCPs consentono di valutare l‟accuratezza della modellazione, mentre quelli sui CPs riflettono l‟accuratezza finale: errori sui GCPs (calcolo delle coordinate terreno o riconoscimento sulle immagini) comporteranno un‟errata esecuzione dell‟orientamento (visibile con un aumento generalizzato dei residui), mentre errori analoghi sui CPs innalzeranno solo i residui su questi ultimi ma l‟accuratezza finale del modello sarà comunque maggiore. Proprio per ottenere risultati significativi, si devono evitare campioni ridotti di punti: orientamenti eseguiti con pochi GCPs potrebbero generare RMSE eccessivamente ridotti (il modello approssima molto bene tali punti, per cui si rischia di sovrastimare la precisione, ma può generare elevate distorsioni altrove, sottostimando l‟accuratezza reale ottenibile), così come pochi CPs rendono statisticamente poco significativo il confronto.

Da non sottovalutare in tale fase sono le condizioni di presa delle immagini, poiché la precisione intrinseca dei punti è dipendente anche dall‟angolo di off nadir medio dell‟immagine, con un calo sensibile al suo aumentare.

Diversi sono i metodi applicabili, tutti tipicamente generali e pertanto validi con qualunque software utilizzato per l‟elaborazione; tra i più usati si hanno [13]:

1. Hold Out Validation (HOV): i punti di entrambi i set devono essere ben distribuiti sull‟immagine ed in numero paragonabile. Il principale svantaggio è la totale dipendenza dai punti impiegati come CPs: come appena descritto, se si hanno outliers o comunque punti rilevati di scarsa accuratezza, il valore finale di RMSE è affetto da bias, oppure se i punti sono pochi il controllo risulta non attendibile.

2. Leave-One-Out Cross-Validation (LOOCV): è un caso particolare del metodo generale k-fold cross validation, in cui il set di dati iniziale è suddiviso in k sottogruppi all‟incirca delle stesse dimensioni. Il modello è poi eseguito k volte, impiegando ogni volta un sottogruppo diverso come test set e gli altri come dati da elaborare. L‟accuratezza complessiva è ottenuta mediando i valori calcolati su ogni sottogruppo. Nel caso specifico si ha k = numero GCPs, con ogni sottogruppo composto da un solo GCP: vengono quindi usati come GCPs tutti i punti meno uno, impiegato invece come CPs, variandolo ovviamente ad ogni iterazione. Ad ogni step si calcola anche il residuo tra le coordinate calcolate per il CP e quelle note, per cui il parametro di validazione finale è ancora il RMSE o un parametro più robusto quale il median Absolute Deviation (mAD) degli errori su tutte le iterazioni, che permette l‟identificazione dei punti crtitici, tipicamente quelli con residuo superiore a 3 volte il mAD. In tal modo tutti i punti sono usati sia come GCPs che come CPs, evitando dunque la dipendenza del risultato dal solo set di CPs o da eventuali outliers e risultando perciò un metodo più robusto.

Un confronto tra i due metodi [9][23] ha in generale mostrato una buona corrispondenza tra i risultati ottenuti con ambedue le procedure confrontando CPs in aree simili: deve infatti essere ben valutato se gli indici del metodo LOOCV sono paragonabili a quelli HOV in relazione alle diverse distribuzioni impiegate come GCPs e CPs nei differenti test. Con la procedura LOOCV si impiega ogni volta un GCP in meno, per cui in alcuni casi l‟area complessiva da essi coperta può risultare sensibilmente inferiore all‟intero set usato con il metodo HOV; in aggiunta, nella medesima condizione il CP si viene a trovare in una zona marginale rispetto ai GCPs, con la possibilità quindi di avere residui maggiori (che influenzano il RMSE ma non il mAD). Ulteriori test hanno mostrato la maggior robustezza del parametro mAD rispetto al RMSE per il metodo LOOCV andando a paragonare i risultati con set composti da un GCP in meno anche per il metodo HOV.

3. Test di robustezza del modello [23]: è volto a valutare le variazioni di accuratezza quando si hanno uno o più outliers all‟interno del set di GCPs. È sufficiente aggiungere un errore fittizio di entità pari a 45 volte il valore del RMSE alle coordinate di un GCP; eseguiti nuovamente i test di orientamento, oltre al solito parametro RMSE è possibile valutare anche il residuo globale normalizzato:

Prove eseguite con entrambi i modelli mostrano come con gli RPCs si abbiano problemi, mentre al contrario il metodo rigoroso riesce ad identificare gli outliers senza peggiorare eccessivamente l‟ortorettifica. In quest‟ultimo caso, infatti, i residui sui GCPs tendono a crescere, ma esaminando il residuo massimo si identifica chiaramente il punto errato; se però i GCPs sovrabbondanti sono pochi si ha una piccola propagazione dell‟errore su tutto il modello, con un aumento dei residui riscontrabile anche nei CPs [55].

4. Valutazione della stabilizzazione della precisione: analizzando i valori di RMSE ottenuti implementando il modello con un diverso numero di GCPs, è possibile avere indicazioni generali sull‟accuratezza ottenibile e valutare il numero minimo di GCPs che permette di ottenere tale valore: infatti, in funzione del GSD e dell‟angolo di off nadir, la precisione del modello (valutabile dal RMSE sui GCPs) cresce via via che i GCPs stessi aumentano fino ad un massimo, oltre cui l‟aggiunta di altri punti non comporta significativi miglioramenti. Si può a tal fine impiegare il RMSE dei CPs per identificare la curva esponenziale decrescente che meglio li approssima:

con:

y è il RMSE dei CPs; x il numero di GCPS;

a, b stimati mediante le deviazioni standard con stima ai minimi quadrati;

t è un intero positivo che si calcola in modo iterativo a partire da t =1 grazie alla stima del valore asintotico a e di b: se, in corrispondenza della metà dei GCPs a disposizione, la differenza tra a e y è maggiore di una data soglia funzione del GSD delle immagini, t è incrementato di un‟unità e si stimano nuovamente a e b, altrimenti consente di ricavare il numero minimo di GCPs come intero superiore del valore di x

corrispondente ad :

Nel caso si sia impiegato il metodo LOOCV, il valore di t deve però essere stimato in corrispondenza del numero totale di GCPs meno uno: .

Un metodo analogo [2] consente di ricavare il numero minimo di GCPs partendo sempre dai valori di RMSE per le coordinate planimetriche dei GCPs stessi. È infatti possibile individuare mediante una procedura iterativa una retta con ordinata costante nel piano cartesiano in cui si riportano i residui stessi (in ascissa si ha il numero di GCPs impiegati, in ordinata i relativi RMSEs). Il primo valore di tentativo per l‟ordinata costante è dato dalla media dei residui degli ultimi 2 o 3 test eseguiti: se, con una tolleranza pari a 2, non si hanno outliers, si inserisce un

punto, che permette di identificare il valore della precisione intrinseca (e dunque dell‟ordinata costante) pari al RMSE del passo precedente. Eseguendo il calcolo separatamente per la coordinata Nord ed Est, il più grande dei due valori rappresenta il valore minimo di GCPs col quale si ha l‟assestamento dell‟accuratezza.

Tipicamente 35 punti sono sufficienti impiegando RFM con RPC forniti nei metadati (è necessario come visto calcolare la traslazione o la trasformazione affine per raffinare l‟orientamento), mentre ne occorrono 815 impiegando modelli rigoroso (in funzione del tipo di sensore e del tipo di immagine) [13] ma tale numero è comunque variabile per ogni immagine in funzione dell‟estensione e della morfologia del terreno.

5. Incertezza di collimazione dei punti sulle immagini [1]: utile per evitare errori grossolani o sistematici di individuazione dei punti che possono inficiare la bontà dell‟orientamento. A tal proposito, più operatori possono eseguire l‟operazione di riconoscimento di tutti i punti (GCPs, CPs, e TPs), confrontando poi separatamente gli scarti quadratici medi di collimazione delle coordinate immagine e ritenendo outliers quelli aventi residuo superiore al doppio dei valori medi ottenuti; ricollimando od eliminando tali punti è possibile giungere a scarti quadratici finali medi dell‟ordine di 1/3 di pixel, garantendo così un errore massimo inferiore ad un pixel col 90% di probabilità.