4.2 Tecniche di verifica
4.2.1 Previsioni non probabilistiche per variabili discrete
In molti casi pratici, sia i forecast, sia i predittori sono variabili discrete. Considerando il retrieval della pioggia, le variabili discrete possono essere, a
titolo di esempio, le due condizioni pioggia/non pioggia. Se si descrive con yi
la previsione, con i che va da 1 a I, e la corrispondente osservazione oj, con
indice tra 1 e J, allora la distribuzione congiunta diventa:
p(yi, oj) = P r{yi, oj} = P r{yi∩ oj} (4.5)
Questa espressione rappresenta una funzione di distribuzione di probabi- lità discreta bivariata, cui è associata una probabilità con ciascuna delle I × J combinazioni possibili di previsione e osservazione. La distribuzione congiunta può essere fattorizzata in due modi. La prima è:
p(yi, oj) = p{oj|yi}p{yi} (4.6)
definita come calibration-refinement factorization (Murphy and Winkler, 1984). Il primo fattore specifica quanto spesso ciascun possibile evento (pioggia) è avvenuto nelle occasioni in cui il singolo forecast è stato prodotto, o quanto bene è stato calibrato il retrieval. Il secondo fattore è la distribuzione mar- ginale non condizionata, che specifica le frequenze relative di uso di ciascuno
dei valori di previsione yi, o meglio quanto spesso si è fatto uso di un valore
discreto di retrieval.
La seconda tipologia di fattorizzazione è la likehood-base rate factorization (Murphy and Winkler, 1984):
p(yi, oj) = p{yi|oj}p{oj} (4.7)
Qui le distribuzioni condizionali p(yi|oj) esprimono la probabilità che ciascun
valore di retrieval ammissibile venga prodotto prima di conoscere l’evento
osservato oj. La distribuzione non condizionata p(oj) consiste nelle frequenze
relative dei J eventi possibili oj nel dataset di verifica, ovvero la distribuzione
climatologica del campione di riferimento.
Sebbene le due fattorizzazioni della distribuzione congiunta possono es- sere utili per organizzare concettualmente l’informazione di verifica, nessuna delle due riduce la dimensionalità o i gradi di libertà del problema. Ovve-
Figura 4.2: Tabella di contingenza (a) con a = corretti, b = f alsi allarmi, c = mancati e d = corretti negativi. La seconda tabella (b) contiene la cor- rispondente distribuzione congiunta dei retrieval e delle osservazioni [p(y, o)] e le rispettive distribuzioni marginali p(o) e p(y).
ro, dal momento che tutte le probabilità nella distribuzione congiunta devono fornire come somma il valore 1, essa è specificata completamente da (I ×J )−1 di queste probabilità.
In questo studio si considereranno variabili distinte da due intervalli di- screti, separate da soglie fissate. L’analisi categorica si/no fa uso della sta- tistica dicotomica. In questo caso I = J = 2 e la descrizione dettagliata della performance del retrieval richiede almeno un set con 3 dimensioni di attributi scalari di verifica.
Convenzionalmente la verifica è visualizzata in una tabella di contingenza delle frequenze assolute (fig. 4.2(a)). I conteggi possono essere trasformati nelle frequenze relative dividendo le entrate tabulate rispetto alla dimensione del campione. In questo modo si ottiene la distribuzione congiunta dei fore- cast e delle osservazioni (fig. 4.2(b)). Di seguito vengono descritte le formule di skill score adottate in questo studio, ciascuna delle quali riflette alcuni differenti aspetti della distribuzione congiunta.
La statistica di accuratezza riflette la corrispondenza tra le coppie di forecast e gli eventi che si cerca di stimare. Una misura dell’accuratezza è compiuta per mezzo dell’indice Proportion Correct (PC) proposto da
4.2. TECNICHE DI VERIFICA 101 Finley (1884):
P C = a + d
n , 0 ≤ P C ≤ 1 (4.8)
Questa proporzione soddisfa il principio di equivalenza degli eventi. Tuttavia non è sempre un attributo auspicabile, in particolare quando l’evento “si” è raro. Massima performance: PC=1. Un’alternativa alla situazione in cui l’evento previsto come “sì” avviene molto meno frequentemente rispetto al non evento, è il Threat Score (TS):
T S = a
a + b + c, 0 ≤ T S ≤ 1 (4.9)
Può essere pensato come l’accuratezza quando non si considerano i corretti negativi. Risulta pertanto sensibile ai corretti, ma penalizza i mancati e i falsi allarmi e non distingue la sorgente di errore nel forecast. Migliore performance: TS=1.
Un terzo approccio è in termini di odds, ovvero il rapporto di una probabi- lità con la sua probabilità complementare. L’indice relativo a tale approccio è chiamato Odds Ratio (OR):
θ = p(y1|o1)/[1 − p(y1|o1)] p(y1|o2)/[1 − p(y1|o2)] = p(y1|o1)/p(y2|o1) p(y1|o2)/p(y2|o2) = a d b c, 0 ≤ θ < ∞ (4.10)
Misura il rapporto tra la probabilità di ottenere un corretto e la probabilità di ottenere un falso allarme. Pertanto, valori elevati di questo rapporto indi- cano retrieval più accurati. Per θ = 1 lo skill è nullo, i risultati migliori sono ottenuti per θ = ∞.
Il bias può essere stimato per mezzo del Bias Score:
B = a + b
a + c 0 ≤ B < ∞ (4.11)
Questa espressione non fornisce informazioni sulla corrispondenza tra i fo- recast individuali e le osservazioni degli eventi in particolari occasioni, ma misura esclusivamente le relative frequenze. Massima performance: B=1.
Il False Alarm Ratio (FAR) rappresenta una delle frequenze condizio-
nali relative, nello specifico p(o2|y1). In riferimento alle entrate della tabella
di contingenza la frazione è rappresentata da:
F AR = b
Questo indice è sensibile ai falsi allarmi ma ignora i casi mancati. Massima performance: FAR=0. Il Success Ratio (SR) fornisce l’informazione rela- tiva alla probabilità di accadimento di un evento, considerando l’insieme del forecast :
SR = a
a + b 0 ≤ SR ≤ 1 (4.13)
Massima performance: SR=1. Un’altra probabilità condizionale utilizzata
frequentemente è p(o1|y1), definita Probability Of Detection (POD):
P OD = a
a + c 0 ≤ P OD ≤ 1 (4.14)
Questa statistica può essere vista anche come la frazione delle occasioni pre- viste in cui l’evento è avvenuto rispetto al numero totali di occasioni in cui si è verificato. Massima performance: POD=1. La frequenza relativa condi- zionale di un forecast errato, noto il non avvenimento dell’evento, è definito per mezzo della Probability Of False Detection (POFD):
P OF D = b
b + d 0 ≤ P ODF ≤ 1 (4.15)
Massima performance: PODF=0. L’Heidke Skill Score (HSS) è un skill score la cui accuratezza di riferimento è la proporzione di corretti che sareb- be ottenuta da forecast casuali che sono statisticamente indipendenti dalle osservazioni. L’HSS è definito nel modo seguente:
HSS = A − Aref Aperf − Aref
= 2(ad − bc)
(a + c)(c + d) + (a + b)(b + d), −1 ≤ HSS ≤ 1 (4.16)
dove A indica l’accuratezza, Aref l’accuratezza di riferimento e Aperf il valore
di accuratezza che sarebbe raggiunto da forecast perfetti. La performance migliore è raggiunta per HSS=1, con HSS=0 la previsione è equivalente a quella di rifermento, nel caso peggiore è inferiore a 0.
L’Hanssen-Kuipers discriminant (HK) può essere interpretato come A(eventi)+ A(non eventi)− 1 e cerca di indicare quanto bene i retrieval separano
gli eventi “si”, dagli eventi “no”. Il rapporto è:
HK = ad − bc
(a + c)(b + d) − 1 ≤ HK ≤ 1 (4.17)
La massima performance è ottenuta per HK=1, mentre HK=0 indica nessuno skill.
Uno skill score nella forma dell’equazione 4.16 può essere determinata a partire dal TS come misura di accuratezza di base, utilizzando TS per fore-
4.2. TECNICHE DI VERIFICA 103
cast casuali come riferimento. Ponendo T Sperf = 1, si ottiene l’Equitable
Threat Score (ETS):
ET S = a − aref
a − aref + b + c
− 1
3 ≤ ET S ≤ 1 (4.18)
dove aref = (a + b)(a + c)/n. Misura la frazione eventi osservati che sono
stati correttamente previsti, aggiustato per le hit associate con probabilità casuale. Si applica generalmente ai casi in cui l’evento “si” è relativamente raro, poiché d non compare nell’equazione 4.18. La massima performance è ottenuta per ETS=1, mentre ETS=0 indica nessuno skill.
L’odds ratio può anche essere usato come base di uno skill score:
Q = θ − 1
θ + 1 =
ad − bc
ad + bc − 1 ≤ Q ≤ 1 (4.19)
Questo skill score è denominato Odds Ratio Skill Score. Questo indice è indipendente dai totali marginali, ovvero dalla soglia fissata per separare gli eventi. La massima performance è ottenuta per Q=1, mentre Q=0 indica nessuno skill.
Gli indici definiti sopra sono stati stimati nel confronto tra i dati dei profili e i retrieval dell’algoritmo, considerando come variabile discreta la precipitazione, fissando la soglia discriminante dei due eventi a 0.1 mm/h. Poiché l’algoritmo 183-WSL è sensibile anche alla precipitazione solida, si è assunta come precipitazione totale la somma dei contributi pioggia e neve.