Nel caso della stima del parametro

Lezione 21

PROPRIETÀ DEGLI STIMATORI

Considerato un certo parametro , esistono diverse funzioni dei dati campionari che possono essere considerate come possibili stimatori del parametro, ma è evidente che la scelta di una determinata funzione oppure di una funzione diversa porta a stime che sono generalmente diverse fra di loro.

Se è noto che Z ha una distribuzione normale, per esempio, il suo parametro  potrebbe essere stimato dalla media, dalla moda o dalla mediana del campione.

Nei casi reali il parametro in questione è ovviamente ignoto, per cui non c’è nessuna possibilità di quantificare l'errore commesso utilizzando una particolare stima.

Per determinare la bontà di una funzione dei dati campionari rispetto ad altre funzioni diverse ci si basa sulle proprietà degli stimatori. Si sceglierà quindi lo stimatore con le proprietà migliori, anche se in una particolare occasione di campionamento non si potrà mai sapere se la stima fornita dallo stimatore scelto è effettivamente prossima al valore vero del parametro ignoto.

Nel caso della stima del parametro , per esempio, si giungerà alla conclusione che lo stimatore migliore è la media campionaria, ma in una determinata occasione di campionamento non si potrà mai essere sicuri che il calcolo della mediana campionaria o della moda campionaria non avrebbe fornito un risultato che sarebbe stato più vicino a .

Semplificando al massimo il problema, si consideri una variabile Z che ha una distribuzione di frequenza f(z,) di forma nota in cui compare un unico parametro ignoto: . In maniera analoga, se la distribuzione di Z fosse invece ben approssimata da un qualche modello teorico, si consideri un modello f(z,) caratterizzato dal valore del parametro ignoto .

Partendo da questo presupposto, si studieranno 3 importanti proprietà degli stimatori:

1) CORRETTEZZA

La funzione T=g(X) dei dati campionari è uno stimatore corretto del parametro

 se il valore atteso dello stimatore è uguale al parametro da stimare, ossia se

E(T) = 

per ogni possibile valore del parametro .

Questa proprietà fornisce garanzie contro il verificarsi di errori di stima sistematici, ossia di sistematiche sovrastime o sottostime del parametro. Se uno stimatore non è corretto, si parla infatti di stime “distorte in media”.

Se uno stimatore non è corretto, si dice distorto, e la sua distorsione è data dalla differenza

B(T) = E(T) − 

dove la lettera B é l’iniziale del termine inglese “bias” (che si legge bɑɪ·əs).

Considerando gli stimatori analizzati nel corso di queste lezioni, risulta che la media campionaria e la proporzione campionaria sono stimatori corretti. Si è infatti dimostrato in precedenza che

𝐸(𝑋̅) = 𝜇 𝐸(𝑃̂) = 𝜋

Non è invece corretta la varianza campionaria, in quanto 𝐸(𝑆²) = 𝑛 − 1

𝑛 𝜎²

Va però notato che al crescere della numerosità campionaria 𝑛 il valore atteso della varianza campionaria tende a 𝜎², per cui questo stimatore si dice asintoticamente corretto. La sua distorsione tende quindi a zero per 𝑛 che tende a +∞.

In generale, considerata una variabile Z che nella popolazione ha una distribuzione caratterizzata da un parametro ignoto , uno stimatore T=g(X) di  è asintoticamente corretto se, per ogni possibile valore del parametro , risulta

𝑛→∞𝑙𝑖𝑚𝐸(𝑇) = 𝜃 ovvero

𝑛→∞𝑙𝑖𝑚𝐵(𝑇) = 0

e cioè se il suo valore atteso dello stimatore tende al parametro da stimare al crescere della numerosità del campione.

Se uno stimatore è distorto è talvolta possibile correggere la sua distorsione, come accade nel caso della varianza campionaria. Se infatti si moltiplica la varianza campionaria per la costante ^𝑛

𝑛−1, si ottiene lo stimatore varianza campionaria corretta, spesso indicata mediante la notazione 𝑆_𝑐².

In genere, quindi, la varianza 𝜎² della popolazione viene stimata utilizzando lo stimatore

𝑆_𝑐² = 𝑛 𝑛 − 1𝑆²

che sarà quello che verrà utilizzato nelle lezioni successive.

Per ottenere il valore di questa funzione dei dati campionari conviene comunque calcolare la varianza campionaria nel modo usuale e poi moltiplicarla per la costante ^𝑛

𝑛−1

La dimostrazione che 𝑆_𝑐² è uno stimatore corretto della varianza della popolazione è estremamente semplice, in quanto

𝐸(𝑆_𝑐²) = 𝐸 ( 𝑛

𝑛 − 1𝑆²) = 𝑛

𝑛 − 1𝐸(𝑆²) = 𝑛 𝑛 − 1

𝑛 − 1

𝑛 𝜎² = 𝜎²

Anche se la correttezza è una proprietà desiderabile per uno stimatore, va detto che, in alcuni casi, uno stimatore distorto può essere preferibile a uno stimatore corretto. Questo accade se lo stimatore corretto fornisce elevate sottostime e sovrastime che si compensano fra loro, per cui lo stimatore presenta una

variabilità così elevata da poter fornire stime molto distanti dal valore vero del parametro.

2) EFFICIENZA

Una misura della variabilità delle stime fornite da uno stimatore è fornita dal suo errore quadratico medio (o momento secondo dell’errore di stima) che corrisponde a

𝑀𝑆𝐸(𝑇) = 𝐸(𝑇 − 𝜃)²

dove l’acronimo MSE indica le iniziali del termine inglese “mean square error”.

Questo indice fornisce una misura della precisione dello stimatore, in quanto calcola la media dei quadrati delle differenze fra i possibili valori dello stimatore e il parametro da stimare.

Al crescere della precisione delle stime cresce anche l’efficienza dello stimatore, nel senso che diminuisce il grado di incertezza sulle stime ottenute mediante un’indagine campionaria.

Uno stimatore, anche se corretto, risulta quindi poco efficiente se presenta un’elevata variabilità delle stime del parametro ignoto.

In genere l’errore quadratico medio viene calcolato per confrontare l’efficienza di due diversi stimatori del parametro. Considerati, per esempio, gli stimatori T1 e T2 di , se risulta

MSE (T1) < MSE(T2)

per ogni possibile valore del parametro , si conclude dicendo cheT1 è più efficiente di T2.

Nel caso del parametro , per esempio, risulta che la media campionaria è uno stimatore più efficiente della mediana campionaria o della moda campionaria, quale che sia il valore di .

Proprietà dell’errore quadratico medio

L’errore quadratico medio corrisponde alla somma della varianza dello stimatore più la sua distorsione al quadrato

Questa dimostrazione si effettua sommando e sottraendo il valore atteso 𝐸(𝑇) dello stimatore all’interno della formula dell’errore quadratico medio, creando un binomio e sviluppandone il quadrato

Dimostrazione

𝑀𝑆𝐸(𝑇) = 𝐸(𝑇 − 𝜃)² = 𝐸[𝑇 − 𝐸(𝑇) + 𝐸(𝑇) − 𝜃]² = = 𝐸{[𝑇 − 𝐸(𝑇)] + [𝐸(𝑇) − 𝜃]}² =

= 𝐸{[𝑇 − 𝐸(𝑇)]² + [𝐸(𝑇) − 𝜃]² + 2[𝑇 − 𝐸(𝑇)][𝐸(𝑇) − 𝜃]} = = 𝐸[𝑇 − 𝐸(𝑇)]²+ 𝐸[𝐸(𝑇) − 𝜃]²+ 2[𝐸(𝑇) − 𝜃] × 𝐸[𝑇 − 𝐸(𝑇)]

Il rettangolo dai bordi gialli contiene un’espressione che corrisponde alla varianza dello stimatore

Il rettangolo dai bordi rossi corrisponde alla media della differenza al quadrato fra valore atteso dello stimatore e parametro, per cui corrisponde alla media della distorsione al quadrato, che è una costante rispetto all’operatore “valore medio”

Il rettangolo dai bordi azzurri corrisponde alla media di una variabile scarto, in quanto considera la media della differenza fra lo stimatore T e il suo valore atteso. Quindi la quantità racchiusa nel rettangolo azzurro è pari a zero.

L’errore quadratico medio corrisponde quindi a

𝑀𝑆𝐸(𝑇) = 𝑉(𝑇) + [𝐵(𝑇)]²

Da questa dimostrazione risulta che se uno stimatore T è corretto il suo errore quadratico medio corrisponde alla sua varianza

MSE(T) = V(T)

Spesso, dati due diversi stimatori T1 e T2 di uno stesso parametro , si calcola l’efficienza relativa di T1 rispetto a T2 mediante il rapporto

𝑒(𝑇₁, 𝑇₁) = 𝑀𝑆𝐸(𝑇₁) 𝑀𝑆𝐸(𝑇₂)

che, se entrambi gli stimatori risultano corretti, assume la forma

𝑒(𝑇₁, 𝑇₁) = 𝑉(𝑇₁) 𝑉(𝑇₂)

Infine, considerata una variabile Z con distribuzione f(z, ) e uno stimatore corretto T di  se sono soddisfatte alcune condizioni abbastanza generali, si

dimostra mediante la disuguaglianza di Rao-Cramér che la varianza di T non può mai essere inferiore a una quantità Vmin, che dipende da f(z, ) e da n. Si ottiene quindi una misura dell’efficienza assoluta di T calcolando il rapporto

e(T_{) = ( )}

T V V_min

Se risulta

e(T) = 1,

per tutti i possibili valori del parametro , si conclude che T è uno stimatore che ha varianza minima e si dice quindi che ha massima efficienza.

3) COERENZA (o CONSISTENZA)

Un’altra importante proprietà di uno stimatore esamina il suo comportamento per un campione la cui numerosità tende ad infinito.

Uno stimatore si dice coerente (o consistente) se, considerato un qualsiasi valore   0, risulta

𝑛→∞𝑙𝑖𝑚𝑃(|𝑇 − 𝜃| ≥ 𝜀) = 0

per ogni possibile valore del parametro .

Uno stimatore si dice quindi coerente se, al crescere di n, tende a zero la probabilità che la differenza in valore assoluto tra stimatore e parametro risulti maggiore di un  comunque piccolo.

In altri termini, questo significa che lo stimatore T converge in probabilità a .

La coerenza, quindi comporta necessariamente che lo stimatore T sia corretto o, almeno, asintoticamente corretto e che la sua varianza V(T) tenda a zero per n che tende a infinito.

La statistica 𝑋 è uno stimatore coerente di  o di  (a seconda della distribuzione della Z e, di conseguenza, delle Xi). Anche gli stimatori della varianza, S² e 𝑆_𝑐², sono entrambi stimatori coerenti di ².

ESERCIZI

1. Data una popolazione di valore atteso  e varianza unitaria, si estragga un campione casuale di 4 elementi estratti con ripetizione e si considerino i seguenti stimatori di 

𝑇₁ = 𝑋₁+ 𝑋₄ 2

𝑇₂ =𝑋₁+ 𝑋₂ + 𝑋₃+ 𝑋₄ 4

𝑇₃ =𝑋₁+ 2𝑋₂+ 2𝑋₃+ 𝑋₄

Si verifichi che sono tutti stimatori corretti e si individui quello più efficiente. 6

La distribuzione di probabilità delle variabili 𝑋_𝑖corrisponde alla distribuzione di frequenza della Z, per cui ciascuna 𝑋_𝑖 ha un valore atteso pari a  e varianza unitaria

I valori attesi dei tre stimatori, combinazioni lineari delle 𝑋_𝑖, risultano quindi 𝐸(𝑇₁) = 𝐸(𝑋₁) + 𝐸(𝑋₄)

2 =𝜇 + 𝜇

2 = 𝜇 𝐸(𝑇₂) = 𝐸(𝑋₁) + 𝐸(𝑋₂) + 𝐸(𝑋₃) + 𝐸(𝑋₄)

4 = 4𝜇

4 = 𝜇 𝐸(𝑇₃) = 𝐸(𝑋₁) + 2𝐸(𝑋₂) + 2𝐸(𝑋₃) + 𝐸(𝑋₄)

= 6𝜇

= 𝜇

mentre le loro varianze sono 𝑉(𝑇₁) = 𝑉(𝑋₁) + 𝑉(𝑋₄)

4 = 1 + 1

4 =1

2 = 0.5 𝑉(𝑇₂) =𝑉(𝑋₁) + 𝑉(𝑋₂) + 𝑉(𝑋₃) + 𝑉(𝑋₄)

16 = 1 + 1 + 1 + 1

16 = 1

4= 0.25 𝑉(𝑇₃) =𝑉(𝑋₁) + 4𝑉(𝑋₂) + 4𝑉(𝑋₃) + 𝑉(𝑋₄)

36 =10

36 = 0.27̄

Si conclude quindi che lo stimatore più efficiente è T2

2. Data una popolazione di valore atteso  e varianza unitaria, si estragga un campione casuale di 4 elementi estratti con ripetizione e si considerino gli stimatori di 

𝑇₁ = 1

2𝑋₁+1

8𝑋₂ +1

4𝑋₃+1 8𝑋₄ 𝑇₂ =1

2𝑋̄

Si verifichi se sono stimatori corretti e si calcoli la loro varianza e il valore dell’errore quadratico medio per =1

I valori attesi dei due stimatori risultano 𝐸(𝑇₁) = 1

2𝐸(𝑋₁) +1

8𝐸(𝑋₂) +1

4𝐸(𝑋₃) +1

8𝐸(𝑋₄) = 4 + 1 + 2 + 1

8 𝜇 = 𝜇

𝐸(𝑇₂) = 1

2𝐸(𝑋̄) = 1 2𝜇

Lo stimatore 𝑇₁è quindi corretto, mentre 𝑇₂è distorto Le varianze dei due stimatori sono

𝑉(𝑇₁) = 1

4𝑉(𝑋₁) + 1

64𝑉(𝑋₂) + 1

16𝑉(𝑋₃) + 1

64𝑉(𝑋₄) = 16 + 1 + 4 + 1

64 𝜎² =

= 22

64𝜎² = 11 32 𝑉(𝑇₂) =1

4𝑉(𝑋̄) =1 4

𝜎² 4 = 1

16

Di conseguenza i due errori quadratici medi sono

𝑀𝑆𝐸(𝑇₁) = 𝑉(𝑇₁) = 11 32

𝑀𝑆𝐸(𝑇₂) = 𝑉(𝑇₂) + [𝐵(𝑇₂)]² = 1

16+ (1

2𝜇 − 𝜇)

2

= 1 16+1

4𝜇²

Ponendo 𝜇 = 1 risulta 𝑀𝑆𝐸(𝑇₂) = 1

16+1 4= 5

16 =10

32 < 𝑀𝑆𝐸(𝑇₁)

3. Data una popolazione di media  e varianza ², si estragga un campione bernoulliano di 2 elementi e si considerino i seguenti stimatori di 

𝑇₁ = 1

3𝑋₁+2 3𝑋₂ 𝑇₂ =3

4𝑋₁ +1 4𝑋₂

Si individui quello più efficiente

I due valori attesi sono 𝐸(𝑇₁) = 1

3𝐸(𝑋₁) +2

3𝐸(𝑋₂) = (1 3+2

3) 𝜇 = 𝜇 𝐸(𝑇₂) = 3

4𝐸(𝑋₁) +1

4𝐸(𝑋₂) = (3 4+1

4) 𝜇 = 𝜇

pertanto entrambi gli stimatori sono corretti. Per valutarne l’efficienza basta quindi confrontare le loro varianze, che risultano pari a

𝑉(𝑇₁) = 1

9𝑉(𝑋₁) +4

9𝑉(𝑋₂) = (1 9+4

9) 𝜎² = 5

9𝜎² = 0. 5̄𝜎² 𝑉(𝑇₂) = 9

16𝑉(𝑋₁) + 1

16𝑉(𝑋₂) = ( 9 16+ 1

16) 𝜎² = 10

16𝜎² = 0.625𝜎² Si può quindi concludere che lo stimatore T1 è più efficiente di T2

4. Considerata la seguente funzione dei dati campionari

𝑇 =∑^𝑛−3_𝑖=1 𝑋_𝑖 𝑛 − 3 +2

𝑛𝑋_𝑛

si verifichi se si tratta di uno stimatore consistente del parametro 

Il valore atteso è dato da 𝐸(𝑇) = ∑^𝑛−3_𝑖=1 𝐸(𝑋_𝑖)

𝑛 − 3 +2

𝑛𝐸(𝑋_𝑛) = (𝑛 − 3)𝜇 𝑛 − 3 +2

𝑛𝜇 = (𝑛 + 2 𝑛 ) 𝜇 per cui lo stimatore è asintoticamente corretto.

La varianza di T è

𝑉(𝑇) =∑^𝑛−3_𝑖=1 𝑉(𝑋_𝑖) (𝑛 − 3)² + 4

𝑛²𝑉(𝑋_𝑛) = (𝑛 − 3)𝜎² (𝑛 − 3)² + 4

𝑛²𝜎² = 𝜎²

𝑛 − 3+4𝜎² 𝑛² Dato che risulta

𝑛→∞𝑙𝑖𝑚𝐸(𝑇) = 𝜇

𝑛→∞𝑙𝑖𝑚𝑉(𝑇) = 0 si conclude cheT è uno stimatore consistente di 