(4)Correttezza dello stimatore OLS Se le ipotesi del modello sono valide possiamo dimostrare che lo stimatore per β2è corretto o non distorto

(1)

Tiziano Razzolini

March 9, 2018

(2)

Chiameremo bβ₁e bβ₂stimatori OLS. Abbiamo accennato senza troppo approfondire le proprietà degli stimatori OLS.

Gli stimatori OLS sono variabili aleatorie e in quanto tali possiamo chiederci quali siano i loro valori attesi, varianze, covarianze e distribuzioni di probabilità.

È importante inoltre studiare le differenze tra gli stimatori OLS ed eventuali stimatori alternativi.

Cave!Stimatori e stime sono due concetti diversi.

(3)

Correttezza dello stimatore OLS

Inizieremo la nostra analisi a partire dallo stimatore OLS di β₂. Abbiamo visto che

βb2= Pn

i=1(x_i − ¯x )(y_i− ¯y ) Pn

i=1(x_i− ¯x )² = Pn

i=1(x_i− ¯x )y_i Pn

i=1(x_i− ¯x )² =

n

X

i=1

w_iy_i.

Usando l’ipotesi di corretta specificazione del modello (RS1) possiamo scrivere

βb2=

n

X

i=1

w_iy_i =

n

X

i=1

w_i(β1+ β2x_i+e_i) = β2+

n

X

i=1

w_ie_i.

(4)

Se le ipotesi del modello sono valide possiamo dimostrare che lo stimatore per β₂è corretto o non distorto. Questo significa che E [ bβ₂|x] = β₂. Quindi

E [ bβ₂|x_i] =E

"

β₂+

n

X

i=1

w_ie_i|x_i

#

= β₂+

n

X

i=1

w_iE [e_i|x_i] = β₂.

Il risultato finale deriva dalle proprietà degli operatori sommatoria e valore atteso e l’ipotesiRS2.

(5)

Problem

Dimostrare che E [ bβ₁|x] = β₁.

(6)

Solution

Sappiamo che bβ₁= ¯y − bβ₂¯x , quindi

E [ bβ₁|x_i] =E [¯y − bβ₂¯x |x_i] =E [β₁+ β₂x + ¯¯ e − bβ₂x |x¯ _i] = β₁. Il risultato finale deriva dal fatto che bβ₂è corretto, dalle proprietà dell’operatore valore atteso e dall’ipotesiRS2.

(7)

La correttezza dello stimatore è una proprietà importante ed è valida, una volta dimostrata, per qualsiasi dimensione

campionaria.

In generale possiamo dire che uno stimatore non distorto è un buon stimatore.

La correttezza, tuttavia, è una proprietà che vale in media.

La stima di β₁e β₂è generalmente calcolata per un solo campione e non possiamo sapere se sono vicine o lontane dai valori campionari.

(8)

(9)

Varianza dello stimatore OLS

(10)

Se le ipotesi del modello di regressioneRS1-RS5 sono valide possiamo calcolare varianze e covarianze degli stimatori.

Var[ bβ₂|x_i] = Var

Pn

i=1(x_i− ¯x )y_i Pn

i=1(x_i− ¯x )²|x_i

=

1

Pn

i=1(x_i− ¯x )²

2

Var

" _n X

i=1

(x_i− ¯x )e_i|xi

#

=

1

Pn

i=1(x_i− ¯x )²

2 n

X

i=1

(x_i− ¯x )²Var [e_i|xi]

= σ²

Pn

i=1(x_i− ¯x )².

(11)

Var[ bβ₁|x_i] = Var[¯y − bβ₂x |x¯ _i] = Var[β₁+ β₂x + ¯¯ e − bβ₂x |x¯ _i]

= Var[¯e − bβ₂x |x¯ _i] = Var[¯e|x_i] + Var[ bβ₂¯x |x_i]

= σ²

n + σ²x¯² Pn

i=1(x_i− ¯x )² = σ² Pn

i=1(x_i− ¯x )²+n¯x² nPn

i=1(x_i− ¯x )²

= σ²

Pn i=1x_i² nPn

i=1(x_i− ¯x )²

(12)

Cov[ bβ₁, bβ₂|x_i] =E [( bβ₁− β₁)( bβ₂− β₂)|x_i]

=E [(¯y − bβ2x − β¯ ₁)( bβ2− β₂)|x_i]

=E [¯y ( bβ2− β₂)|x_i] −E [ bβ2x ( b¯ β2− β₂)|x_i]

=E [¯e( bβ₂− β₂)|x_i] − ¯x E [( bβ₂− β₂)( bβ₂− β₂)|x_i]

=E [¯e

n

X

i=1

w_ie_i|xi] − ¯x Var[ bβ2|xi]

= 1 nE [

n

X

i=1

w_ie²_i|x_i] − ¯x Var[ bβ₂|x_i]

= −¯x Var[ bβ₂|x_i]

(13)

Le formule della varianza e della covarianza ci forniscono delle informazioni estremamente interessanti circa il comportamento degli stimatori.

Sappiamo che l’errore raccoglie tutta l’informazione a noi ignota. Se la varianza dell’errore σ²è grande, lo sarà anche quella degli stimatori.

La precisione degli stimatori è direttamente proporzionale alla dimensione del campione n e alla variabilità di x (in realtà sarebbe la somma dei quadrati degli scarti x ).

La varianza di bβ₁è direttamente proporzionale aPn i=1x_i². Il valore assoluto della covarianza tra bβ₁e bβ₂è

direttamente proporzionale a ¯x .

(14)

(15)

Il teorema di Gauss-Markov

Il teorema di Gauss-Markov è un risultato estremamente importante e giustifica, per certi versi, l’uso dello stimatore OLS.

Theorem

Sotto le ipotesiRS1-RS5 del modello di regressione semplce, gli stimatori bβ₁e bβ₂di β₁e β₂sono gli stimatorimigliori nella classe degli stimatori lineari e corretti.

(16)

Il teorema di Gauss-Markov

Spesso si dice che lo stimatore OLS è BLUE (best linear unbiased estimator).

Cosa vogliamo dire quando affermiamo che lo stimatore OLS è il migliore in una determinata classe di stimatori?

La risposta è semplice: lo stimatore OLS è il migliore nel senso che ha la varianza più piccola nella famiglia degli stimatori non distorti e lineari.

Se le ipotesi del teorema di Gauss-Markov non sono valide lo stimatore OLS non è il migliore.

È tuttavia possibile, in alcuni casi, generalizzare il teorema di Gauss-Markov.

I risultati del teorema di Gauss-Markov non dipendono dalla

(17)

Distribuzione degli stimatori OLS

Tramite l’ipotesiRS6 possiamo facilmente dimostrare che lo stimatore OLS è distribuito normalmente

βb₁∼ N β₁, σ²Pn i=1x_i² nPn

i=1(x_i− ¯x )²

! ,

βb2∼ N β2, σ² Pn

i=1(x_i− ¯x )²

! .

Possiamo fare a meno dell’ipotesiRS6 e fare affidamento sul fatto che lo stimatore sia asintoticamente normale.

(18)

Distribuzione degli stimatori OLS

Il concetto di normalità asintotica si riferisce al fatto che quando n è sufficientemente grande la distribuzione di bβ₁e bβ₂è

prossima ad una distribuzione normale.

L’ipotesiRS6 invece implica che lo stimatore OLS sia normale per qualsiasi valore di n.

(19)

Stima della varianza del termine d’errore

Stimare il termine d’errore è estremamente importante se vogliamo fare inferenza sui parametri del modello. Dalle ipotesi del modello sappiamo che

Var[e_i|x_i] =Eh

(e_i− E [e_i])²|x_ii

=Eh e²_i|x_ii

= σ² perchè E [e_i] =0. Chiaramente σ²è ignoto.

Come possiamo stimare in modo corretto σ².

(20)

Un modo naturale per stimare un valore atteso è quello di usare una media campionaria. Quindi

¯ σ²= 1

n

X

i=1

e²_i.

Chiaramente questo stimatore non è utilizzabile.

(21)

Quello che possiamo fare è stimare il termine d’errore be_i =y_i − bβ₁− bβ₂x_i.

Di conseguenza

eσ²= 1 n

n

X

i=1

be²_i.

Si può dimostrare cheeσ²è uno stimatore distorto, quindi Eh

σe²i 6= σ².

(22)

Con una piccola modifica otteniamo

σb²= 1 n − 2

n

X

i=1

be²_i.

Si può dimostrare chebσ²è uno stimatore non distorto, quindi Eh

σb² i

= σ².

È importante sottolineare il fatto che quando n è molto grande i due stimatori sono quasi uguali

bσ²≈eσ².

(23)

Grazie alla stima della varianza σ²possiamo stimare varianze e covarianza di bβ1e bβ2.

dVar[ bβ1|xi] =bσ²

Pn i=1x_i² nPn

i=1(x_i− ¯x )² dVar[ bβ₂|x_i] = σb²

Pn

i=1(x_i− ¯x )² Cov[ bd β1, bβ2|xi] = −¯x dVar[ bβ2|xi]

(24)

Delle quantità che son molto utili in pratica sono gli errori standard o standard errors

se[ bβ1] = q

dVar[ bβ1|xi] se[ bβ2] =

q

dVar[ bβ2|xi].

(25)

Example (Stima del modello di consumo)

σb²= Pn

i=1be_i²

n − 2 = 304505.2

38 =8013.29.

(26)

Le varianze e covarianza degli stimatori OLS vengono in genere organizzati in una tabella detta matrice di varianza covarianza

dVar

"

βb₁ βb₂

!#

=



 dVarh

βb₁i

Covdh βb₁, bβ₂i Covd

h βb₁, bβ₂

i

dVar h

βb₂ i





La matrice è simmetrica e le varianze degli stimatori si trovano nella diagonale principale.

(27)

Example (Stima del modello di consumo)

Nel caso dei dati sulla spesa alimentare, la stima della matrice di covarianza degli stimatori dei minimi quadrati è data da:

Parametri Costante b₁

Reddito b₂ Costante

b₁

1884.442 -85.90316 Reddito

b₂ -85.90316 4.381752

(28)

Lo standard error è una quantità estremamente importante nell’analisi empirica.

Lo standard error è una misura della variabilità degli stimatori.

Se lo standard error è grande la variabilità dello stimatore è grande.

Di conseguenza, se lo standard error è piccolo è alta la probabilità che la stima sia vicina al valore vero.

(29)

(30)

Il mondo non è lineare così come le relazioni economiche che cerchiamo di studiare con i nostri modelli econometrici.

Questo significa che il modello lineare che abbiamo visto fino a questo momento è inadeguato? E cosa significa in realtà modello lineare?

Quando parliamo di modello lineare parliamo dilinearità nei parametri.

È possibile quindi introdurre all’interno del modello lineare delle componenti non lineari che ci permettono capire meglio il fenomeno che stiamo studiando.