1 Regressione multipla

(1)

1 Regressione multipla

Supponiamo di avere una tabella di numeri del tipo X

1

::: X

p

Y 1 x

1;1

::: x

1;p

y

1

2 x

2;1

x

2;p

y

2

::: :::

n x

n;1

x

n;p

y

n

dove le colonne rappresentano diverse variabili (ad esempio X

₁

= reddito, ... , X

_p

= numero anni istruzione, Y = spese per mostre e musei), le righe rappresentano diversi “individui” (ad esempio singole persone, oppure città o regioni di una nazione) ed i valori numerici sono noti, sono stati misurati.

Ci chiediamo se le variabili X

1

; :::; X

p

in‡uiscono su Y . Ci chiediamo se Y dipende da X

1

; :::; X

p

. Un maggior reddito induce a maggiori spese per mostre e musei? Ed un maggior gradi di istruzione (lì misurato semplicemente come numero di anni si studio)?

Immaginiamo che le variabili siano legate da una relazione funzionale, a meno di errore:

Y = f (X

₁

; :::; X

_p

) + ":

Più speci…camente, per semplicità, supponiamo che la relazione sia lineare:

Y = a

₁

X

₁

+ ::: + a

_p

X

_p

+ b + "

(b è detta intercetta, e nel caso p = 1 il coe¢ ciente a := a

1

è detto coe¢ ciente angolare).

A partire dalla matrice dei dati, relativamente ad una scelta dei coe¢ cienti a

1

; :::; a

p

; b, possiamo calcolare i residui

"

_i

= y

_i

(a

₁

x

_i;1

+ ::: + a

_p

x

_i;p

+ b)

al variare dell’individuo i = 1; :::; n. Possiamo poi calcolare lo scarto quadratico medio dei residui, ancora funzione dei parametri a

₁

; :::; a

_p

; b,

SQM (a

₁

; :::; a

_p

; b) = 1 n

X

n i=1

"

²_i

= 1 n

X

n i=1

(y

_i

(a

₁

x

_i;1

+ ::: + a

_p

x

_i;p

+ b))

²

:

La grandezza SQM (a

1

; :::; a

p

; b) misura la bontà del modello lineare Y = a

1

X

1

+ ::: + a

p

X

p

+ b + ": se piccola, il modello è buono. Allora, innanzi tutto cerchiamo i parametri a

1

; :::; a

p

; b che la rendono minima. Essi forniscono il migliore tra i modelli lineari. Indichiamo con ba

1

; :::; ba

p

; b b i parametri ottimali. Chiamiamo

Y = ba

1

X

₁

+ ::: + ba

p

X

_p

+ b b + "

il modello di regressione lineare multipla (regressione lineare semplice nel caso n = 1) associato alla tabella precedente. La varianza dell’errore, o dei residui, è

2

"

= SQM ba

¹

; :::; ba

^p

; b b = 1 n

X

n i=1

b"

²i

1

(2)

dove

b"

ⁱ

= y

i

ba

¹

x

1;i

+ ::: + ba

^p

x

p;i

+ b b : La varianza spiegata, o indice R

²

, è

R

²

= 1

2"

2Y

dove

²_Y

è la varianza dei dati y

₁

; :::; y

_n

. L’idea è che i dati y

₁

; :::; y

_n

hanno una loro variabilità, descritta da

²_Y

, in situazione di completa ignoranza; ma quando abbiamo a disposizione un modello, esso spiega i dati y

₁

; :::; y

_n

in una certa misura, cioè a meno degli errori b"

1

; :::; b"

n

. Quindi la variabilità di questi errori è la variabilità inspiegata, residua. Da qui il nome di (percentuale di) varianza spiegata per il numero 1

2²^"

Y

.

1.1 Calcolo dei coe¢ cienti

Il metodo con cui abbiamo de…nito ba

¹

; :::; ba

^p

; b b si dice metodo dei minimi quadrati.

Si possono scrivere delle formule esplicite per il calcolo di questi coe¢ cienti.

Infatti, siccome vogliamo minimizzare la funzione SQM (a

1

; :::; a

p

; b), che per brevità indichiamo con f (a

1

; :::; a

p

; b), deve valere

@f

@a

j

ba

¹

; :::; ba

^p

; b b = 0; j = 1; :::; p

@f

@b ba

¹

; :::; ba

^p

; b b = 0:

Vale

@f

@a

_j

= 2

n X

n i=1

(y

i

(a

1

x

i;1

+ ::: + a

p

x

i;p

+ b)) x

i;j

= 2

n hy; x

^j

i + 2

n a

1

hx

^;1

; x

;j

i + ::: + 2

n a

p

hx

^;p

; x

;j

i + 2bx

^j

@f

@b = 2

n X

n i=1

(y

_i

(a

₁

x

_1;i

+ ::: + a

_p

x

_p;i

+ b))

= 2y + 2a

1

x

1

+ ::: + 2a

p

x

p

+ 2b

dove y è la media degli y

₁

; :::; y

_n

e, per ciascun j = 1; :::; p, x

_j

è la media degli x

_1;j

; :::; x

_n;j

; ed inoltre abbiamo posto

hy; x

;j

i = X

n i=1

y

_i

x

_i;j

; hx

;k

; x

_;j

i = X

n

i=1

x

_i;k

x

_i;j

:

Quindi deve valere

a

₁

hx

;1

; x

_;j

i + ::: + a

p

hx

;p

; x

_;j

i + nbx

j

= hy; x

;j

i ; i = 1; :::; p a

1

x

1

+ ::: + a

p

x

p

+ b = y

2

(3)

Questo è un sistema di p + 1 equazioni lineari in p + 1 incognite, che il software risolve con facilità.

Si può anche introdurre la matrice A quadrata a p + 1 righe e colonne ed il vettore w

A = 0 B B

@

hx

^;1

; x

;1

i ::: hx

^;p

; x

;1

i hx

^;1

; 1i

::: ::: ::: :::

hx

^;1

; x

;p

i ::: hx

^;p

; x

;p

i hx

^;p

; 1i hx

^;1

; 1i ::: hx

^;p

; 1i 1

1 C C

A ; w =

0 B B

@

hy; x

^;1

i :::

hy; x

^;p

i hy; 1i

1 C C A

dove 1 indica il vettore con tutti “1”, ed y è il vettore delle y

i

. Allora il calcolo del vettore

v = 0 B B

@ ba

¹

:::

ba

^p

bb

1 C C A

si può vedere come la risoluzione di

Av = w:

In…ne, la matrice A si ottiene col prodotto A = X

^T

X dove

X = 0 B B

@

x

1;1

::: x

1;p

1 x

2;1

x

2;p

1 :::

x

_n;1

x

_n;p

1 1 C C A :

Si noti che questa è la matrice iniziale dei dati dove al posto delle y

_i

abbiamo messo 1. Inoltre,

w = X

^T

y:

Quindi il problema ha la forma

X

^T

Xv = X

^T

y:

1.2 Il caso in cui le X

_i

sono aleatorie

Quando scriviamo il modello

Y = a

₁

X

₁

+ ::: + a

_p

X

_p

+ b + "

abbiamo due opzioni di ragionamento, entrambe perseguibili ed utili.

La prima è che i valori assunti dalle variabili X

i

siano deterministici, ad esempio …ssati dallo sperimentatore che vuole esaminare l’e¤etto di queste variabili sulla Y . In questo caso, solo la Y è, in un certo senso, aleatoria, se pensiamo aleatorio l’errore ".

3

(4)

Oppure, possiamo immaginare che le X

i

siano aleatorie quanto " (e quindi Y ) e noi eseguiamo misurazioni di tutte queste grandezze aleatorie. In questa seconda ottica, ha senso eseguire il seguente calcolo.

Calcoliamo la covarianza tra Y ed X

_j

:

Cov (Y; X

j

) = Cov (a

1

X

1

+ ::: + a

p

X

p

+ b + "; X

j

)

= a

₁

Cov (X

₁

; X

_j

) + ::: + a

_p

Cov (X

_p

; X

_j

) + Cov ("; X

_j

) : Ricordiamo che la matrice Q = (Cov (X

i

; X

j

)) è detta matrice di covarianza del vettore aleatorio X. Supponiamo che " sia indipendente (o almeno scorrelato) da ciascuna X

_j

. Troviamo

Cov (Y; X

j

) = X

p i=1

Q

ij

a

i

= X

p i=1

Q

ji

a

i

(ricordiamo che Q è simmetrica). Detto c il vettore di coordinate Cov (Y; X

_j

) ed a il vettore di coordinate a

_i

abbiamo trovato

Qa = c:

Quindi

a = Q

¹

c:

Questo risultato fornisce un modo per calcolare i coe¢ cienti a

_i

a partire da una matrice di dati. Si calcola la matrice di covarianza empirica b Q della matrice di dati riguardante le variabili X

_i

, si calcola il vettore bc delle covarianze empriche tra le variabili X

_j

ed Y , e si calcolano i valori

ba = b Q

¹

bc:

Poi, per calcolare b, serve una nuova equazione. Essa si trova semplicemente calcolando il valor medio a destra e sinistra dell’equazione che de…nisce il modello:

E [Y ] = a

1

E [X

1

] + ::: + a

p

E [X

p

] + b:

Allora vale

b = E [Y ] (a

₁

E [X

₁

] + ::: + a

_p

E [X

_p

]) da cui si può calcolare un valore empirico b b a partire dai dati.

Con un po’di sforzo si potrebbe riconoscere che il risultato è identico a quello ottenuto sopra con i minimi quadrati. Ci si chiede allora: cosa ha sostituito, qui, la richiesta fatta sopra che i valori ottimali fossero quelli che minimizzavano SQM? L’indipendenza tra " e le X

i

. Se per certi valori dei parametri risulta "

indipendente dalle X

i

, signi…ca che il modello è buono, nel senso che abbiamo sfruttato nel modo migliore le informazioni contenute nelle X

i

, senza ritrovarci parte di quelle informazioni nel resto ". Il resto contiene ciò che non siamo riusciti a spiegare, e non è nullo, ma l’importante è che non contenga residui legati alle variabili X