Lezione 12 CARATTERISTICHE DEI VALORI TEORICI
Lo studio delle caratteristiche dei valori teorici 𝑦̂𝑖 consiste essenzialmente nel determinare il valore della loro media e della loro varianza.
Considerata nuovamente l’uguaglianza che nella lezione precedente compariva nel riquadro arancione
𝑌̂ = 𝑦̅ + 𝑟𝑥𝑦𝑠𝑦
𝑠𝑥(𝑋 − 𝑥̅)
si ottiene che
𝑦̂𝑖 = 𝑦̅ + 𝑟𝑥𝑦𝑠𝑦
𝑠𝑥(𝑥𝑖 − 𝑥̅)
la media di 𝑌̂, quindi, risulta
𝑚𝑦̂ = 1
𝑛∑ 𝑦̂𝑖 =
𝑛
𝑖=1
1
𝑛∑ [𝑦̅ + 𝑟𝑥𝑦𝑠𝑦
𝑠𝑥(𝑥𝑖 − 𝑥̅)] =
𝑛
𝑖=1
1
𝑛∑ 𝑦̅ + 𝑟𝑥𝑦𝑠𝑦 𝑠𝑥
1
𝑛∑(𝑥𝑖 − 𝑥̅)
𝑛
𝑖=1 𝑛
𝑖=1
dato che la media della costante 𝑦̅ è la costante stessa, mentre
1
𝑛∑(𝑥𝑖 − 𝑥̅)
𝑛
𝑖=1
è la media della variabile scarto (𝑋 − 𝑥̅) e pertanto risulta pari a zero.
La media la media dei valori teorici 𝑦̂𝑖, stimati mediante la relazione lineare con la X, risulta quindi
𝑚𝑦̂ = 𝑦̅
ed è quindi uguale alla media dei valori originari 𝑦𝑖
Per calcolare la varianza della 𝑌̂ conviene considerare nuovamente l’uguaglianza riportata nel riquadro arancione e sottrarre la media 𝑦̅ da entrambi i termini, così da ottenere la seguente uguaglianza
𝑌̂ − 𝑦̅ = 𝑟𝑥𝑦𝑠𝑦
𝑠𝑥(𝑋 − 𝑥̅)
da cui si ottiene il valore dello scarto fra l’i-esimo 𝑦̂𝑖 e la sua media
𝑦̂𝑖 − 𝑦̅ = 𝑟𝑥𝑦𝑠𝑦
𝑠𝑥(𝑥𝑖 − 𝑥̅)
Per definizione, la varianza valori teorici, la cui media è 𝑦̅, corrisponde alla media dei quadrati di tali scarti, ossia a
𝑠𝑦̂2 =1
𝑛∑(𝑦̂𝑖 − 𝑦̅)2
𝑛
𝑖=1
Tenendo presente l’uguaglianza riportata nel riquadro giallo, la varianza dei valori stimati può essere posta nella forma seguente
𝑠𝑦̂2 = 1
𝑛∑ [𝑟𝑥𝑦𝑠𝑦
𝑠𝑥(𝑥𝑖 − 𝑥̅)]
𝑛 2
𝑖=1
= (𝑟𝑥𝑦𝑠𝑦 𝑠𝑥)
21
𝑛∑(𝑥𝑖 − 𝑥̅)2
𝑛
𝑖=1
e, dato che
1
𝑛∑(𝑥𝑖 − 𝑥̅)2
𝑛
𝑖=1
= 𝑠𝑥2
si ottiene infine il risultato
𝑠𝑦̂2 = 𝑟𝑥𝑦2 𝑠𝑦2
𝑠𝑥2𝑠𝑥2 = 𝑟𝑥𝑦2 𝑠𝑦2
La varianza dei valori teorici viene chiamata varianza spiegata, in quanto è quella parte di varianza della Y che dipende dalla relazione lineare con X.
Nella formula della varianza spiegata compare il quadrato del coefficiente di correlazione lineare che, come avevamo dimostrato, assume valori compresi fra [-1, 1].
Il suo quadrato, quindi, assume valori compresi fra [0, 1], per cui la varianza spiegata 𝑠𝑦̂2 assume valori compresi nell’intervallo [0, 𝑠𝑦2].
Se la varianza dei valori teorici fosse pari a zero significherebbe che le 𝑦̂𝑖 sono tutte uguali fra loro e uguali quindi alla loro media 𝑦̅. In questo caso la retta di regressione sarebbe parallela all’asse delle ascisse e, come si è notato in precedenza, il modello lineare non potrebbe essere utilizzato per descrivere l’eventuale legame esistente fra X e Y.
Per comprendere meglio il significato della situazione limite opposta, quando cioè 𝑠𝑦̂2 = 𝑠𝑦2, conviene studiare prima le caratteristiche dei residui 𝑒𝑖
CARATTERISTICHE DEI RESIDUI
Anche in questo caso lo studio delle caratteristiche dei residui 𝑒𝑖 consiste essenzialmente nel determinare il valore della loro media e della loro varianza.
Tenendo presente che i residui sono definiti come differenza fra valori osservati e valori teorici
𝑒𝑖 = 𝑦𝑖 − 𝑦̂𝑖
la loro media risulta
𝑚𝑒 = 1
𝑛∑(𝑦𝑖 − 𝑦̂𝑖) =
𝑛
𝑖=1
1
𝑛∑ 𝑦𝑖 −1
𝑛∑ 𝑦̂𝑖
𝑛
𝑖=1 𝑛
𝑖=1
= 𝑦̅ − 𝑦̅ = 0
𝑚𝑒 = 0
Questo risultato indica che la media dei residui, ossia delle differenze fra valori osservati e valori stimati, è sempre nulla
Sulla base del risultato appena ottenuto risulta che la varianza dei residui corrisponde al secondo momento ordinario (dato che la media è pari a zero).
L’espressione della varianza dei residui corrisponde quindi a
𝑠𝑒2 = 1
𝑛∑ 𝑒𝑖2 =
𝑛
𝑖=1
1
𝑛∑(𝑦𝑖 − 𝑦̂𝑖)2
𝑛
𝑖=1
da cui risulta che il criterio dei minimi quadrati consiste nel determinare quella particolare retta di regressione che minimizza la varianza residua.
Il calcolo della varianza dei residui risulta però piuttosto laborioso, per cui si dà semplicemente il risultato finale, che corrisponde a
𝑠𝑒2 = (1 − 𝑟𝑥𝑦2 )𝑠𝑦2
La varianza dei residui è la cosiddetta varianza residua, che misura quella parte di variabilità di Y che non dipende dalla relazione lineare con X.
È importante osservare che la somma della varianza spiegata e della varianza residua corrisponde alla varianza complessiva della Y.
Risulta infatti
𝑠𝑦̂2+ 𝑠𝑒2 = 𝑟𝑥𝑦2 𝑠𝑦2+(1 − 𝑟𝑥𝑦2 )𝑠𝑦2=𝑟𝑥𝑦2 𝑠𝑦2+ 𝑠𝑦2− 𝑟𝑥𝑦2 𝑠𝑦2=𝑠𝑦2
Si è ottenuta quindi una nuova scomposizione della varianza complessiva della Y in una varianza spiegata e in una varianza residua. Questa scomposizione viene utilizzata per interpretare i risultati che si ottengono da una regressione lineare.
SCOMPOSIZIONE DELLA VARIANZA
Dalla scomposizione della varianza, solo parzialmente dimostrata,
𝑠𝑦2=𝑠𝑦̂2+ 𝑠𝑒2
segue che esistono due situazioni limite:
1) La varianza spiegata è nulla
𝑠𝑦̂2=0 (e quindi 𝑠𝑦2 = 𝑠𝑒2)
Si è detto più volte che in questo caso la retta di regressione non è un modello adeguato a descrivere l’eventuale relazione esistente fra le due variabili. I valori stimati sono tutti uguali a 𝑦̅, la retta di regressione è parallela all’asse delle ascisse.
Una situazione di questo tipo si avrebbe in casi come quelli descritti nei due grafici seguenti
4 6 8 10 12 14 16 18 20
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
Y
X
In entrambi i casi la retta di regressione (disegnata in colore rosso) avrebbe questa forma
0 2 4 6 8 10
0 1 2 3 4
Y
X
2) La varianza residua è nulla
𝑠𝑒2=0 (e quindi 𝑠𝑦2 = 𝑠𝑦̂2)
In questo caso sono i residui ad avere una varianza pari a zero, per cui i residui sono tutti uguali fra loro e uguali alla loro media, che è uguale a zero. Se ogni residuo è zero vuol dire quindi che i valori osservati sono uguali a quelli, ossia che i punti che costituiscono lo scatter sono allineati.
In questo caso si avrebbe, cioè, la situazione riportata nel primo o nel secondo dei due grafici seguenti (a seconda che X e Y siano concordi o discordi)
In questa situazione la retta di regressione descrive in modo perfetto il legame fra le due variabili X e Y
È evidente che nei casi reali ci si trova in una situazione intermedia rispetto alle due situazioni limite appena descritte e per valutare l’adeguatezza del modello lineare per il caso in esame si utilizza un indice che è dato dal rapporto fra la varianza spiegata dal modello lineare (𝑠𝑦̂2) e la varianza complessiva della
variabile dipendente (𝑠𝑦2), che viene detto coefficiente di determinazione lineare e che viene indicato con la notazione 𝑅𝑥𝑦2 o più semplicemente 𝑅2
𝑅𝑥𝑦2 = 𝑠𝑦̂2 𝑠𝑦2
Tenendo presente che la varianza spiegata corrisponde a
𝑠𝑦̂2 = 𝑟𝑥𝑦2 𝑠𝑦2
risulta evidente che il coefficiente di determinazione lineare è semplicemente il quadrato del coefficiente di correlazione lineare 𝑟𝑥𝑦
𝑅𝑥𝑦2 =𝑠𝑦̂2
𝑠𝑦2 = 𝑟𝑥𝑦2 𝑠𝑦2
𝑠𝑦2 = 𝑟𝑥𝑦2
per questo motivo la formula più semplice per calcolarlo corrisponde al rapporto fra la covarianza al quadrato e il prodotto delle varianze delle due variabili
𝑅𝑥𝑦2 = 𝑠𝑥𝑦2 𝑠𝑥2𝑠𝑦2
Dalla scomposizione della varianza risulta che il coefficiente di determinazione lineare può essere anche posto nella forma equivalente
𝑅𝑥𝑦2 =𝑠𝑦̂2
𝑠𝑦2 = 𝑠𝑦2− 𝑠𝑒2
𝑠𝑦2 = 1 −𝑠𝑒2 𝑠𝑦2
Il coefficiente di determinazione lineare assume valori compresi nell’intervallo [0, 1] e misura la frazione della varianza totale di Y "spiegata" dalla relazione lineare con X.
Se 𝑅𝑥𝑦2 = 1 si conclude che fra le due variabili esiste una dipendenza (o correlazione) lineare perfetta. Per sapere se tale correlazione è diretta o inversa bisogna guardare il segno della covarianza fra le due variabili, il segno del coefficiente angolare della retta o il segno del coefficiente di correlazione lineare che, se 𝑅𝑥𝑦2 = 1, potrà essere uguale a -1 oppure a +1
Se 𝑅𝑥𝑦2 = 0 si conclude che X e Y sono linearmente indipendenti, o che c’è assenza di correlazione lineare fra le due variabili. In questo caso la covarianza, il coefficiente di correlazione lineare e il coefficiente angolare della retta saranno tutti uguali a zero
ESEMPI
1) Considerata la sequenza di coppie di valori (xi, yi) delle due variabili X e Y (-2, 0) (0, 1) (1, 1) (2, 3) (3, 5)
si determini l’equazione della retta di regressione della Y sulla X, si determini la bontà di adattamento del modello e si stimi il valore teorico della Y in corrispondenza di x=-1.
Per la variabile X si ottiene 𝑥̅ = 0.8
𝑚2𝑥 = 3.6 𝑠𝑥2 = 2.96 Per la Y risulta 𝑦̅ = 2
𝑚2𝑦 = 7.2 𝑠𝑦2 = 3.2
Il momento misto di ordine 1,1 è pari a 𝑚1,1 = 1 + 6 + 15
5 = 4.4
per cui la covarianza è 𝑠𝑥𝑦 = 4.4 − 0.8 × 2 = 2.8
I parametri della retta di regressione della Y sulla X sono quindi 𝛽̂ = 𝑠𝑥𝑦
𝑠𝑥2 = 2.8
2.96 = 0. 945̅̅̅̅̅
𝛼̂ = 𝑦̅ − 𝛽̂𝑥̅ = 2 − 0. 945̅̅̅̅̅ × 0.8 = 1. 243̅̅̅̅̅
e l’equazione della retta è 𝑌̂ = 1. 243̅̅̅̅̅ + 0. 945̅̅̅̅̅𝑋
Il coefficiente di determinazione lineare è pari a 𝑅𝑥𝑦2 = 𝑠𝑥𝑦2
𝑠𝑥2𝑠𝑦2 = 2.82
2.96 × 3.2 ≈ 0.8277
per cui il modello lineare spiega quasi l’83% della variabilità della Y.
In corrispondenza di x=-1 il valore teorico di Y risulta 𝑦̂ = 1. 243̅̅̅̅̅ + 0. 945̅̅̅̅̅(−1) = 0. 297̅̅̅̅̅
2) Considerata la seguente distribuzione bivariata
X\Y -1 0 1
-1 2 3 5 10
0 3 2 0 5
5 5 5 15
si determini l’equazione della retta di regressione della Y sulla X, si determini la bontà di adattamento del modello
Per la variabile X si ottiene 𝑥̅ = −2
3 = −0. 6̅
𝑚2𝑥 = 2
3= 0. 6̅
𝑠𝑥2 = 2
9= 0. 2̅
Per la Y risulta 𝑦̅ = 0
𝑚2𝑦 = 𝑠𝑦2 =2
3= 0. 6̅
Il momento misto di ordine 1,1 è pari a 𝑚1,1 = 𝑠𝑥𝑦 =2 − 5
15 = −0.2
I parametri della retta di regressione della Y sulla X sono quindi 𝛽̂ = 𝑠𝑥𝑦
𝑠𝑥2 = −0.2
0. 2̅ ≈ −0.9
𝛼̂ = 𝑦̅ − 𝛽̂𝑥̅ = 0 − (−0.9) × (−0. 6̅) = −0.6 per cui l’equazione della retta è
𝑌̂ = −0.6 − 0.9𝑋
Il coefficiente di determinazione lineare è pari a 𝑅𝑥𝑦2 = 𝑠𝑥𝑦2
𝑠𝑥2𝑠𝑦2 = (−0.2)2
0. 2̅ × 0. 6̅≈ 0.2700
il modello lineare non è adeguato a descrivere la relazione esistente fra X e Y
3) Considerata la seguente distribuzione bivariata
X\Y 1 2 3
0 0.08 0.12 0.20 0.40 1 0.02 0.03 0.05 0.10 2 0.10 0.15 0.25 0.50 0.20 0.30 0.50 1.00
si determini l’equazione della retta di regressione della Y sulla X, si determini la bontà di adattamento del modello
Le frequenze interne corrispondono al prodotto delle frequenze marginali, per cui l’equazione della retta di regressione della Y sulla X si riduce a 𝑌̂ = 𝑦̅
La media di Y è 2.3, per cui 𝑌̂ = 𝑦̅ = 2.3
Le variabili X e Y sono indipendenti in senso assoluto e quindi sono anche linearmente indipendenti, per cui
𝑅𝑥𝑦2 = 0
PROPRIETÀ
Il coefficiente di determinazione lineare è invariante rispetto a trasformazioni lineari delle variabili.
Anche in questo caso è sufficiente ricordare dimostrazioni precedenti, relative alle proprietà di trasformazioni lineari viste per la covarianza e per la varianza
Date le variabili X e Y con coefficiente di determinazione lineare 𝑅𝑥𝑦2 = 𝑠𝑥𝑦2
𝑠𝑥2𝑠𝑦2 si considerano due loro trasformazioni lineari
𝑊 = 𝑎 + 𝑏𝑋 𝑍 = 𝑎′ + 𝑏′𝑌 In base alle proprietà della covarianza risulta
𝑠𝑤𝑧 = 𝑏𝑏′𝑠𝑥𝑦 per cui
𝑠𝑤𝑧2 = (𝑏𝑏′)2𝑠𝑥𝑦2 mentre per le proprietà della varianza si ha
𝑠𝑤2 = 𝑏2𝑠𝑥2 𝑠𝑧2 = (𝑏′)2𝑠𝑦2
Il coefficiente di determinazione lineare fra W e Z corrisponde quindi a
𝑅𝑤𝑧2 = 𝑠𝑤𝑧2
𝑠𝑤2𝑠𝑧2 = (𝑏𝑏′)2𝑠𝑥𝑦2
𝑏2𝑠𝑥2(𝑏′)2𝑠𝑦2 = (𝑏𝑏′)2 𝑏2(𝑏′)2
𝑠𝑥𝑦2
𝑠𝑥2𝑠𝑦2 = 𝑅𝑥𝑦2
Si osservi infine che, considerata la retta
𝑌̂ = 𝛼̂ + 𝛽̂𝑋
il valore della Y stimato in corrispondenza della media della variabile X è pari a
𝑦̂ = 𝛼̂ + 𝛽̂𝑥̅
Ma, per la proprietà della media di una trasformazione lineare, questo risultato corrisponde anche alla media della variabile 𝑌̂ che, come si è dimostrato in precedenza, è pari alla media 𝑦̅ della variabile Y.
La retta di regressione della Y sulla X passa quindi sempre per il punto di coordinate (𝑥̅, 𝑦̅) che è detto baricentro dello scatter.
N.B.
Le dimostrazioni riportate in questa lezione che possono essere richieste nel compito scritto sono:
- La media dei valori teorici - La varianza dei valori teorici - La media dei residui
- Il coefficiente di determinazione lineare corrisponde al quadrato del coefficiente di correlazione lineare
- Il coefficiente di determinazione lineare è invariante per trasformazioni lineari delle variabili
