Regressione Lineare

(1)

Regressione Lineare

parte 1

Corso di

Misure Meccaniche e Termiche

David Vetturi

(2)

Spesso, considerando congiuntamente due caratteristica (X,Y) di una medesima realtà statistica, risulta interessante ricercare un legame

Regressione lineare

(3)

Il metodo della Regressione Lineare (o metodo di stima ai Minimi Quadrati) si occupa di individuare, all’interno di un certo ambito di funzioni, una relazione fra le due quantità.

Regressione lineare

(4)

Siano noti m punti di coordinate

Ipotesi:



^x_k ^, ^y_k



^con^k ^¹^..^m

Sia data una base di funzioni che generi uno spazio vettoriale di dimensione n

     



₁ ^x ,₂ ^x , ..., _n ^x



La relazione funzionale fra x e y sia una combinazione lineare delle n funzioni di base

  





 ⁿ

i

i x

x y

1

)

(  

(5)

Il criterio è dunque quello di scegliere la funzione che minimizza la somma delle distanze di tutti i punti dal modello

criterio:

 



^y_k ^y ^x_k



^k ^m

k²   ² con 1..



Fra tutte le funzione generate dalla base viene scelta quella che “meglio” descrive la relazione funzionale fra le due grandezze

 



 





 ^m

k

k k

m

k

k y y x

1

2 1

2

2 



2

 k

2

 k

(6)

e dunque i punti candidati a risultare minimi di tale funzione sono quello di stazionarietà, ovvero che soddisfano le seguenti n condizioni:

soluzione:

n i

i

..

1 con

0

2  







Si può immaginare che la funzione =errore sia una funzione degli n parametri da minimizzare



₁^, ₂^,..,



^min

2  g   _n 



(7)

B A 

La scelta di operare la selezione della funzione che lega X a Y all’interno delle funzioni generate come combinazione lineare delle n funzioni di base conduce il problema appena descritto a prevedere una ed una sola soluzione che può essere determinata risolvendo il seguente sistema:

con:

n



 ...

2 1



  







 ^m

k

k j k

j y x

b B

1



   









 ^m

k

k j k

i

ij x x

a A

1



Si può dimostrare che la matrice del sistema ha determinante non nullo quindi il sistema ammette una sola soluzione

(8)

e quindi gli elementi della matrice A e del vettore B possono essere visti nel seguente modo:

Prodotto scalare:

Nello spazio vettoriale generato dalla base di vettori (funzioni) (x) è possibile considerare un prodotto scalare con la seguente definizione:











 ^m

k

k g x

x f x

g x

f x

g x

f

1

) ( )

( )

(

 

^x ^y

 

^x

 

^x

y

b_j 



^m _k _j _k  ~ _j

   

^x ^x

 

^x

 

^x

a_ij 



^m _i _k _j _k  _i _j

(9)

Ne consegue che se le funzioni di base (x) fossero scelte in modo opportuno la matrice A sarebbe una matrice “vuota” (sparsa) e la soluzione del sistema più semplice dal punto di vista computazionale.

In particolare se A fosse diagonale il sistema lineare si ridurrebbe ad una sequenza di n equazioni disaccoppiate, ciascuna con una sola variabile.

E quindi sarebbe opportuno scegliere le funzioni di base (x) fra loro ortogonali, cioè:

 

^x _j

 

^x ⁱ ^j

i   0  



(10)

Ortogonalizzazione:

Come è noto è possibile ortogonalizzare la base di uno spazio vettoriale utilizzando l’algoritmo di Gram-Schmidt.

Quindi a partire dalla base di funzioni (x) si ottiene una nuova base per il medesimo spazio vettoriale di funzioni ’(x) fra loro ortogonali

       

     

^x

x x

x x x

x _p

i

p p p

p i

i

i 



 

  ^



 

 



^

 1

1

2 v v

v v  v2

v

(11)

E’ bene osservare che il cambio di base in cui esprimere la funzione da ricercare, quest’ultima non cambia.

Dunque la funzione che minimizza la somma delle distanze al quadrato punto osservato-modello diventa:

    



 

 





 ⁿ

i

i i n

i

i x x

x y

1 1

)

(    

 

  







 

  _m

k i m

k

k i k i

x x y

2 1





Mentre la soluzione del sistema porta al seguente risultato:

(12)

Esempio: retta di regressione

Un caso molto comune e diffuso è quello di ricercare un legame fra le quantità X e Y di tipo lineare, ovvero si vuole ricercare la retta del piano che meglio descrive il legame fra le due grandezze.

Le funzioni di base da utilizzare sono dunque:

 

m

x x

k



k





 

con 1

2 1





^



 

 

   e dunque:

(13)

E dunque i parametri del modello diventano:

 









  _m

k

k m

k

k k

x x

y

1

2 1

2

) (



m y

m

k



k

 

 ¹

1

(14)

Retta ai minimi quadrati:

esempio numerico

Si considerano i seguenti 10 punti di coordinate X,Y

x y

0.8 21

2.5 36

3.8 53

5.3 48

6.8 61

8.2 78

10.3 77

12.6 75

14.7 99

18.3 104

Si Ipotizza una relazione lineare fra Y ed X, ovvero

(15)

E dunque i parametri del modello ortogonalizzato diventano:

 

50 . 841 4

. 284

44 . 1282 )

( ) (

1

2 1

2  





 





 m

k

k m

k

k k

x x

x y 2 

. 10 65

) 652 (

1 



1  



m x y

m

k

 k

e quindi



⁸^.³³



50 . 4 2 . 65 )

(x    x 

y

70 . 27 50

. 4 )

(x   x 

ovvero y

 

^con ⁸^.³³

1

2 1





 



m x x

x x

k

 k



(16)

Il modello calcolato in corrispondenza dei punti assegnati fornisce i seguenti valori

x y y(x)

0.8 21 31.30

2.5 36 38.95

3.8 53 44.80

5.3 48 51.56

6.8 61 58.31

8.2 78 64.61

10.3 77 74.07

12.6 75 84.42

14.7 99 93.88

18.3 104 110.09