Scheda n. 8: Richiami di Algebra Lineare
November 22, 2008
Richiamamo alla memoria alcune nozione di algebra lineare che ci servi- ranno per capire il metodo PCA.
1 Vettori, applicazioni lineari e basi
Uno spazio vettoriale reale `e un insieme V (i cui punti si dicono vettori ) dotato di due operazioni (la somma tra due vettori e il prodotto di un vet- tore per uno scalare c ∈ R) con le solite propriet`a (commutativa, associativa, distributiva,..). Le funzioni interessanti tra gli spazi vettoriali, che si chia- mano applicazioni lineari, sono quelle che ”‘si comportano bene”’ rispetto alle due operazioni sopra citate, cio`e quelle funzioni L : V → V per le quali si ha L(v + w) = L(v) + L(w) e L(cw) = cL(w) (chiaramente esistono anche le applicazioni lineari V → W tra spazi vettoriali diversi, ma per il nostro scopo non ci interessano).
Una base di V `e un insieme B = {v1, . . . , vn} di n vettori di V (a noi interessano solo gli spazi vettoriali a dimensione finita!) che ha la seguente speciale propriet`a: qualsiasi vettore w ∈ V si pu`o scrivere, in modo unico, come combinazione lineare di di v1, . . . , vn, cio`e, detto altrimenti, esistono n numeri reali w1, . . . , wn (determinati univocamente da w, e che si dicono coordinate di w rispetto alla base B) tali che
w = w1v1+ . . . + wnvn
Facciamo notare che si pu`o dimostrare che ogni base di V ha sempre lo stesso numero n di vettori: n, che risulta quindi essere una caratteristica intrinseca dello spazio V , si dice dimensione di V .
Fissata una base B di V possiamo quindi associare ad ogni vettore una n- upla di numeri reali (le sue coordinate), e viceversa ad ogni n-upla di numeri reali (cio`e ad ogni punto di Rn) corrisponde un preciso vettore di V :
w ↔
w1
... wn
Allo stesso modo, fissata una base, possiamo associare ad ogni appli- cazione lineare L : V → V una matrice quadrata A n × n, e viceversa ad ogni matrice quadrata n × n corrisponde una precisa applicazione lineare:
L ↔ A =
a11 . . . a1n ... . .. ... an1 . . . ann
2 Cambi di base
Uno spazio vettoriale V ha moltissime (infinite) basi: ad esempio, nel piano bidimensionale V = R2, qualsiasi coppia di vettori non paralleli costituisce una base di V ! Ora, siccome l’associazione che abbiamo appena visto tra vet- tori e applicazioni lineari da un lato e n-uple di coordinate e matrici dall’altro dipendeva dall’aver scelto una certa base B di V , `e normale aspettarsi (come in effetti accade) che, se scegliamo invece un’altra base B0 di V , le coordinate dello stesso vettore w cos`ı come la matrice associata alla stessa applicazione lineare L siano diverse da quelle che gli associava la base B:
w ↔
w10
... w0n
L ↔ A0 =
a011 . . . a01n ... . .. ... a0n1 . . . a0nn
Tuttavia, date due basi B1 e B2 di V , `e facile scoprire come passare dalle coordinate wB1 di un vettore w rispetto a un base alle coordinate wB2 dello stesso vettore w rispetto all’altra, o dalla matrice AB1 associata a un’applicazione lineare L in una base alla matrice AB2 associata alla stessa L nell’altra base. Si riesce infatti a trovare una matrice invertibile B n × n tale che:
wB1 = B ·wB2, wB2 = B−1·wB1, AB1 = B ·wA2·B−1, AB2 = B−1·wA1·B (il simbolo ·, che si pu`o anche omettere, rappresenta l’usuale prodotto righe per colonne). Abbiamo inoltre visto come le matrici B e B−1 hanno per colonne esattamente le coordinate dei vettori di una base rispetto all’altra base. Come nota a margine, diciamo che non solo ogni matrice B che rapp- resenta un cambio di base `e invertibile, ma anche che ogni matrice invertibile (cio`e con determinante diverso da zero) rappresenta un opportuno cambio di base.
Ricordiamo qui che tra le infinite basi di uno spazio vettoriale V ce ne sono alcune ”‘speciali”’, le basi ortonormali, che sono quelle costituite da vettori tutti di lunghezza unitaria (cio`e kvik ≡< vi, vi >= 1 per i = 1, . . . , n) e tutti fra loro ortogonali (cio`e che hanno prodotto scalare nullo: < vi, vj >= 0 per ogni i 6= j).
3 Diagonalizzabilit` a, autovalori e autovettori
Una matrice quadrata A, fissata una base B di V , rappresenta un’applicazione lineare L : V → V . Scegliendo una diversa base di V , L sar`a rappresentata da una diversa matrice quadrata A0. Quello che ci chediamo ora `e se esiste una qualche base B0 di V nella quale la matrice A0 associata alla nostra L sia diagonale, cio`e abbia la particolare forma:
A0 =
λ1 0 . . . 0 0 0 λ2 . . . 0 0 ... ... . .. ... ... 0 0 . . . λn−1 0 0 0 . . . 0 λn
(detto altrimenti, A0 ha tutti zeri tranne che sulla diagonale). La risposta in generale `e che per alcune matrici non `e possibile trovare nessuna base di V che le renda diagonali, mentre per altre matrici (dette appunto diagonal- izzabili ) si riesce a trovare una matrice B di cambio di base tale che B−1AB sia una matrice diagonale A0. Diremo in genere che l’applicazione lineare L
`
e diagonalizzabile se in una opportuna base `e rappresentata da una matrice
diagonale (il che `e equivalente a dire che in qualsiasi base la matrice che la rappresenta `e diagonalizzabile).
Se L `e diagonalizzabile, scegliamo come base di V proprio la base B = {v1, . . . , vn} che le associa una matrice diagonale A. Si vede facilmente che
A0·
1 0 ... 0
=
λ1 0 . . . 0 0 0 λ2 . . . 0 0 ... ... . .. ... ... 0 0 . . . λn−1 0 0 0 . . . 0 λn
1 0 ... 0
= λ1
1 0 ... 0
cio`e abbiamo che L(v1) = λ1v1. E lo stesso vale per gli altri vettori v2, . . . , vn della base. Diremo che un qualsiasi vettore di V la cui immagine tramite L `e un multiplo di se stesso
L(w) = λww (per qualche λ ∈ R)
`e un autovettore di L, e il numero λw si dice autovalore di V relativo all’autovettore w (l’insieme degli autovalori di L si dice spettro di L). Quindi, se una matrice `e diagonalizzabile, tutti i vettori della base che la rendono diagonale sono degli autovettori per (l’applicazione lineare associata a) quella matrice, e i numeri che compaiono sulla diagonale di tale matrice sono per l’appunto gli autovalori relativi a tali autovettori, in ordine. `E facile verificare anche l’implicazione inversa, ottenendo quindi:
Theorem 1 Un’applicazione lineare L : V → V `e diagonalizzabile se e solo se esiste una base di V costituita tutta da autovettori di L. In tal caso, la matrice diagonale che rappresenta L nella nuova base avr`a come elementi sulla diagonale esattamente gli autovalori di L.
4 Matrici simmetriche e teorema spettrale
Una matrice A si dice simmetrica se coincida con la sua trasposta, cio`e se aij = aji per ogni i, j = 1, . . . , n (A `e graficamente simmetrica rispetto alla sua diagonale principale). La matrice di covarianza Q `e un esempio di matrice simmetrica, dato che Cov(X,Y) = Cov (Y,X) per ogni X e Y variabili aleatorie.
Una delle migliori qualit`a delle matrici simmetriche `e che sono sempre diagonalizzabili, e per di pi`u `e possibile diagonalizzarle sempre attraverso basi ortonormali:
Theorem 2 (Teorema spettrale) Una matrice simmetrica ammette sem- pre una base ortonormale di autovettori (e quindi in particolare `e diagonal- izzabile).
Concludiamo con un’ultima definizione. Una matrice A si dice definita non-negativa se
< w, Aw >≥ 0 per ogni w ∈ V = Rn
(notiamo che < w, Aw > `e un numero reale, per cui ha senso chiederci se sia maggiore o minore di zero). La matrice Q di covarianza `e un esempio an- che di matrice definita non-negativa: lasciamo per esercizio la dimostrazione di tale fatto (cio`e che < w, Qw >= V ar[w] ≥ 0).
Questo `e quanto essenzialmente ci serve e interessa per affrontare e capire il metodo PCA. Il nostro spazio vettoriale V sar`a quello che ha per base le n variabili aleatorie X1, . . . , Xn che vogliamo studiare e la matrice che ci interessa `e la Q di covarianza. Essendo Q simmetrica, possiamo trovare una nuova base di V costituita da n nuove variabili aleatorie V1, . . . , Vn rispetto a cui la matrice di covarianza assume una forma Q0 diagonale. Per di pi`u, essendo Q anche definita non-negativa, tutti gli elementi sulla diagonale di Q0 saranno non-negativi. Vedremo nelle prossime schede come questo possa aiutarci a ”‘capire”’ meglio i dati espressi da X1, . . . , Xn.
