1.3 Autovalori e autovettori
1.3.3 Autovalori e autovettori di matrici simmetriche
Per gli autovalori e gli autovettori di una matrice simmetrica A si possono dimostrare propriet`a molto forti, corrispondenti a molte caratteristiche essenziali della matrice (in generale molte propriet`a valgono anche per matrici hermitiane, ossia con elementi aij e aji complessi coniugati, tuttavia per gli argomenti da noi trattati `e sufficiente riferirci a matrici simmetriche reali)
Se A `e simmetrica tutti gli autovalori e gli autovettori sono reali, per cui con-venzionalmente gli autovalori λi vengono indicizzati in ordine decrescente:
λ1 ≥ λ2 ≥ . . . ≥ λi ≥ . . . ≥ λp.
Se A `e simmetrica, il numero degli autovalori non nulli `e uguale a ρ(A) (rango di A ). Se per i 6= j i corrispondenti autovalori λi e λj sono distinti si ha:
( γTiγj = 0 (ortogonalit`a) γTi Aγj = 0
Infatti λi e λj, insieme ai corrispondenti autovettori, forniscono due soluzioni distinte del sistema di equazioni: Aγ = λγ, e quindi valgono contemporaneamente i due gruppi di eguaglianze:
( Aγi = λiγi Aγj = λjγj
Premoltiplicando ambo i membri del primo sistema per γTj e i due membri del secondo per γTi otteniamo due eguaglianze fra scalari:
( γTjAγi = γTjλiγi γTiAγj = γTi λjγj
in cui i primi membri sono uguali, perch`e γTjAγi `e la trasposta di γTiAγj, ed essendo scalari sono uguali, per cui uguagliando i secondi membri si ha:
γTjλiγi = γTi λjγj e quindi:
γTi γj(λi− λj) = 0
e infine, avendo supposto distinti i due autovalori, (λi − λj) 6= 0, per cui deve essere:
γTiγj = 0.
Saranno quindi nulli anche i primi membri, per cui:
γTi Aγj = 0.
In ogni caso si pu`o dimostrare per ogni autovalore di molteplicit`a m, m au-tovettori corrispondenti possono essere rimpiazzati da m loro combinazioni lineari indipendenti. Gli autovettori possono essere scelti in modo da soddisfare i vincoli di ortogonalit`a per ogni coppia i 6= j
γTiγj = 0 ed anche γTiAγj = 0
Bozze
MAR
CELLO
CHIODI
2020
Pertanto se Γ `e la matrice che ha come colonne gli autovettori yi, allora per l’ortogonalit`a fra gli autovettori si ha:
ΓTΓ = I;
ed anche:
Γ−1 = ΓT, e quindi:
ΓΓT= I.
(queste ultime propriet`a valgono comunque per matrici ortogonali) Diagonalizzazione di una matrice simmetrica
Dalla definizione di autovettore si anche l’importante propriet`a:
(avendo posto Λ = Diag(λ)).
ΓTAΓ = Diag(λ) = Λ (1.5)
Dalla definizione si ha infatti:
Aγi = λiγi Premoltiplicando ambo i membri per γTj si ha:
( γTiAγi = λi se i = j γTjAγi = 0 se i 6= j
La diagonalizzazione di una matrice simmetrica sar`a importante quando A `e una matrice di varianza e covarianza.
Dal risultato fondamentale sulla diagonalizzazione di una matrice simmetrica si pu`o ricavare un altro risultato molto utile:
D
ata una matrice simmetrica definita positiva A di rango pieno `e possibile sempre trovare una matrice B tale che:
BTAB = I
E’ facile vedere che le colonne della matrice B si ottengono riscalando gli auto-vettori di A, ossia con: γi/√
λi (dal momento che la matrice `e di rango pieno i suoi autovalori sono tutti positivi)
Bozze
MAR
CELLO
CHIODI
2020
Decomposizione spettrale di una matrice simmetrica
Dalla relazione1.5 ΓTAΓ = Λ, si ha anche, premoltiplicando ambo i membri per Γ e postmoltiplicando per ΓT:
Decomposizione canonica (o spettrale) di A
A = ΓΛΓT= λ1γ1γT1 + λ2γ2γT2 + . . . + λpγpγTp
relazione fondamentale per la ricostruzione di una matrice simmetrica a partire dagli autovettori. I primi k termini (k < p) forniscono un’approssimazione della matrice A di rango k.
Autovalori di inverse e di potenze
Vediamo che relazioni esistono fra gli autovalori e gli autovettori di una matrice e quelli della sua inversa e delle sue potenze.
Operiamo ancora sull’equazione che definisce gli autovalori e gli autovettori:
Aγi = λiγi
Se il rango di A `e pieno, premoltiplicando ambo i membri per λ−1i A−1, si ottiene λ−1i A−1Aγi = λ−1i A−1λiγi ⇒ λ−1i γi = A−1γi
e si vede facilmente che:
λi(A−1) = [λi(A)]−1 (a meno di un riordinamento degli indici)
Qualunque sia il rango di A , premoltiplicando ripetutamente ambo i membri per A , si dimostra per induzione che:
λi(Ak) = [λi(A)]k
In entrambi i casi gli autovettori sono sempre quelli di A . Matrice λ γ Decomposizione canonica A λi γi A = ΓΛΓT=Ppi=1λiγiγTi A−1(|A| 6= 0) λ−1i γi A−1 = ΓΛ−1ΓT=Ppi=1γiγTi /λi Akk intero λki γi Ak= ΓΛkΓT=Ppi=1λkiγiγTi
Bozze
MAR
CELLO
CHIODI
2020
Autovalori di una forma quadratica definita positiva
Autovalori di una forma quadratica definita positiva
Una matrice simmetrica A `e definita positiva, se e solo se tutti i suoi autovalori sono positivi.
A `e semidefinita positiva, se e solo se tutti i suoi autovalori sono non negativi.
Infatti ricorrendo agli autovalori ed agli autovettori di A si pu`o scrivere A secondo la decomposizione canonica A = ΓΛΓT:
Q(x) = xTAx = xTΓΛΓTx Ponendo ora y = ΓTx, si ha:
Q(x) = yTΛy =
p
X
i=1
λiy2i da cui deriva il risultato sulla positivit`a di Q(x).
Si vede anche che una forma quadratica si pu`o sempre esprimere come somma ponderata di quadrati di variabili ruotate secondo gli autovettori di A.
Infatti si `e pu`o sempre trasformare un ellissoide qualsiasi, mediante opportune trasformazioni lineari ortogonali, in un ellissoide ad assi paralleli a quelli coordinati, e quindi, mediante cambiamenti di scala, in un’ ipersfera.
un esempio
Questi concetti saranno impegati nella sezione sull’analisi delle componenti prin-cipali (2.2 )
Bozze
MAR
CELLO
CHIODI
Capitolo 2 2020
Richiami di alcune propriet` a dei vettori aleatori.
Contents
2.1 Momenti primo e secondo multivariati di vettori aleatori 25 2.1.1 Momenti di una trasformata lineare di un vettore aleatorio 27 2.2 Analisi delle componenti principali (ACP), solo cenni . 36
2.2.1 Significato statistico e probabilistico delle componenti prin-cipali . . . 39
2.1 Momenti primo e secondo multivariati di vet-tori aleavet-tori
Sia X un qualsiasi vettore di variabili casuali,sia discrete che continue, con p com-ponenti:
X = {X1, X2, . . . , Xi, . . . , Xp}T
Definiamo i primi due momenti di un vettore aleatorio , con una notazione
momenti di un vettore aleatorio
analoga a quella del caso univariato:
Momento primo e secondo multivariati vettore di speranze matematiche:
E [X] = µ momento primo (multivariato) dal-l’origine
matrice di varianze e covarianze:
V [X] = Eh(X − µ)(X − µ)Ti momento secondo (multivariato) centrale
Ovviamente nella definizione si presuppone l’esistenza dei momenti primi e secondi delle varie componenti e coppie di componenti.
Bozze
MAR
CELLO
CHIODI
2020
• µ `e un vettore di p elementi, con elemento generico:
E [Xi] = µi
• V [X] `e una matrice simmetrica p × p di elemento generico:
σij = {V [X]}ij = E [(Xi− µi)(Xj − µj)] = E [XiXj] − µiµj e quindi in definitiva si ha:
E [X] =
Per gli elementi sulla diagonale principale di V [X], ossia per le varianze delle sin-gole componenti, invece della notazione σiisi impiega la notazione σ2i per uniformit`a col simbolismo nel caso univariato.
Momenti centrati e momenti secondi dall’origine
Vale la nota relazione in termini di momenti multivariati dall’origine:
V [X] = Eh(X − µ)(X − µ)Ti= EhXXTi− µµT
Si pu`o definire la matrice di correlazione, R(X), di elemento generico:
ρij = {R(X)}ij = σij σiσj
che, ovviamente, `e simmetrica ed ha elementi diagonali tutti uguali ad uno:
R(X) =
Dati gli argomenti che qui trattiamo, evidentemente abbiamo supposto di avere un numero p fissato di variabili, e non una sequenza di variabili aleatorie anche infinita, come avviene per esempio nella definizione di processi aleatori.
Bozze
MAR
CELLO
CHIODI
2020
E’ovviamente possibile definire momenti multivariati di X centrali e non centrali
momenti multiva-riati
di ordine superiore rispetto al secondo, ma per gli argomenti ora trattati non `e necessario.
Come per le variabili aleatorie semplici i momenti di ordine 3 e 4 forniscono degli indici di forma, i momenti multivariati di ordine superiore al secondo forniscono degli indici di forma multivariati, degli indicatori di allontanamento dalla multinormalit`a, indici di non linearit`a delle regressioni e di eteroscedasticit`a.
link con sezione uso dei momenti bivariati nell’analisi dei residui
In effetti la matrice di varianze e covarianze fornisce informazioni solo sulla variabilit`a delle singole componenti e sulle loro correlazioni lineari, sia per le distribuzioni congiunte che per quelle condizionate (elementi della matrice inversa). Per le combinazioni lineari di variabili si useranno gli autovalori e gli autovettori della matrice di varianze e covarianze.
link o riferimento
(vedere anche → schema delle relazioni lineari)
Come chiarito nella parte sulla normale multivariata, in analogia al caso uni-variato, la normale multivariata dipende solo dai primi due momenti multi-variati, per cui la conoscenza della matrice di varianza e covarianza `e in quel caso sufficiente per valutare qualsiasi relazione di tipo lineare fra componenti
link con normale multivariata