統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書
を基により高等な線形代数を学ぶ。
3. 固有値と固有ベクトル
3.1 対称行列
行列の正規直交固有ベクトルの集合は
の固有射影を求めるために用いられる場合がある。
この固有射影は単にベクトル空間
への射影行列である。したがって
について
は固有空間
上への
の直交射影を与える。前述のように
と定義すると、
となる。固有ベクトル
の集合は一意ではないが、
は一意である。
スペクトル分解は同じ値の重複を除いたのすべての固有値の集合に対する
のスペクトル集合という用語に由来する。
行列
がスペクトル集合
を持つと仮定する。ただし
の中のいくつかは重複固有値に対応している可能性があるため、
である。
の集合は
においては同じ値の重複を認めないという点で
の集合とは異なる可能性がある。
スペクトル分解は
であり、は複数校の和に分解され、その各々がスペクトル集合のそれぞれの値に対応している。この分解を
と書くとき、ベクトル空間の射影行列の一意性より、和の中の項は一意に定義される。一方で分解
はがすべて異なる場合に限り、一意に定義される項をもつ。
行列の階数とその行列の非零固有値の数との関係は対称行列に関しては以下が成り立つ。
(を得る。 )
統計学において固有値と固有ベクトルを利用した応用で最も重要なのは共分散行列や相関行列の分析である。
例:相関が1つの値を取る相関行列
分散共分散行列において分散や相関が1つの値を取る場合を考える。このときである。また
とも書けるからベクトル
の関数でもある。
ここでが成り立つ。これはすなわち
は
に対応する
の固有ベクトルであることを意味する。
の残りの固有値は、もし
が
に直交する任意の
ベクトルであるならば、
であり、したがって
は固有値
に対応する
の固有ベクトルであることから特定される。
に対しては
個の線形独立なベクトルが存在するので、固有値
の重複度は
である。これら2つの異なる固有値の順序は
に依存する。すなわち
は
ならば
よりも大きくなる。