統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書
を基により高等な線形代数を学ぶ。
3. 固有値と固有ベクトル
3.2 固有値と固有射影の連続性
2つの行列の要素の絶対差の関数により2つの行列の固有値間の絶対差を境界付ける。
この定理により任意の行列の固有値に関して有益な結果を導ける。
を満たすような行列の数列
に対して
が成り立つ。したがっての固有値
に対して
を得る。言い換えればが
にかなり近いのであれば、それぞれの
に対して
が
に近くなるような
が存在する。したがって以下の定理が導かれる:
3.3 固有値の極値特性
固有値が多くの応用場面において大きな役割を果たす理由の1つは2次形式を含んだ関数の最大値や最小値として固有値が表現され得るということにある。
次対称行列
を取り、
の関数
を考える。
に対して
が成り立つため、
の符号に応じて
を適当に選択することで、
を恣意的に大きく(小さく)することができる。したがって
の変化に対する2次形式の変動を分析するには、
における尺度変化(すなわち
に相当する部分)の影響を取り除くことが必須である。そこでRayleigh商
を考える。このとき
を満たすことから確かに尺度変化を加味できていることが分かる。
まずRayleigh商を固有値で評価できることが示される:
を得る。定義からであるから
が成り立つ。等号は下限ではとすることで、上限は
とすれば得られる。
)
なお任意のに関して
は単位ベクトルであり、
でも得られる。