統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書
を基により高等な線形代数を学ぶ。
3. 固有値と固有ベクトル
3.1 対称行列
統計学における固有値や固有ベクトルに関連する応用の多くは対称行列を扱うものである。対称行列が固有値や固有ベクトルに対して良い性質を持っているからである。
まず
に代入することで
を得る。両辺に左からを掛けることで
であり、の対称性から
を得る。ここでは
を意味し、上式の右辺は実数であるから、
でなければならない。
を代入することで
となる・したがってがそれぞれ
および
を満たし、その少なくとも一方は
でない限り、すなわち
である限りにおいて
は
に対応する
の固有ベクトルとなる。実固有ベクトルは
となるような
の選択と
によって構成される。
)
関連する固有値がすべて互いに異なるならば、行列
の固有ベクトルの集合は線形独立であった。いま
が対称行列ならば、更なる性質を導くことができる。
がそれぞれ固有値
に対応する固有ベクトルであると仮定する。
の対称性から
が成り立つ。であったから、
でなければならない。すなわち異なる固有値に対応する固有ベクトルは互いに直交しなければならない。