統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書
を基により高等な線形代数を学ぶ。
3. 固有値と固有ベクトル
3.1 対称行列
統計学における固有値や固有ベクトルに関連する応用の多くは対称行列を扱うものである。対称行列が固有値や固有ベクトルに対して良い性質を持っているからである。
まずを示す。固有値および固有ベクトルの定義式
に代入することで
を得る。両辺に左からを掛けることで
であり、の対称性から
を得る。ここではを意味し、上式の右辺は実数であるから、でなければならない。
を代入することで
となる・したがってがそれぞれおよびを満たし、その少なくとも一方はでない限り、すなわちである限りにおいてはに対応するの固有ベクトルとなる。実固有ベクトルはとなるようなの選択とによって構成される。 )
関連する固有値がすべて互いに異なるならば、行列の固有ベクトルの集合は線形独立であった。いまが対称行列ならば、更なる性質を導くことができる。がそれぞれ固有値に対応する固有ベクトルであると仮定する。の対称性から
が成り立つ。であったから、でなければならない。すなわち異なる固有値に対応する固有ベクトルは互いに直交しなければならない。