統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書
を基により高等な線形代数を学ぶ。
3. 固有値と固有ベクトル
3.5 非負定値行列
対称行列が正定値または半正定値行列であるための条件を
の固有値を用いて表現していく。
以下の定理から、正方行列は固有値がであることが正則行列でないことの必要十分条件であることを踏まえると、正定値行列は正則、半正定値行列は非正則であることが分かる。
を得る。
逆にすべてのについて
だと仮定する。任意の
を用いて
を定義すると、
であり、したがって
について少なくとも1つの
であるから、
が成り立つ。したがってすべてのが正であることは
が正定値であることの必要十分条件である。
同様に考えることで、すべてのが非負かつ
が成り立つような
が少なくとも1つ存在することは
が半正定値であることの必要十分条件であることも示すことができる。
より、もしならば、
よりすべての
である。逆にもし
となるような
が存在するならば、
である。
)
例:
重回帰モデルにおける
の最小二乗推定量
を考える。ただし
である。
このときについて
が
の最良線形不偏推定量であることを示す。まず推定量
が
の不偏推定量であるためには、
が成り立たなければならない。
に注意すれば
が導かれるから、
は不偏である。
次にの最小分散性を示す。
が
の任意の線形不偏推定量だとする。このとき
が成り立つ。これは
であることに他ならない。またこのとき
であることを踏まえるならば、
を得る。一方で
である。したがって
を得る。ここで
であるから、既に示したとおり、
の固有値を
とするとき、
の固有値は
と表されるから、
または
である。したがって固有値と正定値性に関する定理から、
は非負定値性を持ち、
が成り立つ。したがって
はすべての
の不偏推定量の中でももっとも分散が小さい。