統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書
を基により高等な線形代数を学ぶ。
3. 固有値と固有ベクトル
3.5 非負定値行列
の固有値と固有ベクトルを用いて群平均の相違を分析する正準変量分析を過去に論じた。このときスケールの影響を取り除くため、
商を考えたのだった。このとき各群の分散共分散行列が単位行列でない(群に所属する各個体に相関がある)場合、不適切な結果が得られる場合がある。
たとえば各群が共通して分散共分散行列を持つと仮定する。分散共分散行列
を持つ確率ベクトル
があるとき、
で定義される方向における
の分散は
で表される。
バラつきが大きい方向における群間の差はバラツキが小さい方向においてみられる差よりも重要性が低いと考えられる。そこでこのバラつきの差を
を用いることで修正する。
この比率を最大にするようなはバラツキの差異を補正した上で最も群間の差が大きくなるような
の1次元部分空間を特定することになる。次に
と
が無相関である範囲内で、上記の比率を最大化するようなベクトル
を探す。これを続けることで
を定めることが可能であり、これら各々が上記比率の
個の極値
を与える。これを特定するのが以下の定理である。
を用いてとおくと、
であり、
は
と同様で対称で正則な行列ということになる、このとき
の固有値は
の固有値に等しく、
の対称性から、この行列は正規直交な固有ベクトル
を持っているはずである。ここで
を用いれば、
と表すことができる。したがって
であり、また
である。以上からは
の固有値
に対応した固有ベクトルであり、
であることが分かる。
が正規直交であることから、ベクトル
が線形独立であることは明らかである。そこであとは最小かおよび最大化を含む高騰式のみを示せばよい。手続きが同様なので最小化のみを示す。
まずを代入することで
を得る。ここでの行は
の固有ベクトル
の転置であるから、上式は
に等しいことが分かり、これは既に示したように
と等しい。
)
あるいは、これと同等な
が成り立つ。後者を満たす固有値はの尺度における
の固有値と呼ばれることがある。この式に左から
を掛けて
について解くと、