統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書
を基により高等な線形代数を学ぶ。
4. 行列の因数分解と行列ノルム
4.1 特異値分解
例:ベクトルの特異値分解
とすると、
と特異値分解できる。ここで
は
次直交行列で、
は最初の成分のみが非零であるような
次ベクトルで、さらに
は
を満たすスカラーである。
の唯一の特異値は
で
を満たす。
もしと定めると、
を満たす上、
が成立する。これにより、
は唯一の正の固有値
に対応する
の正規固有ベクトルである。
に直交する任意の非零ベクトルは、重複する固有値
に対応する
の固有ベクトルである。したがってもし
であり、
が
を最初の列として持つ任意の直交行列であるならば、
が得られる。
行列が次対称行列であるとき、その特異値は
の固有値に直接的に関係する。実際
であり、
の固有値はそれぞれ対応する
の固有値の二乗である。したがって
の特異値は
の固有値の絶対値で与えられる。もし
の列が
の正規直交固有ベクトルの集合ならば、
を満たすは基本的に
に等しい。ただし負の固有値に対応する
の任意の列は
のそれに対応する列に
を掛けたものに一致する。
もしが非負定値ならば
の特異値は
の正の固有値に一致し、
の特異値分解は
のスペクトル分解に等しくなる。
例:正方行列の特異値分解
2次正方行列を考える。このとき
であるから、
の特異値は
である。
に対応する正規化された
の固有ベクトルは
である。一方で
の固有ベクトルは、固有値が
だから、
である。したがって
の特異値分解は
で与えられる。なお
自体の固有値は
であるから、
であり、対応する固有ベクトルは
である。