統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書
を基により高等な線形代数を学ぶ。
4. 行列の因数分解と行列ノルム
4.1 特異値分解
例:ベクトルの特異値分解
とすると、
と特異値分解できる。ここでは次直交行列で、は最初の成分のみが非零であるような次ベクトルで、さらにはを満たすスカラーである。の唯一の特異値はでを満たす。
もしと定めると、を満たす上、
が成立する。これにより、は唯一の正の固有値に対応するの正規固有ベクトルである。に直交する任意の非零ベクトルは、重複する固有値に対応するの固有ベクトルである。したがってもしであり、がを最初の列として持つ任意の直交行列であるならば、
が得られる。
行列が次対称行列であるとき、その特異値はの固有値に直接的に関係する。実際であり、の固有値はそれぞれ対応するの固有値の二乗である。したがっての特異値はの固有値の絶対値で与えられる。もしの列がの正規直交固有ベクトルの集合ならば、
を満たすは基本的にに等しい。ただし負の固有値に対応するの任意の列はのそれに対応する列にを掛けたものに一致する。
もしが非負定値ならばの特異値はの正の固有値に一致し、の特異値分解はのスペクトル分解に等しくなる。
例:正方行列の特異値分解
2次正方行列を考える。このとき
であるから、の特異値はである。に対応する正規化されたの固有ベクトルはである。一方での固有ベクトルは、固有値がだから、である。したがっての特異値分解は
で与えられる。なお自体の固有値は
であるから、であり、対応する固有ベクトルはである。