統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書
を基により高等な線形代数を学ぶ。
4. 行列の因数分解と行列ノルム
特別な構造や標準形を持った別の行列の積の形として与えられた行列を表現する有用な方法を見ていく。
4.1 特異値分解
任意のサイズの行列に扱うことができる点で最も有用と言える特異値分解を扱う。
(
を満たすような次直交行列
が存在する。このとき
を
行列として
と分解すると、
の条件式に対応して
を得る。このとき後者の等式からである。
いまは
次直交行列だとする。ここで
行列
であり、
は
を直交行列にするような任意の行列である。このとき
またはそれと等価だが
を満たさなければならない。以上から、
を得る。以上より題意は示された。 )
の対角要素、すなわち
および
の正の固有値の正の平方根は
の特異値と呼ばれる。
の列は
の固有ベクトルからなる正規直交集合を形成する。そのため
のように表すことができる。またの列も
を満たすからの固有ベクトルからなる正規直交集合を形成する。
もし再びを
が
および
が
の下で
と
と分割するならば、特異値分解は以下のように書き換えることができる。
このときは
を満たす半直交行列になる。分解において上式を満たす半直交行列
の選択は行列
の選択に依存する。
行列の構造に関する多くの情報はその行列の特異値分解から得られる。特異値の個数は
の階数を示し、
の列はそれぞれ行列
の列空間と行空間の正規直交基底となる。同様に
の列は行列
の零空間を張り、
の列は行列
の零空間を張る。