統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書
を基により高等な線形代数を学ぶ。
4. 行列の因数分解と行列ノルム
4.7 2つの対称行列の同時対角化
前回議論した固有値と正則行列の関係において、の条件を厳格化する一方で
の条件を緩和することによって
が同時に対角化可能であるためのもう1つの十分条件を得ることができる。
(
に注意すれば、は
を対角化する。
は非負定値であるから、
の後半
対角成分のいずれかが
である場合、その行と列のすべての成分は
である。もし
の
成分が
で、しかも
の
成分と
成分が
であり、
を定義すれば、は
成分と
成分がそれぞれ
となるように
行に
行の定数倍を加え、
列に
列の定数倍を加えた以外は
と同一であるような行列を生成する。この手順を繰り返し用いることで
となるような正則行列を
に与えられた形式の行列の積で得ることができる。ここで
は階数
の
次正方行列、
はそれぞれが正である
個の非零対角成分を持った
次対角行列で、
を満たす。したがって
および
は分割された場合に、ある
行列
および
次正方行列
を用いて
で表される。ここからを得る。最後に
を
と定義する。ここでは
を満たす
次直交行列であり、
はそれぞれが正である
個の非零対角成分を持った
次対角行列である。このとき
として
かつ
を得る。
)
以上で論点となったを対角化する行列
は正則でなければならないが、直交である必要性は無く、2つの対角行列の対角成分は
のいずれの固有値でもない。このような対角化は正規確率ベクトル2次形式に関する考察において大変に便利である。
の双方を対角化する直交行列が存在するかについて議論するとき、次の定理はそのような直交行列が存在するための必要十分条件を与える。
(
が成り立つから、は可換である。
逆にが可換だと仮定し、これらを対角化するような直交行列
が存在することを示す。
の互いに異なる固有値として
を取り、それらにそれぞれ重複度
が対応するものとする。
は対称行列であるから、
を満たす直交行列が存在する。
についても同様の変換をして
を分割することで、
行列
をブロック行列として
を得る。このとき仮定からであるから
が成立しなければならない。の
成分の部分行列と
の
成分の部分行列を対応させることで
が成り立つ。ならば
であるから、
ならば
でなければならない。すなわち行列
はブロック対角行列である。
は対称行列であり、各
について
も対称であるから、
を満たすような次直交行列
を求めることができる。ここで
は対角行列である。
をブロック対角行列
とし、
が成立するとする。
であるから、は直交行列である。
最後には対角であり、
かつ
が成り立つ。 )
行列の列は
のみならず
の固有ベクトルでもある。すなわち行列
が共通した固有ベクトルを持つことがこれらが可換であることの必要十分条件である。また
は共に対称行列であるから、
が成り立ち、したがってが対称であるならば、
で逆も成り立つ。そこで以下が得られる。
これをより一般化したものとして以下が成り立つ。