「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。目下、データ分析・語学に力点を置いています。

MENU

統計学のための線形代数(026/X)

 統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

を基により高等な線形代数を学ぶ。

4. 行列の因数分解と行列ノルム

4.7 2つの対称行列の同時対角化

 前回議論した固有値正則行列の関係において、Aの条件を厳格化する一方でBの条件を緩和することによってA,Bが同時に対角化可能であるためのもう1つの十分条件を得ることができる。



非負定値行列と正則性 m次非負定値行列A,Bについて、CAC^{\prime}およびCBC^{\prime}が共に対角行列であるような正則行列Cが存在する。
(\because r_1=\mathrm{rank}(A),r_2=\mathrm{rank}(B)とし、一般性を失うことなくr_1\leq r_2と仮定する。A=P_1\mathit{\Lambda}_1P_1^{\prime}Aのスペクトル分解だとすると、m\times r_1行列P_1P_1^{\prime}P_1=I_{r_1}を満たし、\mathit{\Lambda}_1は正の対角成分を持つr_1次対角行列である。
 C_1^{\prime}=\begin{bmatrix}P_1\mathit{\Lambda}_1^{-\frac{1}{2}}&0\end{bmatrix}としてA_1=C_1AC_1^{\prime}およびB_1=C_1BC_1^{\prime}を定義し


\begin{aligned}
A_1=\begin{bmatrix}
I_{r_1}&0\\0&0
\end{bmatrix}
\end{aligned}

に注意すれば、C_1Aを対角化する。B_1は非負定値であるから、B_1の後半m-r_1対角成分のいずれかが0である場合、その行と列のすべての成分は0である。もしB_1(r_1+i,r_1+i)成分がb\neq0で、しかもB_1(r_1+i,j)成分と(j,r_1+i)成分がaであり、


\begin{aligned}
T=I_m-\displaystyle{\frac{a}{b}}\boldsymbol{e}_j\boldsymbol{e}_{r_1+i}^{\prime}
\end{aligned}

を定義すれば、TB_1T^{\prime}(r_1+i,j)成分と(j,r_1+i)成分がそれぞれ0となるようにj行にr_1+i行の定数倍を加え、j列にr_1+i列の定数倍を加えた以外はB_1と同一であるような行列を生成する。この手順を繰り返し用いることで


\begin{aligned}
C_2B_1C_2^{\prime}=\begin{bmatrix}
B_{*}&0\\0&D_1
\end{bmatrix}
\end{aligned}

となるような正則行列C_2Tに与えられた形式の行列の積で得ることができる。ここでB_{*}は階数r_3r_1次正方行列、D_1はそれぞれが正であるr_4個の非零対角成分を持った(m-r_1)次対角行列で、r_3+r_4=r_2を満たす。したがってTおよびC_2は分割された場合に、あるr_1\times(m-r_1)行列Eおよび(m-r_1)次正方行列Fを用いて


\begin{aligned}
\begin{bmatrix}
I_{r_1}&E\\0&F
\end{bmatrix}
\end{aligned}

で表される。ここからC_2A_1C_2^{\prime}=A_1を得る。最後にC_3


\begin{aligned}
C_3=\begin{bmatrix}
Q^{\prime}&0\\0&I_{m-r_1}
\end{bmatrix}
\end{aligned}

と定義する。ここでQB_{*}=QD_2Q^{\prime}を満たすr_1次直交行列であり、D_2はそれぞれが正であるr_3個の非零対角成分を持ったr_1次対角行列である。このときC=C_3C_2C_1としてCAC^{\prime}=\mathrm{diag}(I_{r_1},0)かつCBC^{\prime}=\mathrm{diag}(D_2,D_1)を得る。  \blacksquare)


 以上で論点となったA,Bを対角化する行列Cは正則でなければならないが、直交である必要性は無く、2つの対角行列の対角成分はA,Bのいずれの固有値でもない。このような対角化は正規確率ベクトル2次形式に関する考察において大変に便利である。A,Bの双方を対角化する直交行列が存在するかについて議論するとき、次の定理はそのような直交行列が存在するための必要十分条件を与える。



可換性と対角化 A,Bm次対称行列とする。A,Bが可換、すなわちAB=BAであることは、P^{\prime}AP,P^{\prime}BPの両方を対角行列にするような直交行列Pであることの必要十分条件である。
(\because まず\mathit{\Lambda}_1,\mathit{\Lambda}_2を対角行列とし、P^{\prime}AP=\mathit{\Lambda}_1,P^{\prime}BP=\mathit{\Lambda}_2を満たすような直交行列Pが存在することを示す。
 \mathit{\Lambda}_1,\mathit{\Lambda}_2は対角行列であるから、\mathit{\Lambda}_1\mathit{\Lambda}_2=\mathit{\Lambda}_2\mathit{\Lambda}_1であり、


\begin{aligned}
AB&=P\mathit{\Lambda}_1P^{\prime}P\mathit{\Lambda}_2P^{\prime}=P\mathit{\Lambda}_1\mathit{\Lambda}_2P^{\prime}\\
&=P\mathit{\Lambda}_2\mathit{\Lambda}_1P^{\prime}\\
&=BA
\end{aligned}

が成り立つから、A,Bは可換である。
 逆にA,Bが可換だと仮定し、これらを対角化するような直交行列Pが存在することを示す。Aの互いに異なる固有値として\mu_1,\cdots,\mu_hを取り、それらにそれぞれ重複度r_1,\cdots,r_hが対応するものとする。Aは対称行列であるから、


\begin{aligned}
Q^{\prime}AQ=\mathit{\Lambda}_1=\mathrm{diag}(\mu_1 I_{r_1},\cdots,\mu_h I_{r_h})
\end{aligned}

を満たす直交行列Qが存在する。Bについても同様の変換をしてQ^{\prime}BQを分割することで、r_i\times r_j行列C_{ij}をブロック行列として


\begin{aligned}
C=Q^{\prime}BQ=\begin{bmatrix}
C_{11}&C_{12}&\cdots&C_{1h}\\
C_{21}&C_{22}&\cdots&C_{2h}\\
\vdots&\vdots&&\vdots\\
C_{h1}&C_{h2}&\cdots&C_{hh}
\end{bmatrix}
\end{aligned}

を得る。このとき仮定からAB=BAであるから


\begin{aligned}
\mathit{\Lambda}_1C&=Q^{\prime}AQQ^{\prime}BQ=Q^{\prime}ABQ\\
&=Q^{\prime}BAQ\\
&=Q^{\prime}BQQ^{\prime}AQ\\
&=C\mathit{\Lambda}_1
\end{aligned}

が成立しなければならない。\mathit{\Lambda}_1C(i,j)成分の部分行列とC\mathit{\Lambda}_1(i,j)成分の部分行列を対応させることで


\begin{aligned}
\mu_iC_{ij}=\mu_jC_{ij}
\end{aligned}

が成り立つ。i\neq jならば\mu_i\neq \mu_jであるから、i\neq jならばC_{ij}=(0)でなければならない。すなわち行列C=\mathrm{diag}(C_{11},\cdots,C_{hh})はブロック対角行列である。Cは対称行列であり、各iについてC_{ii}も対称であるから、


\begin{aligned}
X_i^{\prime}C_{ii}X_i=\mathit{\Delta}_i
\end{aligned}

を満たすようなr_i次直交行列X_iを求めることができる。ここで\mathit{\Delta}_iは対角行列である。Xをブロック対角行列X=\mathrm{diag}(X_1,\cdots,X_h)とし、P=QXが成立するとする。


\begin{aligned}
P^{\prime}P&=X^{\prime}Q^{\prime}QX=X^{\prime}X\\
&=\mathrm{diag}(X_1^{\prime}X_1,\cdots,X_h^{\prime}X_h)\\
&=\mathrm{diag}(I_{r_1},\cdots,I_{r_h})=I
\end{aligned}

であるから、Pは直交行列である。
 最後に\mathit{\Delta}=\mathrm{diag}(\mathit{\Delta}_1,\cdots,\mathit{\Delta}_h)は対角であり、


\begin{aligned}
P^{\prime}AP&=X^{\prime}Q^{\prime}AQX=X^{\prime}CX\\
&=\mathrm{diag}(X_1^{\prime},\cdots,X_h^{\prime})\mathrm{diag}(\mu_1I_{r_1},\cdots,\mu_hI_{r_h})\mathrm{diag}(X_1,\cdots,X_h)\\
&=\mathrm{diag}(\mu_{1}X_{1}^{\prime}X_{1},\cdots,\mu_{h}X_{h}^{\prime}X_{h})\\
&=\mathrm{diag}(\mu_1 I_{r_1},\cdots,\mu_h I_{r_h})=\mathit{\Lambda}_1
\end{aligned}

かつ


\begin{aligned}
P^{\prime}BP&=X^{\prime}Q^{\prime}BQX=X^{\prime}CX\\
&=\mathrm{diag}(X_1^{\prime},\cdots,X_h^{\prime})\mathrm{diag}(\mu_1I_{r_1},\cdots,\mu_hI_{r_h})\mathrm{diag}(X_1,\cdots,X_h)\\
&=\mathrm{diag}(X_1^{\prime}C_{11}X_1,\cdots,X_h^{\prime}C_{hh}X_h)\\
&=\mathrm{diag}(\mathit{\Delta}_1,\cdots,\mathit{\Delta}_h)=\mathit{\Delta}
\end{aligned}


が成り立つ。  \blacksquare)


 行列Pの列はBのみならずA固有ベクトルでもある。すなわち行列A,Bが共通した固有ベクトルを持つことがこれらが可換であることの必要十分条件である。またA,Bは共に対称行列であるから、


\begin{aligned}
(AB)^{\prime}=B^{\prime}A^{\prime}=BA
\end{aligned}

が成り立ち、したがってABが対称であるならば、AB=BAで逆も成り立つ。そこで以下が得られる。


対称行列と直交行列の関係 A_1,\cdots,A_km次対称行列とする。このとき{}^{\forall}i,{}^{\forall}j\in\{1,\cdots,k\}に対するすべての組(i,j)についてA_iA_j=A_jA_iであることは各P^{\prime}A_iP=\mathit{\Lambda}_iが対角行列であるような直交行列Pが存在することの必要十分条件である。


これをより一般化したものとして以下が成り立つ。


可換な対角行列と正則性 対角化可能なm次正方行列A_1,\cdots,A_kについて、{}^{\forall}i,{}^{\forall}j\in\{1,\cdots,k\}に対するすべての組(i,j)についてA_iA_j=A_jA_iであることは各iについてX^{-1}A_iX=\mathit{\Lambda}_iが対角行列であるような正則行列Xが存在することの必要十分条件である。

プライバシーポリシー お問い合わせ