統計学のための線形代数（026/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

前回

power-of-awareness.com

前回
4.　行列の因数分解と行列ノルム
- 4.7　2つの対称行列の同時対角化
次回

4.　行列の因数分解と行列ノルム

4.7　2つの対称行列の同時対角化

　前回議論した固有値と正則行列の関係において、 $A$ の条件を厳格化する一方で $B$ の条件を緩和することによって $A,B$ が同時に対角化可能であるためのもう1つの十分条件を得ることができる。

非負定値行列と正則性　 $m$ 次非負定値行列 $A,B$ について、 $CAC^{\prime}$ および $CBC^{\prime}$ が共に対角行列であるような正則行列 $C$ が存在する。

( $\because$ 　 $r_1=\mathrm{rank}(A),r_2=\mathrm{rank}(B)$ とし、一般性を失うことなく $r_1\leq r_2$ と仮定する。 $A=P_1\mathit{\Lambda}_1P_1^{\prime}$ を $A$ のスペクトル分解だとすると、 $m\times r_1$ 行列 $P_1$ は $P_1^{\prime}P_1=I_{r_1}$ を満たし、 $\mathit{\Lambda}_1$ は正の対角成分を持つ $r_1$ 次対角行列である。
　 $C_1^{\prime}=\begin{bmatrix}P_1\mathit{\Lambda}_1^{-\frac{1}{2}}&0\end{bmatrix}$ として $A_1=C_1AC_1^{\prime}$ および $B_1=C_1BC_1^{\prime}$ を定義し

$\begin{aligned} A_1=\begin{bmatrix} I_{r_1}&0\\0&0 \end{bmatrix} \end{aligned}$

に注意すれば、 $C_1$ は $A$ を対角化する。 $B_1$ は非負定値であるから、 $B_1$ の後半 $m-r_1$ 対角成分のいずれかが $0$ である場合、その行と列のすべての成分は $0$ である。もし $B_1$ の $(r_1+i,r_1+i)$ 成分が $b\neq0$ で、しかも $B_1$ の $(r_1+i,j)$ 成分と $(j,r_1+i)$ 成分が $a$ であり、

$\begin{aligned} T=I_m-\displaystyle{\frac{a}{b}}\boldsymbol{e}_j\boldsymbol{e}_{r_1+i}^{\prime} \end{aligned}$

を定義すれば、 $TB_1T^{\prime}$ は $(r_1+i,j)$ 成分と $(j,r_1+i)$ 成分がそれぞれ $0$ となるように $j$ 行に $r_1+i$ 行の定数倍を加え、 $j$ 列に $r_1+i$ 列の定数倍を加えた以外は $B_1$ と同一であるような行列を生成する。この手順を繰り返し用いることで

$\begin{aligned} C_2B_1C_2^{\prime}=\begin{bmatrix} B_{*}&0\\0&D_1 \end{bmatrix} \end{aligned}$

となるような正則行列 $C_2$ を $T$ に与えられた形式の行列の積で得ることができる。ここで $B_{*}$ は階数 $r_3$ の $r_1$ 次正方行列、 $D_1$ はそれぞれが正である $r_4$ 個の非零対角成分を持った $(m-r_1)$ 次対角行列で、 $r_3+r_4=r_2$ を満たす。したがって $T$ および $C_2$ は分割された場合に、ある $r_1\times(m-r_1)$ 行列 $E$ および $(m-r_1)$ 次正方行列 $F$ を用いて

$\begin{aligned} \begin{bmatrix} I_{r_1}&E\\0&F \end{bmatrix} \end{aligned}$

で表される。ここから $C_2A_1C_2^{\prime}=A_1$ を得る。最後に $C_3$ を

$\begin{aligned} C_3=\begin{bmatrix} Q^{\prime}&0\\0&I_{m-r_1} \end{bmatrix} \end{aligned}$

と定義する。ここで $Q$ は $B_{*}=QD_2Q^{\prime}$ を満たす $r_1$ 次直交行列であり、 $D_2$ はそれぞれが正である $r_3$ 個の非零対角成分を持った $r_1$ 次対角行列である。このとき $C=C_3C_2C_1$ として $CAC^{\prime}=\mathrm{diag}(I_{r_1},0)$ かつ $CBC^{\prime}=\mathrm{diag}(D_2,D_1)$ を得る。　　 $\blacksquare$ )

　以上で論点となった $A,B$ を対角化する行列 $C$ は正則でなければならないが、直交である必要性は無く、2つの対角行列の対角成分は $A,B$ のいずれの固有値でもない。このような対角化は正規確率ベクトル2次形式に関する考察において大変に便利である。 $A,B$ の双方を対角化する直交行列が存在するかについて議論するとき、次の定理はそのような直交行列が存在するための必要十分条件を与える。

可換性と対角化　 $A,B$ を $m$ 次対称行列とする。 $A,B$ が可換、すなわち $AB=BA$ であることは、 $P^{\prime}AP,P^{\prime}BP$ の両方を対角行列にするような直交行列 $P$ であることの必要十分条件である。

( $\because$ 　まず $\mathit{\Lambda}_1,\mathit{\Lambda}_2$ を対角行列とし、 $P^{\prime}AP=\mathit{\Lambda}_1,P^{\prime}BP=\mathit{\Lambda}_2$ を満たすような直交行列 $P$ が存在することを示す。
　 $\mathit{\Lambda}_1,\mathit{\Lambda}_2$ は対角行列であるから、 $\mathit{\Lambda}_1\mathit{\Lambda}_2=\mathit{\Lambda}_2\mathit{\Lambda}_1$ であり、

$\begin{aligned} AB&=P\mathit{\Lambda}_1P^{\prime}P\mathit{\Lambda}_2P^{\prime}=P\mathit{\Lambda}_1\mathit{\Lambda}_2P^{\prime}\\ &=P\mathit{\Lambda}_2\mathit{\Lambda}_1P^{\prime}\\ &=BA \end{aligned}$

が成り立つから、 $A,B$ は可換である。
　逆に $A,B$ が可換だと仮定し、これらを対角化するような直交行列 $P$ が存在することを示す。 $A$ の互いに異なる固有値として $\mu_1,\cdots,\mu_h$ を取り、それらにそれぞれ重複度 $r_1,\cdots,r_h$ が対応するものとする。 $A$ は対称行列であるから、

$\begin{aligned} Q^{\prime}AQ=\mathit{\Lambda}_1=\mathrm{diag}(\mu_1 I_{r_1},\cdots,\mu_h I_{r_h}) \end{aligned}$

を満たす直交行列 $Q$ が存在する。 $B$ についても同様の変換をして $Q^{\prime}BQ$ を分割することで、 $r_i\times r_j$ 行列 $C_{ij}$ をブロック行列として

$\begin{aligned} C=Q^{\prime}BQ=\begin{bmatrix} C_{11}&C_{12}&\cdots&C_{1h}\\ C_{21}&C_{22}&\cdots&C_{2h}\\ \vdots&\vdots&&\vdots\\ C_{h1}&C_{h2}&\cdots&C_{hh} \end{bmatrix} \end{aligned}$

を得る。このとき仮定から $AB=BA$ であるから

$\begin{aligned} \mathit{\Lambda}_1C&=Q^{\prime}AQQ^{\prime}BQ=Q^{\prime}ABQ\\ &=Q^{\prime}BAQ\\ &=Q^{\prime}BQQ^{\prime}AQ\\ &=C\mathit{\Lambda}_1 \end{aligned}$

が成立しなければならない。 $\mathit{\Lambda}_1C$ の $(i,j)$ 成分の部分行列と $C\mathit{\Lambda}_1$ の $(i,j)$ 成分の部分行列を対応させることで

$\begin{aligned} \mu_iC_{ij}=\mu_jC_{ij} \end{aligned}$

が成り立つ。 $i\neq j$ ならば $\mu_i\neq \mu_j$ であるから、 $i\neq j$ ならば $C_{ij}=(0)$ でなければならない。すなわち行列 $C=\mathrm{diag}(C_{11},\cdots,C_{hh})$ はブロック対角行列である。 $C$ は対称行列であり、各 $i$ について $C_{ii}$ も対称であるから、

$\begin{aligned} X_i^{\prime}C_{ii}X_i=\mathit{\Delta}_i \end{aligned}$

を満たすような $r_i$ 次直交行列 $X_i$ を求めることができる。ここで $\mathit{\Delta}_i$ は対角行列である。 $X$ をブロック対角行列 $X=\mathrm{diag}(X_1,\cdots,X_h)$ とし、 $P=QX$ が成立するとする。

$\begin{aligned} P^{\prime}P&=X^{\prime}Q^{\prime}QX=X^{\prime}X\\ &=\mathrm{diag}(X_1^{\prime}X_1,\cdots,X_h^{\prime}X_h)\\ &=\mathrm{diag}(I_{r_1},\cdots,I_{r_h})=I \end{aligned}$

であるから、 $P$ は直交行列である。
　最後に $\mathit{\Delta}=\mathrm{diag}(\mathit{\Delta}_1,\cdots,\mathit{\Delta}_h)$ は対角であり、

$\begin{aligned} P^{\prime}AP&=X^{\prime}Q^{\prime}AQX=X^{\prime}CX\\ &=\mathrm{diag}(X_1^{\prime},\cdots,X_h^{\prime})\mathrm{diag}(\mu_1I_{r_1},\cdots,\mu_hI_{r_h})\mathrm{diag}(X_1,\cdots,X_h)\\ &=\mathrm{diag}(\mu_{1}X_{1}^{\prime}X_{1},\cdots,\mu_{h}X_{h}^{\prime}X_{h})\\ &=\mathrm{diag}(\mu_1 I_{r_1},\cdots,\mu_h I_{r_h})=\mathit{\Lambda}_1 \end{aligned}$

かつ

$\begin{aligned} P^{\prime}BP&=X^{\prime}Q^{\prime}BQX=X^{\prime}CX\\ &=\mathrm{diag}(X_1^{\prime},\cdots,X_h^{\prime})\mathrm{diag}(\mu_1I_{r_1},\cdots,\mu_hI_{r_h})\mathrm{diag}(X_1,\cdots,X_h)\\ &=\mathrm{diag}(X_1^{\prime}C_{11}X_1,\cdots,X_h^{\prime}C_{hh}X_h)\\ &=\mathrm{diag}(\mathit{\Delta}_1,\cdots,\mathit{\Delta}_h)=\mathit{\Delta} \end{aligned}$

が成り立つ。　　 $\blacksquare$ )

　行列 $P$ の列は $B$ のみならず $A$ の固有ベクトルでもある。すなわち行列 $A,B$ が共通した固有ベクトルを持つことがこれらが可換であることの必要十分条件である。また $A,B$ は共に対称行列であるから、

$\begin{aligned} (AB)^{\prime}=B^{\prime}A^{\prime}=BA \end{aligned}$

が成り立ち、したがって $AB$ が対称であるならば、 $AB=BA$ で逆も成り立つ。そこで以下が得られる。

対称行列と直交行列の関係　 $A_1,\cdots,A_k$ を $m$ 次対称行列とする。このとき ${}^{\forall}i,{}^{\forall}j\in\{1,\cdots,k\}$ に対するすべての組 $(i,j)$ について $A_iA_j=A_jA_i$ であることは各 $P^{\prime}A_iP=\mathit{\Lambda}_i$ が対角行列であるような直交行列 $P$ が存在することの必要十分条件である。

これをより一般化したものとして以下が成り立つ。

可換な対角行列と正則性　対角化可能な $m$ 次正方行列 $A_1,\cdots,A_k$ について、 ${}^{\forall}i,{}^{\forall}j\in\{1,\cdots,k\}$ に対するすべての組 $(i,j)$ について $A_iA_j=A_jA_i$ であることは各 $i$ について $X^{-1}A_iX=\mathit{\Lambda}_i$ が対角行列であるような正則行列 $X$ が存在することの必要十分条件である。

次回

power-of-awareness.com

前回

4. 行列の因数分解と行列ノルム

4.7 2つの対称行列の同時対角化

次回

4.　行列の因数分解と行列ノルム

4.7　2つの対称行列の同時対角化