統計学のための線形代数（038/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

前回

power-of-awareness.com

前回
5.　一般化逆行列
- 5.4　分割行列のMoore-Penrose形一般化逆行列
次回

5.　一般化逆行列

5.4　分割行列のMoore-Penrose形一般化逆行列

　 $m\times n$ 行列 $A$ が $A=\begin{bmatrix}U&V\end{bmatrix}$ と $m\times n_1$ 行列 $U$ と $m\times n_2$ 行列 $V$ で分割されているものとする。場合によっては部分行列 $U,V$ から $A^{+}$ を表現するのが便利になる。

定理5.12　分割行列の $\mathrm{Moore}$ - $\mathrm{Penrose}$ 型一般化逆行列　 $m\times n$ 行列 $A$ が $A=\begin{bmatrix}U&V\end{bmatrix}$ と $m\times n_1$ 行列 $U$ と $m\times n_2$ 行列 $V$ ( $n=n_1+n_2$ )で分割されているものとする。このとき

$\begin{aligned} A^{+}=\begin{bmatrix}U^{+}-U^{+}V\left(C^{+}+W\right)\\C^{+}+W\end{bmatrix} \end{aligned}$

が成り立つ。ここで $C=\left(I-UU^{+}\right)V$ で、また

$\begin{aligned} W&=\left(I_{n_2}-C^{+}C\right)MV^{\prime}U^{+\prime}U^{+}\left(I_m-VC^{+}\right),\\ M&=\left\{I_{n_2}+\left(I_{n_2}-C^{+}C\right)V^{\prime}U^{+\prime}U^{\prime}V\left(I_{n_2}-C^{+}C\right)\right\}^{-1} \end{aligned}$

である。

( $\because$ 　 $A^{+}=\begin{bmatrix}X\\Y\end{bmatrix}$ と $n_1\times m$ 行列 $X$ および $n_2\times m$ 行列 $Y$ で分割すると、

$\begin{aligned} AA^{+}&=UX+VY,\\ A^{+}A&=\begin{bmatrix}XU&XV\\YU&YV\end{bmatrix} \end{aligned}$

である。 $\mathrm{Moore}$ - $\mathrm{Penrose}$ 型一般化逆行列の定義から $AA^{+}A=A$ であることに注意すれば、

$\begin{aligned} &AA^{+}A=AA^{+}\begin{bmatrix}U&V\end{bmatrix}=\begin{bmatrix}U&V\end{bmatrix} \Leftrightarrow&\begin{cases} AA^{+}U=U\\ AA^{+}V=V \end{cases} \end{aligned}$

を得る。一番右の連立方程式の1番目の式において両辺を転置し、 $\left(U^{\prime}U\right)^{+}$ を左から掛けることで

$\begin{aligned} &\left(AA^{+}U\right)=U\\ \Leftrightarrow&\left(AA^{+}U\right)^{\prime}=U^{\prime}\\ \Leftrightarrow&U^{\prime}\left(AA^{+}\right)^{\prime}=U^{\prime}\\ \Leftrightarrow&U^{\prime}AA^{+}=U^{\prime}\ (\because\ \left(AA^{+}\right)^{\prime}=AA^{+})\\ \Leftrightarrow&\left(U^{\prime}U\right)^{+}U^{\prime}AA^{+}=\left(U^{\prime}U\right)^{+}U^{\prime}\\ \Leftrightarrow&U^{+}AA^{+}=U^{+}\\ \end{aligned}$

を得る。また $A^{+}=A^{\prime}A^{+\prime}A^{+}$ であるから、

$\begin{aligned} &A^{+}=A^{\prime}A^{+\prime}A^{+}\\ \Leftrightarrow&\begin{bmatrix}X\\Y\end{bmatrix}=\begin{bmatrix}U^{\prime}\\V^{\prime}\end{bmatrix}\begin{bmatrix}X\\Y\end{bmatrix}^{\prime}\begin{bmatrix}X\\Y\end{bmatrix}\\ \Leftrightarrow&\begin{bmatrix}X\\Y\end{bmatrix}=\begin{bmatrix}U^{\prime}\\V^{\prime}\end{bmatrix}\begin{bmatrix}X^{\prime}&Y^{\prime}\end{bmatrix}\begin{bmatrix}X\\Y\end{bmatrix}\\ \Leftrightarrow&\begin{bmatrix}X\\Y\end{bmatrix}=\begin{bmatrix}U^{\prime}X^{\prime}&U^{\prime}Y^{\prime}\\V^{\prime}X^{\prime}&V^{\prime}Y^{\prime}\end{bmatrix}\begin{bmatrix}X\\Y\end{bmatrix}\\ \Leftrightarrow&\begin{bmatrix}X\\Y\end{bmatrix}=\begin{bmatrix}U^{\prime}X^{\prime}&U^{\prime}Y^{\prime}\\V^{\prime}X^{\prime}&V^{\prime}Y^{\prime}\end{bmatrix}\begin{bmatrix}X\\Y\end{bmatrix}\\ \Leftrightarrow&\begin{bmatrix}X\\Y\end{bmatrix}=\begin{bmatrix}U^{\prime}X^{\prime}X+U^{\prime}Y^{\prime}Y\\V^{\prime}X^{\prime}X+V^{\prime}Y^{\prime}Y\end{bmatrix} \end{aligned}$

を得、

$\begin{aligned} X=U^{\prime}X^{\prime}X+U^{\prime}Y^{\prime}Y \end{aligned}$

が成立する。これにより

$\begin{aligned} U^{+}UX&=U^{+}U\left(U^{\prime}X^{\prime}X+U^{\prime}Y^{\prime}Y\right)\\ &=U^{+}UU^{\prime}X^{\prime}X+U^{+}UU^{\prime}Y^{\prime}Y\\ &=U^{+}X^{\prime}X+U^{+}Y^{\prime}Y\\ &=X \end{aligned}$

を得る。したがって前に得た $AA^{+}=UX+VY$ の両辺に左から $U^{+}$ を掛けて

$\begin{aligned} U^{+}AA^{+}&=U^{+}\left(UX+VY\right)\\ &=X+U^{+}VY\\ \therefore X&=U^{+}AA^{+}-U^{+}VY\\ &=U^{+}-U^{+}VY\\ \therefore A^{+}&=\begin{bmatrix}U^{+}-U^{+}VY\\Y\end{bmatrix} \end{aligned}$

　次に、

$\begin{aligned} U^{+}C&=U^{+}\left(I-UU^{+}\right)V\\ &=U^{+}V-U^{+}UU^{+}V\\ &=U^{+}V-U^{+}V\\ &=O \end{aligned}$

が成立するから、

$\begin{aligned} U^{++}U^{+}CC^{\prime}&=U^{++}OC^{\prime}=O,\\ U^{+\prime}U^{+}CC^{+}&=U^{+\prime}OC^{+}=O \end{aligned}$

より $U^{++}U^{+}CC^{\prime}$ および $U^{+\prime}U^{+}CC^{+}$ が対称行列であることが分かる。したがって定理5.10*1より、 $C^{+}U=\left(U^{+}C\right)^{+}=O$ を得る。また

$\begin{aligned} AA^{+}U&=U,\\ AA^{+}V&=V \end{aligned}$

より、

$\begin{aligned} AA^{+}C&=AA^{+}\left(I-UU^{+}\right)V\\ &=AA^{+}V-AA^{+}UU^{+}V\\ &=V-UU^{+}V\\ &=\left(I-UU^{+}\right)V\\ &=C \end{aligned}$

であり、この両辺の転置を取ることで

$\begin{aligned} C^{\prime}&=\left(AA^{+}C\right)^{\prime}\\ &=C^{\prime}\left(AA^{+}\right)^{\prime}\\ &=C^{\prime}AA^{+} \end{aligned}$

を得、この両辺に $\left(C^{\prime}C\right)^{+}$ を左から掛けることで

$\begin{aligned} &\left(C^{\prime}C\right)^{+}C^{\prime}=\left(C^{\prime}C\right)^{+}C^{\prime}AA^{+}\\ \Leftrightarrow&C^{+}=C^{+}AA^{+} \end{aligned}$

を得る。

$\begin{aligned} AA^{+}&=\begin{bmatrix}U&V\end{bmatrix}\begin{bmatrix}U^{+}-U^{+}VY\\Y\end{bmatrix}\\ &=U\left(U^{+}-U^{+}VY\right)+VY\\ &=UU^{+}-UU^{+}VY+VY\\ &=UU^{+}+\left(I-UU^{+}\right)VY\\ &=UU^{+}+CY \end{aligned}$

であり $C^{+}$ を両辺に左から掛けることで

$\begin{aligned} &AA^{+}=UU^{+}+CY\\ \Leftrightarrow&C^{+}AA^{+}=C^{+}\left(UU^{+}+CY\right)\\ \Leftrightarrow&C^{+}=C^{+}UU^{+}+C^{+}CY\\ \Leftrightarrow&C^{+}=C^{+}CY\ (\because C^{+}U=O)\\ \end{aligned}$

であるから、

$\begin{aligned} &C^{+}=C^{+}CY\\ &CC^{+}=CC^{+}CY=CY \end{aligned}$

である。更に

$\begin{aligned} C&=CC^{+}C=CC^{+}\left(V-UU^{+}V\right)\\ &=CC^{+}V-C\left(C^{+}U\right)U^{+}V\\ &=CC^{+}V\ (\because C^{+}U=O) \end{aligned}$

より、 $C\left(C^{+}C\right)=C\left(C^{+}V\right)$ すなわち $C^{+}C=C^{+}V$ が得られる。したがって

$\begin{aligned} CYV=CC^{+}V=CC^{+}C=C \end{aligned}$

であり、

$\begin{aligned} A^{+}A=\begin{bmatrix}XU&XV\\YU&YV\end{bmatrix} \end{aligned}$

より $YV$ は対称行列であるから、転置を取ることで

$\begin{aligned} C^{\prime}=\left(CYV\right)^{\prime}=\left(YV\right)^{\prime}C^{\prime}=YVC^{\prime} \end{aligned}$

を得、更に $\left(CC^{\prime}\right)^{+}$ をこれに右から掛けることで

$\begin{aligned} &YVC^{\prime}\left(CC^{\prime}\right)^{+}=C^{\prime}\left(CC^{\prime}\right)^{+}\\ \Leftrightarrow&YVC^{+}=C^{+} \end{aligned}$

である。

$\begin{aligned} A^{+}AA^{+}&=\begin{bmatrix}U^{+}-U^{+}VY\\Y\end{bmatrix}\begin{bmatrix}U&V\end{bmatrix}\begin{bmatrix}U^{+}-U^{+}VY\\Y\end{bmatrix}\\ &=\begin{bmatrix} U^{+}U-U^{+}VYU&U^{+}V-U^{+}VYV\\ YU&YV \end{bmatrix} \begin{bmatrix}U^{+}-U^{+}VY\\Y\end{bmatrix}\\ &=\begin{bmatrix} \left(U^{+}U-U^{+}VYU\right)\left(U^{+}-U^{+}VY\right)+U^{+}VY-U^{+}VYVY\\ YU\left(U^{+}-U^{+}VY\right)+YVY \end{bmatrix}\\ &=\begin{bmatrix} \left(U^{+}U-U^{+}VYU\right)\left(U^{+}-U^{+}VY\right)+U^{+}VY-U^{+}VYVY\\ YUU^{+}+Y\left(I-UU^{+}\right)VY \end{bmatrix}\\ &=\begin{bmatrix} \left(U^{+}U-U^{+}VYU\right)\left(U^{+}-U^{+}VY\right)+U^{+}VY-U^{+}VYVY\\ YUU^{+}+YCY \end{bmatrix}\\ &=\begin{bmatrix}U^{+}-U^{+}VY\\Y\end{bmatrix} \end{aligned}$

より、 $Y=YUU^{+}+YCY$ を得る。また $CY=CC^{+}$ より、

$\begin{aligned} &YUU^{+}+YCY=Y\\ \Leftrightarrow&YUU^{+}+YCC^{+}=Y \end{aligned}$

である。
　他方で対称性 $\left(A^{+}A\right)^{\prime}=A^{+}A$ から

$\begin{aligned} &\left(A^{+}A\right)^{\prime}=A^{+}A\\ \Leftrightarrow&\left(\begin{bmatrix}U^{+}-U^{+}VY\\Y\end{bmatrix}\begin{bmatrix}U&V\end{bmatrix}\right)^{\prime}=\begin{bmatrix}U^{+}-U^{+}VY\\Y\end{bmatrix}\begin{bmatrix}U&V\end{bmatrix}\\ \Leftrightarrow&\begin{bmatrix} \left(U^{+}U-U^{+}VYU\right)^{\prime}&\left(YU\right)^{\prime}\\ \left(U^{+}V-U^{+}VYV\right)^{\prime}&\left(YV\right)^{\prime} \end{bmatrix}=\begin{bmatrix} U^{+}U-U^{+}VYU&U^{+}V-U^{+}VYV\\ YU&YV \end{bmatrix}\\ \therefore&\begin{cases} \left(U^{+}VYU\right)^{\prime}=U^{+}VYU\\ \left(YU\right)^{\prime}=U^{+}V\left(I-YV\right) \end{cases} \end{aligned}$

を得る。いま $\left(YU\right)^{\prime}=U^{+}V\left(I-YV\right)$ および $C$ の定義から、

$\begin{aligned} \left(YU\right)^{\prime}&=U^{+}V\left(I-YV\right)\\ &=U^{+}V\left(I-Y(UU^{+}V+C)\right)\\ &=U^{+}V-U^{+}VYUU^{+}V-U^{+}VYC \end{aligned}$

である。また $C^{+}U=O,CY=CC^{+}$ より

$\begin{aligned} (I-C^{+}C)YU=YU-C^{+}CYU=YU-C^{+}CC^{+}U=YU \end{aligned}$

であるから、

$\begin{aligned} \left(YU\right)^{\prime}&=\left(YU-C^{+}CYU\right)^{\prime}\\ &=\left(YU\right)^{\prime}\left(I-C^{+}C\right)\\ &=\left(U^{+}V-U^{+}VYUU^{+}V-U^{+}VYC\right)\left(I-C^{+}C\right)\\ &=\left(U^{+}V-U^{+}VYUU^{+}V\right)\left(I-C^{+}C\right) \end{aligned}$

を得る。最後の等式では、

$\begin{aligned} &-U^{+}VYC+U^{+}VYCC^{+}C\\ =&-U^{+}VYC+U^{+}VYC\\ =&O \end{aligned}$

を用いた。最後の等式

$\begin{aligned} \left(YU\right)^{\prime}=\left(U^{+}V-U^{+}VYUU^{+}V\right)\left(I-C^{+}C\right) \end{aligned}$

において両辺の転置を取り、 $\left(U^{+}VYU\right)^{\prime}=U^{+}VYU$ を用いることで、

$\begin{aligned} YU&=\left(U^{+}V-U^{+}VYUU^{+}V\right)\left(I-C^{+}C\right)^{\prime}\\ &=\left(I-C^{+}C\right)^{\prime}V^{\prime}U^{+\prime}-\left(I-C^{+}C\right)^{\prime}\left(U^{+}V\right)^{\prime}\left(U^{+}VYU\right)^{\prime}\\ &=\left(I-C^{+}C\right)^{\prime}V^{\prime}U^{+\prime}-\left(I-C^{+}C\right)^{\prime}V^{\prime}U^{+\prime}\left(U^{+}VYU\right)^{\prime}\\ &=\left(I-C^{+}C\right)^{\prime}V^{\prime}U^{+\prime}-\left(I-C^{+}C\right)^{\prime}V^{\prime}U^{+\prime}U^{+}VYU\ (\because\ \left(U^{+}VYU\right)^{\prime}=U^{+}VYU)\\ \end{aligned}$

で、ここに $YU=(I-C^{+}C)YU$ を代入することで

$\begin{aligned} YU&=\left(I-C^{+}C\right)^{\prime}V^{\prime}U^{+\prime}-\left(I-C^{+}C\right)^{\prime}V^{\prime}U^{+\prime}U^{+}VYU\\ &=\left(I-C^{+}C\right)^{\prime}V^{\prime}U^{+\prime}-\left(I-C^{+}C\right)^{\prime}V^{\prime}U^{+\prime}U^{+}V(I-C^{+}C)YU \end{aligned}$

であり、 $YU$ に関して整理すれば、 $B\equiv I+\left(I-C^{+}C\right)^{\prime}V^{\prime}U^{+\prime}U^{+}V(I-C^{+}C)$ とおいて

$\begin{aligned} &YU+\left(I-C^{+}C\right)^{\prime}V^{\prime}U^{+\prime}U^{+}V(I-C^{+}C)YU=\left(I-C^{+}C\right)^{\prime}V^{\prime}U^{+\prime}\\ \Leftrightarrow&\left(I+\left(I-C^{+}C\right)^{\prime}V^{\prime}U^{+\prime}U^{+}V(I-C^{+}C)\right)YU=\left(I-C^{+}C\right)^{\prime}V^{\prime}U^{+\prime}\\ \Leftrightarrow&BYU=\left(I-C^{+}C\right)V^{\prime}U^{+\prime} \end{aligned}$

を得る。この等式の両辺に $U^{+}(I-VC^{+})$ を右から掛けて、

$\begin{aligned} C^{+}V&=C^{+}C,\\ YVC^{+}&=C^{+},\\ YUU^{+}+YCC^{+}&=Y \end{aligned}$

を用いることで

$\begin{aligned} &BYU=\left(I-C^{+}C\right)V^{\prime}U^{+\prime}\\ \Leftrightarrow&BYUU^{+}(I-VC^{+})=\left(I-C^{+}C\right)V^{\prime}U^{+\prime}U^{+}(I-VC^{+})\\ \Leftrightarrow&B(Y-YCC^{+})(I-VC^{+})=\left(I-C^{+}C\right)V^{\prime}U^{+\prime}U^{+}(I-VC^{+})\\ &(\because\ YUU^{+}=Y-YCC^{+})\\ \Leftrightarrow&BY(I-CC^{+})(I-VC^{+})=\left(I-C^{+}C\right)V^{\prime}U^{+\prime}U^{+}(I-VC^{+})\\ \Leftrightarrow&B(Y-YCC^{+}+YC(C^{+}V)C^{+}-YVC^{+})=\left(I-C^{+}C\right)V^{\prime}U^{+\prime}U^{+}(I-VC^{+})\\ \Leftrightarrow&B(Y-YCC^{+}+YC(C^{+}C)C^{+}-YVC^{+})=\left(I-C^{+}C\right)V^{\prime}U^{+\prime}U^{+}(I-VC^{+})\\ &(\because\ C^{+}V=C^{+}C)\\ \Leftrightarrow&B(Y-YCC^{+}+YCC^{+}CC^{+}-C^{+})=\left(I-C^{+}C\right)V^{\prime}U^{+\prime}U^{+}(I-VC^{+})\\ &(\because\ YVC^{+}=C^{+})\\ \Leftrightarrow&B(Y-YCC^{+}+YCC^{+}-C^{+})=\left(I-C^{+}C\right)V^{\prime}U^{+\prime}U^{+}(I-VC^{+})\\ &(\because\ C^{+}CC^{+}=C^{+})\\ \Leftrightarrow&B(Y-C^{+})=\left(I-C^{+}C\right)V^{\prime}U^{+\prime}U^{+}(I-VC^{+}) \end{aligned}$

を得る。 $B$ は単位行列と非負定値行列の和であるから、正定値でなければならず、したがって正則である。すなわちこの式は以下のように変形できる。

$\begin{aligned} &B(Y-C^{+})=\left(I-C^{+}C\right)V^{\prime}U^{+\prime}U^{+}(I-VC^{+})\\ \Leftrightarrow&Y=C^{+}+B^{-1}\left(I-C^{+}C\right)V^{\prime}U^{+\prime}U^{+}(I-VC^{+})\\ \Leftrightarrow&Y=C^{+}+\left(I-C^{+}C\right)B^{-1}V^{\prime}U^{+\prime}U^{+}(I-VC^{+}) \end{aligned}$

ここで $B$ と $I-C^{+}C$ が可換であるから、 $B^{-1}$ と $I-C^{+}C$ が可換であることを用いた。また定義から

$\begin{aligned} M=B^{-1} \end{aligned}$

に注意すれば、

$\begin{aligned} Y&=C^{+}+\left(I-C^{+}C\right)B^{-1}V^{\prime}U^{+\prime}U^{+}(I-VC^{+})\\ &=C^{+}+\left(I-C^{+}C\right)MV^{\prime}U^{+\prime}U^{+}(I-VC^{+})\\ &C^{+}+W \end{aligned}$

である。これを代入することで

$\begin{aligned} A^{+}&=\begin{bmatrix}U^{+}-U^{+}VY\\C^{+}+W\end{bmatrix} \end{aligned}$

である。　 $\blacksquare$ )

　また $\mathrm{Moore}$ - $\mathrm{Penrose}$ 型一般化逆行列の定義から、特殊な例として以下が成り立つ。

定理5.13　ブロック対角な分割行列の $\mathrm{Moore}$ - $\mathrm{Penrose}$ 型一般化逆行列　 $m\times n$ 行列 $A$ が

$\begin{aligned} A=\begin{bmatrix} A_{11}&O &\cdots&O\\ O &A_{22} &\cdots&O\\ \vdots&\vdots& &\vdots\\ O &O &\cdots&A_{rr}\\ \end{bmatrix} \end{aligned}$

と $m_i\times n_i$ 行列 $A_{ii}$ で書けるとする（ $\displaystyle{\sum_{i=1}^{r}m_i}=m,\ \displaystyle{\sum_{i=1}^{r}n_i}=n,$ $m_i\geq1,n_i\geq1$ ）。
　このとき

$\begin{aligned} A^{+}=\begin{bmatrix} A_{11}^{+}&O &\cdots&O\\ O &A_{22}^{+}&\cdots&O\\ \vdots&\vdots& &\vdots\\ O &O &\cdots&A_{rr}^{+}\\ \end{bmatrix} \end{aligned}$

が成り立つ。

次回

https://power-of-awareness.com/entry/2023/02/23/050000power-of-awareness.com

*1:統計学のための線形代数（037/X） - 「大人の教養・知識・気付き」を伸ばすブログ参照。

前回

5. 一般化逆行列

5.4 分割行列のMoore-Penrose形一般化逆行列

次回

5.　一般化逆行列

5.4　分割行列のMoore-Penrose形一般化逆行列