統計学のための線形代数（034/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

前回

power-of-awareness.com

前回
5.　一般化逆行列
- 5.2　Moore-Penrose形一般逆行列の性質
次回

5.　一般化逆行列

5.2　Moore-Penrose形一般逆行列の性質

定理5.6　対称行列の $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形一般逆行列　 $A$ を $m$ 次対称行列とすれば、

　　(a) $A^{+}$ もまた対称行列である。

　　(b) $AA^{+}=A^{+}A$

( $\because$ 　 $A$ が対称行列であると仮定する。このとき $A=A^{\prime}$ であり定理5.3から

$\begin{aligned} \left(A^{\prime}\right)^{+}=\left(A\right)^{+}=\left(A^{+}\right)^{\prime} \end{aligned}$

を得る。
　次に $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形一般逆行列の定義から、 $A$ が対称行列であることと、直上で示したことから

$\begin{aligned} AA^{+}=\left(AA^{+}\right)^{\prime}=A^{+\prime}A^{\prime}==A^{+}A \end{aligned}$

を得る。
　最後に $A$ が冪等行列、すなわち $A^2=A$ であると仮定する。このとき $A$ が $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形一般逆行列の定義を満たすことを示せばよい。まず

$\begin{aligned} AAA=A^2A=AA=A \end{aligned}$

より1つ目と2つ目の条件を満たすことが示され、また

$\begin{aligned} \left(AA\right)^{\prime}=A^{\prime}A^{\prime}=AA \end{aligned}$

で3つ目および4つ目の条件が示されたことで、 $A$ 自身が $A$ の $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形一般逆行列であることが示された。　 $\blacksquare$ ）

　（定理5.2） $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形一般逆行列の一意性を示す過程で、任意の行列の $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形逆行列が、元の行列の特異値分解に含まれる成分の観点から簡便に表現され得る。更に対称行列の場合、元の行列のスペクトル分解の成分、すなわち固有値および固有ベクトルの観点から $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形逆行列を表現できる。これを考えるに先立ち、対角行列の $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形逆行列を考える。

対角行列の $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形逆行列　対角行列 $\Lambda=\mathrm{diag}\left(\lambda_1,\cdots,\lambda_m\right)$ に対して、その $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形逆行列 $\Lambda^{+}$ は

$\begin{aligned} \phi_i=\begin{cases} \lambda_i^{-1},&\lambda_i\neq0,\\ 0,&\lambda_i=0 \end{cases} \end{aligned}$

として $\Lambda^{+}=\mathrm{diag}\left(\phi_1,\cdots,\phi_m\right)$ である。

( $\because$ 　 $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形逆行列の定義を満たすことを調べればよい。

$\begin{aligned} \Lambda\Lambda^{+}\Lambda&=\mathrm{diag}\left(\lambda_1,\cdots,\lambda_m\right)\mathrm{diag}\left(\phi_1,\cdots,\phi_m\right)\mathrm{diag}\left(\lambda_1,\cdots,\lambda_m\right)\\ &=\begin{bmatrix}\lambda_1\phi_1&0&\cdots&0\\0&\lambda_2\phi_2&\cdots&0\\\vdots&&\ddots&\vdots\\0&0&\cdots&\lambda_m\phi_m\end{bmatrix}\mathrm{diag}\left(\lambda_1,\cdots,\lambda_m\right)\\ &=\begin{bmatrix}\lambda_1\phi_1\lambda_1&0&\cdots&0\\0&\lambda_2\phi_2\lambda_2&\cdots&0\\\vdots&&\ddots&\vdots\\0&0&\cdots&\lambda_m\phi_m\lambda_m\end{bmatrix} \end{aligned}$

であり、 $\lambda_i\phi_i\lambda_i=\begin{cases}\lambda_i,&\lambda_i\neq0\\0=\lambda_i,&\lambda_i=0\end{cases}$ であるから、 $\Lambda\Lambda^{+}\Lambda=\Lambda$ が成り立つ。
　次に

$\begin{aligned} \Lambda^{+}\Lambda\Lambda^{+}&=\mathrm{diag}\left(\phi_1,\cdots,\phi_m\right)\mathrm{diag}\left(\lambda_1,\cdots,\lambda_m\right)\mathrm{diag}\left(\phi_1,\cdots,\phi_m\right)\\ &=\begin{bmatrix}\phi_1\lambda_1&0&\cdots&0\\0&\phi_2\lambda_2&\cdots&0\\\vdots&&\ddots&\vdots\\0&0&\cdots&\phi_m\lambda_m\end{bmatrix}\mathrm{diag}\left(\phi_1,\cdots,\phi_m\right)\\ &=\begin{bmatrix}\phi_1\lambda_1\phi_1&0&\cdots&0\\0&\phi_2\lambda_2\phi_2&\cdots&0\\\vdots&&\ddots&\vdots\\0&0&\cdots&\phi_m\lambda_m\phi_m\end{bmatrix} \end{aligned}$

であり、 $\phi_i\lambda_i\phi_i=\begin{cases}\phi_i,&\phi\neq0\\0=\phi,&\phi=0\end{cases}$ であるから、 $\Lambda^{+}\Lambda\Lambda^{+}=\Lambda^{+}$ が成り立つ。
　また対角行列が対称行列であること、 $\Lambda\Lambda^{+}$ および $\Lambda^{+}\Lambda$ が定義より対角行列であることに注意すれば、

$\begin{aligned} \left(\Lambda\Lambda^{+}\right)^{\prime}&=\Lambda\Lambda^{+}\\ \left(\Lambda^{+}\Lambda\right)^{\prime}&=\Lambda^{+}\Lambda \end{aligned}$

が得られることで、題意は示された。　 $\blacksquare$

定理5.7　固有値と $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形逆行列　　 $\boldsymbol{x}_1,\cdots,\boldsymbol{x}_m$ を $m$ 次対称行列の固有値 $\lambda_1,\cdots,\lambda_m$ に対応する正規直交固有ベクトルの集合だとする。このとき $\Lambda=\mathrm{diag}\left(\lambda_1,\cdots,\lambda_m\right),$ $X=\left(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_m\right)$ と定義すると

$\begin{aligned} A^{+}=X\Lambda^{+}X^{\prime} \end{aligned}$

である。

( $\because$ 　 $r=\mathrm{rank}(A)$ とし、 $\lambda_i$ を値の大きい順に定義したものとする。このとき

$\begin{aligned} \lambda_{r+1}=\cdots=\lambda_{m}=0 \end{aligned}$

である。 $X_1$ が $m\times r$ 行列になるように $X=\begin{bmatrix}X_1&X_2\end{bmatrix}$ と分割し、 $\Lambda=\mathrm{diag}\left(\Lambda_1,O\right)$ のようにブロック対角形式に分割する。ここで $\Lambda_1=\mathrm{diag}\left(\lambda_1,\cdots,\lambda_m\right)$ とおいた。
　このとき $A$ のスペクトル分解は、

$\begin{aligned} A=\begin{bmatrix}X_1&X_2\end{bmatrix}\begin{bmatrix}\Lambda_1&O\\O&O\end{bmatrix}\begin{bmatrix}X_1^{\prime}\\X_2^{\prime}\end{bmatrix}=X_1\Lambda X_1^{\prime} \end{aligned}$

で与えられる。同様に $A^{+}$ を上記のように表現することで $A^{+}=X_1\Lambda_1^{-1}X_1^{\prime}$ を得る。これらから $X_1^{\prime}X_1=I$ であるから、

$\begin{aligned} AA^{+}&=X_1\Lambda_1X_1^{\prime}X_1\Lambda_1^{\prime}X_1^{\prime}\\ &=X_1\Lambda_1\Lambda_1^{\prime}X_1^{\prime}=X_1X_1^{\prime} \end{aligned}$

が得られる。これは明らかに対称であるから、 $(AA^{+})^{\prime}=AA^{+}$ が成り立つ。同様に $A^{+}A=X_1X_1^{\prime}$ であり、 $(A^{+}A)^{\prime}=A^{+}A$ も成り立つ。
　さらに

$\begin{aligned} AA^{+}A&=(AA^{+})A=X_1X_1^{\prime}X_1\Lambda_1 X_1^{\prime}\\ &=X_1\Lambda_1X_1^{\prime}=A\\ A^{+}AA^{+}&=A^{+}(AA^{\prime})=X_1\Lambda_1^{-1}X_1^{\prime}X_1X_1^{\prime}\\ &=X_1\Lambda_1^{-1}X_1^{\prime}=A^{+} \end{aligned}$

が成り立つ。以上の4つは $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形逆行列の定義に他ならない。　 $\blacksquare$ )

次回

power-of-awareness.com

前回

5. 一般化逆行列

5.2 Moore-Penrose形一般逆行列の性質

次回

5.　一般化逆行列

5.2　Moore-Penrose形一般逆行列の性質