統計学のための線形代数（035/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

前回

power-of-awareness.com

前回
5.　一般化逆行列
- 5.2　Moore-Penrose形一般逆行列の性質
  - 5.2.1　対称行列のMoore-Penrose形一般逆行列の例
  - 5.2.2　射影行列とMoore-Penrose形一般逆行列
次回

5.　一般化逆行列

5.2　Moore-Penrose形一般逆行列の性質

5.2.1　対称行列のMoore-Penrose形一般逆行列の例

　対称行列
$\begin{aligned} A=\begin{bmatrix} 32&16&16\\ 16&14&2\\ 16&2&14 \end{bmatrix} \end{aligned}$
を考える。特性方程式 $\left|A-\lambda I\right|=0$ を解くと
$\begin{aligned} &\begin{vmatrix} 32-\lambda&16&16\\ 16&14-\lambda&2\\ 16&2&14-\lambda \end{vmatrix}=0\\ \Leftrightarrow&(32-\lambda)\begin{vmatrix}14-\lambda&2\\2&14-\lambda\end{vmatrix}- 16\begin{vmatrix}16&16\\2&14-\lambda\end{vmatrix}+ 16\begin{vmatrix}16&16\\14-\lambda&2\end{vmatrix}=0\\ \Leftrightarrow&(32-\lambda)(16-\lambda)(12-\lambda)-16\left\{16(14-\lambda)-32\right\}+16\left\{32-16(14-\lambda)\right\}=0\\ \Leftrightarrow&\lambda(\lambda-12)(\lambda-48)=0\\ \Leftrightarrow&\lambda=12,48\ (\lambda\neq0) \end{aligned}$
を得る。 $\lambda=12,48$ に対応する固有ベクトルはそれぞれ
$\begin{aligned} \begin{bmatrix} 0\\-\displaystyle{\frac{1}{\sqrt{2}}}\\ \displaystyle{\frac{1}{\sqrt{2}}} \end{bmatrix},\ \begin{bmatrix} \displaystyle{\frac{2}{\sqrt{6}}}\\ \displaystyle{\frac{1}{\sqrt{6}}}\\ \displaystyle{\frac{1}{\sqrt{6}}} \end{bmatrix} \end{aligned}$
であるから、
$\begin{aligned} A=\begin{bmatrix} \displaystyle{\frac{2}{\sqrt{6}}}&0\\ \displaystyle{\frac{1}{\sqrt{6}}}&-\displaystyle{\frac{1}{\sqrt{2}}}\\ \displaystyle{\frac{1}{\sqrt{6}}}&\displaystyle{\frac{1}{\sqrt{2}}} \end{bmatrix} \begin{bmatrix} 48&0\\0&12 \end{bmatrix} \begin{bmatrix} \displaystyle{\frac{2}{\sqrt{6}}}&\displaystyle{\frac{1}{\sqrt{6}}}&\displaystyle{\frac{1}{\sqrt{6}}}\\ 0&-\displaystyle{\frac{1}{\sqrt{2}}}&\displaystyle{\frac{1}{\sqrt{2}}} \end{bmatrix} \end{aligned}$
である。したがって定理5.7から
$\begin{aligned} A^{+}&=\begin{bmatrix} \displaystyle{\frac{2}{\sqrt{6}}}&0\\ \displaystyle{\frac{1}{\sqrt{6}}}&-\displaystyle{\frac{1}{\sqrt{2}}}\\ \displaystyle{\frac{1}{\sqrt{6}}}&\displaystyle{\frac{1}{\sqrt{2}}} \end{bmatrix} \begin{bmatrix} \displaystyle{\frac{1}{48}}&0\\0&\displaystyle{\frac{1}{12}} \end{bmatrix} \begin{bmatrix} \displaystyle{\frac{2}{\sqrt{6}}}&\displaystyle{\frac{1}{\sqrt{6}}}&\displaystyle{\frac{1}{\sqrt{6}}}\\ 0&-\displaystyle{\frac{1}{\sqrt{2}}}&\displaystyle{\frac{1}{\sqrt{2}}} \end{bmatrix}\\ &=\displaystyle{\frac{1}{488}}\begin{bmatrix}4&2&2\\2&13&-11\\2&-11&13\end{bmatrix} \end{aligned}$

5.2.2　射影行列とMoore-Penrose形一般逆行列

　 $m\times r$ 行列 $X$ の列がベクトル空間 $S$ における基底を形成しているならば、 $S$ の射影行列 $P_{R(X)}$ は、

$\begin{aligned} P_{R(X)}=X\left(X^{\prime}X\right)^{-1}X^{\prime} \end{aligned}$

で与えられる。このとき定理5.3 $X^{+}=\left(X^{\prime}X\right)^{-1}X^{\prime}$ より

$\begin{aligned} P_{R(X)}=X\left(X^{\prime}X\right)^{-1}X^{\prime}=XX^{\prime} \end{aligned}$

で得られる。

例：2次形式と $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形逆行列
　 $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形逆行列は、正規確率ベクトルの2次形式を構成する際に有用であり、その2次形式は $\chi^2$ 分布に従う。
　標本統計量 $\boldsymbol{t}\sim\mathcal{N}_m\left(\boldsymbol{\theta},\mathit{\Omega}\right)$ が得られたときに、 $m$ 次母数ベクトル $\boldsymbol{\theta}$ に対して仮説検定
$\begin{aligned} H_0:\boldsymbol{\theta}=\boldsymbol{0}\\ H_1:\boldsymbol{\theta}\neq\boldsymbol{0} \end{aligned}$
を考える。
　もし $\mathit{\Omega}$ が正定値ならば、統計量
$\begin{aligned} v_1=\boldsymbol{t}^{\prime}\mathit{\Omega}^{-1}\boldsymbol{t} \end{aligned}$
を考えればよい。
　いま $T$ が $TT^{\prime}=\mathit{\Omega}$ を満たす任意の $m$ 次正方行列であり、 $\boldsymbol{u}=T^{-1}\boldsymbol{t}$ と定義すると、
$\begin{aligned} \mathbb{\mathit{E}}\left[\boldsymbol{u}\right]&=T^{-1}\boldsymbol{\theta},\\ \mathbb{\mathit{V}}\left[\boldsymbol{u}\right]&=T^{-1}\mathbb{\mathit{V}}\left[\boldsymbol{t}\right]T^{-1\prime}=T^{-1}\left(TT^{\prime}\right)T^{-1\prime}=I \end{aligned}$
であるから、 $\boldsymbol{u}\sim \mathcal{N}\left(T^{-1}\boldsymbol{\theta},I\right)$ である。したがって $u_1,\cdots,u_m(\boldsymbol{u}=(u_1,\cdots,u_m) )$ はそれぞれ独立かつ同一に正規分布に従うから、
$\begin{aligned} v_1=\boldsymbol{t}^{\prime}\mathit{\Omega}\boldsymbol{t}=\boldsymbol{u}^{\prime}\boldsymbol{u}=\displaystyle{\sum_{i=1}^{m}u_i^2} \end{aligned}$
は自由度 $m$ の $\chi^2$ 分布に従う。この分布は $\boldsymbol{\theta}=\boldsymbol{0}$ ならば中心 $\chi^2$ 分布に、宋でなければ非心 $\chi^2$ 分布に従う。したがって $v_1$ が充分に大きければ帰無仮説を棄却する。
　他方で $\mathit{\Omega}$ が半正定値である場合には、 $\mathit{\Omega}$ が半正定値である場合、 $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形逆行列を用いることで上述の議論を一般化できる。この場合、もし $\mathrm{rank}(\mathcal{\Omega})=r$ であり、また $\mathit{\Omega}=X_1\Lambda X_1^{\prime},$ $\mathit{\Omega}^{+}=X_1\Lambda_1^{-1}X_1^{\prime}$ であるから、 $\boldsymbol{w}=\mathit{\Lambda}_1^{-\frac{1}{2}}X_1^{\prime}\boldsymbol{t}$ は
$\begin{aligned} \mathbb{\mathit{V}}\left[\boldsymbol{w}\right]&=\mathit{\Lambda}_1^{-\frac{1}{2}}X_1^{\prime}\mathbb{\mathit{V}}\left[\boldsymbol{t}\right]X_1\mathit{\Lambda}_1^{-\frac{1}{2}}\\ &=\mathit{\Lambda}_1^{-\frac{1}{2}}X_1^{\prime}\left(X_1\mathit{\Lambda}_1X_1^{\prime}\right)X_1\mathit{\Lambda}_1^{-\frac{1}{2}}\\ &=I \end{aligned}$
であるため、 $\boldsymbol{w}=\mathit{\Lambda}_1^{-\frac{1}{2}}X_1^{\prime}\boldsymbol{t}\sim\mathcal{N}\left(\mathit{\Lambda}_1^{\frac{1}{2}}X_1^{\prime}\boldsymbol{\theta},I\right)$ である。したがって $w_i,\ \boldsymbol{w}=(w_1,\cdots,w_r)$ は独立かつ同一に正規分布に従うから
$\begin{aligned} v_2=\boldsymbol{t}^{\prime}\mathit{\Omega}^{+}\boldsymbol{t}=\boldsymbol{w}^{\prime}\boldsymbol{w}=\displaystyle{\sum_{i=1}^{r}w_i^2} \end{aligned}$
は $\chi^2$ 分布に従い、 $\mathit{\Lambda}_1^{-\frac{1}{2}}X_1^{\prime}\boldsymbol{\theta}=\boldsymbol{0}$ ならば、これは自由度 $r$ の中心 $\chi^2$ 分布である。