「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。目下、データ分析・語学に力点を置いています。今月(2022年10月)からは多忙につき、日々の投稿数を減らします。

MENU

統計学のための線形代数(035/X)

 統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

を基により高等な線形代数を学ぶ。

5. 一般化逆行列

5.2 Moore-Penrose形一般逆行列の性質

5.2.1 対称行列のMoore-Penrose形一般逆行列の例

 対称行列


\begin{aligned}
A=\begin{bmatrix}
32&16&16\\
16&14&2\\
16&2&14
\end{bmatrix}
\end{aligned}

を考える。特性方程式\left|A-\lambda I\right|=0を解くと


\begin{aligned}
&\begin{vmatrix}
32-\lambda&16&16\\
16&14-\lambda&2\\
16&2&14-\lambda
\end{vmatrix}=0\\
\Leftrightarrow&(32-\lambda)\begin{vmatrix}14-\lambda&2\\2&14-\lambda\end{vmatrix}-
16\begin{vmatrix}16&16\\2&14-\lambda\end{vmatrix}+
16\begin{vmatrix}16&16\\14-\lambda&2\end{vmatrix}=0\\
\Leftrightarrow&(32-\lambda)(16-\lambda)(12-\lambda)-16\left\{16(14-\lambda)-32\right\}+16\left\{32-16(14-\lambda)\right\}=0\\
\Leftrightarrow&\lambda(\lambda-12)(\lambda-48)=0\\
\Leftrightarrow&\lambda=12,48\ (\lambda\neq0)
\end{aligned}

を得る。\lambda=12,48に対応する固有ベクトルはそれぞれ


\begin{aligned}
\begin{bmatrix}
0\\-\displaystyle{\frac{1}{\sqrt{2}}}\\
\displaystyle{\frac{1}{\sqrt{2}}}
\end{bmatrix},\ 
\begin{bmatrix}
\displaystyle{\frac{2}{\sqrt{6}}}\\
\displaystyle{\frac{1}{\sqrt{6}}}\\
\displaystyle{\frac{1}{\sqrt{6}}}
\end{bmatrix}
\end{aligned}

であるから、


\begin{aligned}
A=\begin{bmatrix}
\displaystyle{\frac{2}{\sqrt{6}}}&0\\
\displaystyle{\frac{1}{\sqrt{6}}}&-\displaystyle{\frac{1}{\sqrt{2}}}\\
\displaystyle{\frac{1}{\sqrt{6}}}&\displaystyle{\frac{1}{\sqrt{2}}}
\end{bmatrix}
\begin{bmatrix}
48&0\\0&12
\end{bmatrix}
\begin{bmatrix}
\displaystyle{\frac{2}{\sqrt{6}}}&\displaystyle{\frac{1}{\sqrt{6}}}&\displaystyle{\frac{1}{\sqrt{6}}}\\
0&-\displaystyle{\frac{1}{\sqrt{2}}}&\displaystyle{\frac{1}{\sqrt{2}}}
\end{bmatrix}
\end{aligned}

である。したがって定理5.7から


\begin{aligned}
A^{+}&=\begin{bmatrix}
\displaystyle{\frac{2}{\sqrt{6}}}&0\\
\displaystyle{\frac{1}{\sqrt{6}}}&-\displaystyle{\frac{1}{\sqrt{2}}}\\
\displaystyle{\frac{1}{\sqrt{6}}}&\displaystyle{\frac{1}{\sqrt{2}}}
\end{bmatrix}
\begin{bmatrix}
\displaystyle{\frac{1}{48}}&0\\0&\displaystyle{\frac{1}{12}}
\end{bmatrix}
\begin{bmatrix}
\displaystyle{\frac{2}{\sqrt{6}}}&\displaystyle{\frac{1}{\sqrt{6}}}&\displaystyle{\frac{1}{\sqrt{6}}}\\
0&-\displaystyle{\frac{1}{\sqrt{2}}}&\displaystyle{\frac{1}{\sqrt{2}}}
\end{bmatrix}\\
&=\displaystyle{\frac{1}{488}}\begin{bmatrix}4&2&2\\2&13&-11\\2&-11&13\end{bmatrix}
\end{aligned}

5.2.2 射影行列とMoore-Penrose形一般逆行列

 m\times r行列Xの列がベクトル空間Sにおける基底を形成しているならば、Sの射影行列P_{R(X)}は、


\begin{aligned}
P_{R(X)}=X\left(X^{\prime}X\right)^{-1}X^{\prime}
\end{aligned}

で与えられる。このとき定理5.3 X^{+}=\left(X^{\prime}X\right)^{-1}X^{\prime}より


\begin{aligned}
P_{R(X)}=X\left(X^{\prime}X\right)^{-1}X^{\prime}=XX^{\prime}
\end{aligned}

で得られる。

例:2次形式と\mathrm{Moore}-\mathrm{Penrose}逆行列
 \mathrm{Moore}-\mathrm{Penrose}逆行列は、正規確率ベクトルの2次形式を構成する際に有用であり、その2次形式は\chi^2分布に従う。
 標本統計量\boldsymbol{t}\sim\mathcal{N}_m\left(\boldsymbol{\theta},\mathit{\Omega}\right)が得られたときに、m次母数ベクトル\boldsymbol{\theta}に対して仮説検定


\begin{aligned}
H_0:\boldsymbol{\theta}=\boldsymbol{0}\\
H_1:\boldsymbol{\theta}\neq\boldsymbol{0}
\end{aligned}

を考える。
 もし\mathit{\Omega}が正定値ならば、統計量


\begin{aligned}
v_1=\boldsymbol{t}^{\prime}\mathit{\Omega}^{-1}\boldsymbol{t}
\end{aligned}

を考えればよい。
 いまTTT^{\prime}=\mathit{\Omega}を満たす任意のm次正方行列であり、\boldsymbol{u}=T^{-1}\boldsymbol{t}と定義すると、


\begin{aligned}
\mathbb{\mathit{E}}\left[\boldsymbol{u}\right]&=T^{-1}\boldsymbol{\theta},\\
\mathbb{\mathit{V}}\left[\boldsymbol{u}\right]&=T^{-1}\mathbb{\mathit{V}}\left[\boldsymbol{t}\right]T^{-1\prime}=T^{-1}\left(TT^{\prime}\right)T^{-1\prime}=I
\end{aligned}

であるから、\boldsymbol{u}\sim \mathcal{N}\left(T^{-1}\boldsymbol{\theta},I\right)である。したがってu_1,\cdots,u_m(\boldsymbol{u}=(u_1,\cdots,u_m) )はそれぞれ独立かつ同一に正規分布に従うから、


\begin{aligned}
v_1=\boldsymbol{t}^{\prime}\mathit{\Omega}\boldsymbol{t}=\boldsymbol{u}^{\prime}\boldsymbol{u}=\displaystyle{\sum_{i=1}^{m}u_i^2}
\end{aligned}

は自由度m\chi^2分布に従う。この分布は\boldsymbol{\theta}=\boldsymbol{0}ならば中心\chi^2分布に、宋でなければ非心\chi^2分布に従う。したがってv_1が充分に大きければ帰無仮説を棄却する。
 他方で\mathit{\Omega}が半正定値である場合には、\mathit{\Omega}が半正定値である場合、\mathrm{Moore}-\mathrm{Penrose}逆行列を用いることで上述の議論を一般化できる。この場合、もし\mathrm{rank}(\mathcal{\Omega})=rであり、また\mathit{\Omega}=X_1\Lambda X_1^{\prime},\mathit{\Omega}^{+}=X_1\Lambda_1^{-1}X_1^{\prime}であるから、\boldsymbol{w}=\mathit{\Lambda}_1^{-\frac{1}{2}}X_1^{\prime}\boldsymbol{t}


\begin{aligned}
\mathbb{\mathit{V}}\left[\boldsymbol{w}\right]&=\mathit{\Lambda}_1^{-\frac{1}{2}}X_1^{\prime}\mathbb{\mathit{V}}\left[\boldsymbol{t}\right]X_1\mathit{\Lambda}_1^{-\frac{1}{2}}\\
&=\mathit{\Lambda}_1^{-\frac{1}{2}}X_1^{\prime}\left(X_1\mathit{\Lambda}_1X_1^{\prime}\right)X_1\mathit{\Lambda}_1^{-\frac{1}{2}}\\
&=I
\end{aligned}

であるため、\boldsymbol{w}=\mathit{\Lambda}_1^{-\frac{1}{2}}X_1^{\prime}\boldsymbol{t}\sim\mathcal{N}\left(\mathit{\Lambda}_1^{\frac{1}{2}}X_1^{\prime}\boldsymbol{\theta},I\right)である。したがってw_i,\ \boldsymbol{w}=(w_1,\cdots,w_r)は独立かつ同一に正規分布に従うから


\begin{aligned}
v_2=\boldsymbol{t}^{\prime}\mathit{\Omega}^{+}\boldsymbol{t}=\boldsymbol{w}^{\prime}\boldsymbol{w}=\displaystyle{\sum_{i=1}^{r}w_i^2}
\end{aligned}

\chi^2分布に従い、\mathit{\Lambda}_1^{-\frac{1}{2}}X_1^{\prime}\boldsymbol{\theta}=\boldsymbol{0}ならば、これは自由度rの中心\chi^2分布である。

プライバシーポリシー お問い合わせ