「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。目下、データ分析・語学に力点を置いています。

MENU

統計学のための線形代数(030/X)

 統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

を基により高等な線形代数を学ぶ。

5. 一般化逆行列

5.1 導入

 矩形行列や非正則正方行列のような逆行列を定義できないような行列を扱う場合でも逆行列に相当するものが必要になる場合がある。その背景には連立方程式の解を求めることがある。
 一般に連立方程式


\begin{aligned}
A\boldsymbol{x}=\boldsymbol{c}
\end{aligned}

と書くことができる。ここでAm\times n定数行列、\boldsymbol{c}m次列ベクトルである。
 このとき解ベクトル\boldsymbol{x}は、m=nかつAが正則であるならば、\boldsymbol{x}=A^{-1}\boldsymbol{c}として得られる。一方でA^{-1}が存在しない場合、どう考えればよいのか。
 統計学では、他に2次形式やカイ二乗分布に関する話題に応用できる。まず平均ベクトルが\boldsymbol{0}で分散共分散行列が\mathit{\Omega}であるような確率ベクトル\boldsymbol{x}を考える。実用上、分散共分散行列が単位行列になるようにこれを変換することもある。たとえばその変換後のベクトルを\boldsymbol{z}とおくとき、\boldsymbol{z}\sim\mathcal{N}(\boldsymbol{0},I)であれば\boldsymbol{z}^{\prime}\boldsymbol{z}カイ二乗分布に従うことが知られている。他方でもしあるm次正方行列T\mathit{\Omega}^{-1}=TT^{\prime}を満たす場合、\boldsymbol{z}=T^{\prime}\boldsymbol{x}がその共分散として単位行列を持つ。さらに\mathit{\Omega}を正定値だとして


\begin{aligned}
\boldsymbol{z}^{\prime}\boldsymbol{z}&=\boldsymbol{x}^{\prime}(T^{\prime})^{\prime}T^{\prime}\boldsymbol{x}\\
&=\boldsymbol{x}^{\prime}(TT^{\prime})\boldsymbol{x}\\
&=\boldsymbol{x}^{\prime}\mathit{\Omega}^{-1}\boldsymbol{x}
\end{aligned}

が成り立つ。
 他方でもし\mathit{\Omega}が階数r\lt mの半正定値であるならば、\boldsymbol{z}=\beta^{\prime}\boldsymbol{x}と定めたとき


\begin{aligned}
\mathit{\mathbb{V}}[\boldsymbol{z}]=\begin{bmatrix}I_r&O\\O&O\end{bmatrix}
\end{aligned}

かつ\boldsymbol{z}^{\prime}\boldsymbol{z}=\boldsymbol{x}^{\prime}A\boldsymbol{x}A=BB^{\prime}が成り立つようなm次正方行列A,Bを見つけることができるだろうか。このA\mathit{\Omega}の一般逆行列であり、\boldsymbol{z}正規分布に従う場合、このときも\boldsymbol{z}^{\prime}\boldsymbol{z}カイ二乗分布に従う。

5.2 Moore-Penrose形一般逆行列

 統計学への応用において有用な一般逆行列の1つが\mathrm{Moore}-\mathrm{Penrose}形一般逆行列である。この一般逆行列正則行列逆行列が持つ4つの性質を満たすように定義されている。


\mathrm{Moore}-\mathrm{Penrose}形一般逆行列 m\times n行列Aにおける\mathrm{Moore}-\mathrm{Penrose}形一般逆行列A^{+}は以下の条件


\begin{aligned}
AA^{+}A&=A\\
A^{+}A^{+}&=A^{+}\\
(AA^{+})^{\prime}&=AA^{+}\\
(A^{+}A)^{\prime}&=A^{+}A
\end{aligned}

を満たすようなn\times m行列である。

 \mathrm{Moore}-\mathrm{Penrose}形一般逆行列が他の一般逆行列とは異なる有用な点は、一意に定義できるという点である。



\mathrm{Moore}-\mathrm{Penrose}形一般逆行列の一意性 任意のm\times n行列A
対して、条件


\begin{aligned}
AA^{+}A&=A\\
A^{+}A^{+}&=A^{+}\\
(AA^{+})^{\prime}&=AA^{+}\\
(A^{+}A)^{\prime}&=A^{+}A
\end{aligned}

をすべて満たすようなn\times m行列A^{+}は一意に存在する。

(\because まずA^{+}が存在することを示す。もしm\times n行列Aが零行列であるならば、A^{+}n\times mの零行列とすれば4条件すべてを満たす。もしA\neq Oならば\mathrm{rank\ }A=r\gt0であり、特異値分解に関する性質から


\begin{aligned}
P^{\prime}P&=QQ^{\prime}=I_r,\\
A&=P\Delta Q^{\prime}
\end{aligned}

を満たすようなm\times r,n\times r行列P,Qが存在する。ここで\Deltaは正の対角成分を持つ対角行列である。
 ここでA^{+}=Q\Delta^{-1}P^{\prime}と定義すれば、


\begin{aligned}
AA^{+}A&=AQ\Delta^{-1}P^{\prime}A\\
&=P\Delta Q^{\prime}Q\Delta^{-1}P^{\prime}P\Delta Q^{\prime}\\
&=P\Delta \Delta^{-1}P^{\prime}P\Delta Q^{\prime}\ (\because\ Q^{\prime}Q=I)\\
&=P\Delta Q^{\prime}\ (\because\ P^{\prime}P=I)\\
&=A
\end{aligned}

であり、


\begin{aligned}
A^{+}AA^{+}&=Q\Delta^{-1}P^{\prime}P\Delta Q^{\prime}Q\Delta^{-1}P^{\prime}\\
&=Q\Delta^{-1}\Delta Q^{\prime}Q\Delta^{-1}P^{\prime}\ (\because\ P^{\prime}P=I)\\
&=QQ^{\prime}Q\Delta^{-1}P^{\prime}\\
&=Q\Delta^{-1}P^{\prime}\ (\because\ Q^{\prime}Q=I)\\
&=A^{+}\\
AA^{+}&=AQ\Delta^{-1}P^{\prime}\\
&=P\Delta Q^{\prime}Q\Delta^{-1}P^{\prime}\\
&=P\Delta \Delta^{-1}P^{\prime}\\
&=PP^{\prime}\\
A^{+}A&=Q\Delta^{-1}P^{\prime}A\\
&=Q\Delta^{-1}P^{\prime}P\Delta Q^{\prime}\\
&=Q\Delta^{-1}\Delta Q^{\prime}\\
&=QQ^{\prime}
\end{aligned}

が成り立つ。以上から、A^{+}の存在は示された。
 次にB,CA^{+}の満たすべき4条件を満たすような任意の2つの行列だとする。このとき


\begin{aligned}
AB&=(AB)^{\prime}=B^{\prime}A^{\prime}\\
&=B^{\prime}(ACA)^{\prime}\\
&=(B^{\prime}A^{\prime})(CA)^{\prime}\\
&=(B^{\prime}A^{\prime})AC\\
&=(AB)^{\prime}AC\\
&=ABAC\\
&=(ABA)C\\
&=AC
\end{aligned}

であり、また
 


\begin{aligned}
BA&=(BA)^{\prime}=A^{\prime}B^{\prime}\\
&=(ACA)^{\prime}B^{\prime}\\
&=(CA)^{\prime}A^{\prime}B^{\prime}\\
&=(CA)^{\prime}(BA)^{\prime}\\
&=CA(BA)^{\prime}\\
&=CABA\\
&=CA
\end{aligned}

が成り立つ。ここでBAB=B,CAC=Cに注意すれば、


\begin{aligned}
B=BAB=(BA)B=(CA)B=C(AB)=CAC=C
\end{aligned}

が得られる。 \blacksquare)

 このように\mathrm{Moore}-\mathrm{Penrose}形一般逆行列特異値分解と関係を持つものであることが分かる。

プライバシーポリシー お問い合わせ