統計学のための線形代数（030/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

前回

power-of-awareness.com

前回
5.　一般化逆行列
- 5.1 導入
- 5.2　Moore-Penrose形一般逆行列
次回

5.　一般化逆行列

5.1 導入

　矩形行列や非正則正方行列のような逆行列を定義できないような行列を扱う場合でも逆行列に相当するものが必要になる場合がある。その背景には連立方程式の解を求めることがある。
　一般に連立方程式は

$\begin{aligned} A\boldsymbol{x}=\boldsymbol{c} \end{aligned}$

と書くことができる。ここで $A$ は $m\times n$ 定数行列、 $\boldsymbol{c}$ は $m$ 次列ベクトルである。
　このとき解ベクトル $\boldsymbol{x}$ は、 $m=n$ かつ $A$ が正則であるならば、 $\boldsymbol{x}=A^{-1}\boldsymbol{c}$ として得られる。一方で $A^{-1}$ が存在しない場合、どう考えればよいのか。
　統計学では、他に2次形式やカイ二乗分布に関する話題に応用できる。まず平均ベクトルが $\boldsymbol{0}$ で分散共分散行列が $\mathit{\Omega}$ であるような確率ベクトル $\boldsymbol{x}$ を考える。実用上、分散共分散行列が単位行列になるようにこれを変換することもある。たとえばその変換後のベクトルを $\boldsymbol{z}$ とおくとき、 $\boldsymbol{z}\sim\mathcal{N}(\boldsymbol{0},I)$ であれば $\boldsymbol{z}^{\prime}\boldsymbol{z}$ がカイ二乗分布に従うことが知られている。他方でもしある $m$ 次正方行列 $T$ が $\mathit{\Omega}^{-1}=TT^{\prime}$ を満たす場合、 $\boldsymbol{z}=T^{\prime}\boldsymbol{x}$ がその共分散として単位行列を持つ。さらに $\mathit{\Omega}$ を正定値だとして

$\begin{aligned} \boldsymbol{z}^{\prime}\boldsymbol{z}&=\boldsymbol{x}^{\prime}(T^{\prime})^{\prime}T^{\prime}\boldsymbol{x}\\ &=\boldsymbol{x}^{\prime}(TT^{\prime})\boldsymbol{x}\\ &=\boldsymbol{x}^{\prime}\mathit{\Omega}^{-1}\boldsymbol{x} \end{aligned}$

が成り立つ。
　他方でもし $\mathit{\Omega}$ が階数 $r\lt m$ の半正定値であるならば、 $\boldsymbol{z}=\beta^{\prime}\boldsymbol{x}$ と定めたとき

$\begin{aligned} \mathit{\mathbb{V}}[\boldsymbol{z}]=\begin{bmatrix}I_r&O\\O&O\end{bmatrix} \end{aligned}$

かつ $\boldsymbol{z}^{\prime}\boldsymbol{z}=\boldsymbol{x}^{\prime}A\boldsymbol{x}$ で $A=BB^{\prime}$ が成り立つような $m$ 次正方行列 $A,B$ を見つけることができるだろうか。この $A$ が $\mathit{\Omega}$ の一般逆行列であり、 $\boldsymbol{z}$ が正規分布に従う場合、このときも $\boldsymbol{z}^{\prime}\boldsymbol{z}$ はカイ二乗分布に従う。

5.2　Moore-Penrose形一般逆行列

　統計学への応用において有用な一般逆行列の1つが $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形一般逆行列である。この一般逆行列は正則行列の逆行列が持つ4つの性質を満たすように定義されている。

定義5.1　 $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形一般逆行列　 $m\times n$ 行列 $A$ における $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形一般逆行列 $A^{+}$ は以下の条件

$\begin{aligned} AA^{+}A&=A\\ A^{+}A^{+}&=A^{+}\\ (AA^{+})^{\prime}&=AA^{+}\\ (A^{+}A)^{\prime}&=A^{+}A \end{aligned}$

を満たすような $n\times m$ 行列である。

　 $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形一般逆行列が他の一般逆行列とは異なる有用な点は、一意に定義できるという点である。

定理5.2　 $\mathrm{Moore}$ - $\mathrm{Penrose}$ 形一般逆行列の一意性　任意の $m\times n$ 行列 $A$ に
対して、条件

$\begin{aligned} AA^{+}A&=A\\ A^{+}A^{+}&=A^{+}\\ (AA^{+})^{\prime}&=AA^{+}\\ (A^{+}A)^{\prime}&=A^{+}A \end{aligned}$

をすべて満たすような $n\times m$ 行列 $A^{+}$ は一意に存在する。

( $\because$ 　まず $A^{+}$ が存在することを示す。もし $m\times n$ 行列 $A$ が零行列であるならば、 $A^{+}$ は $n\times m$ の零行列とすれば4条件すべてを満たす。もし $A\neq O$ ならば $\mathrm{rank\ }A=r\gt0$ であり、特異値分解に関する性質から

$\begin{aligned} P^{\prime}P&=QQ^{\prime}=I_r,\\ A&=P\Delta Q^{\prime} \end{aligned}$

を満たすような $m\times r,$ $n\times r$ 行列 $P,Q$ が存在する。ここで $\Delta$ は正の対角成分を持つ対角行列である。
　ここで $A^{+}=Q\Delta^{-1}P^{\prime}$ と定義すれば、

$\begin{aligned} AA^{+}A&=AQ\Delta^{-1}P^{\prime}A\\ &=P\Delta Q^{\prime}Q\Delta^{-1}P^{\prime}P\Delta Q^{\prime}\\ &=P\Delta \Delta^{-1}P^{\prime}P\Delta Q^{\prime}\ (\because\ Q^{\prime}Q=I)\\ &=P\Delta Q^{\prime}\ (\because\ P^{\prime}P=I)\\ &=A \end{aligned}$

であり、

$\begin{aligned} A^{+}AA^{+}&=Q\Delta^{-1}P^{\prime}P\Delta Q^{\prime}Q\Delta^{-1}P^{\prime}\\ &=Q\Delta^{-1}\Delta Q^{\prime}Q\Delta^{-1}P^{\prime}\ (\because\ P^{\prime}P=I)\\ &=QQ^{\prime}Q\Delta^{-1}P^{\prime}\\ &=Q\Delta^{-1}P^{\prime}\ (\because\ Q^{\prime}Q=I)\\ &=A^{+}\\ AA^{+}&=AQ\Delta^{-1}P^{\prime}\\ &=P\Delta Q^{\prime}Q\Delta^{-1}P^{\prime}\\ &=P\Delta \Delta^{-1}P^{\prime}\\ &=PP^{\prime}\\ A^{+}A&=Q\Delta^{-1}P^{\prime}A\\ &=Q\Delta^{-1}P^{\prime}P\Delta Q^{\prime}\\ &=Q\Delta^{-1}\Delta Q^{\prime}\\ &=QQ^{\prime} \end{aligned}$

が成り立つ。以上から、 $A^{+}$ の存在は示された。
　次に $B,C$ を $A^{+}$ の満たすべき4条件を満たすような任意の2つの行列だとする。このとき

$\begin{aligned} AB&=(AB)^{\prime}=B^{\prime}A^{\prime}\\ &=B^{\prime}(ACA)^{\prime}\\ &=(B^{\prime}A^{\prime})(CA)^{\prime}\\ &=(B^{\prime}A^{\prime})AC\\ &=(AB)^{\prime}AC\\ &=ABAC\\ &=(ABA)C\\ &=AC \end{aligned}$

であり、また
　

$\begin{aligned} BA&=(BA)^{\prime}=A^{\prime}B^{\prime}\\ &=(ACA)^{\prime}B^{\prime}\\ &=(CA)^{\prime}A^{\prime}B^{\prime}\\ &=(CA)^{\prime}(BA)^{\prime}\\ &=CA(BA)^{\prime}\\ &=CABA\\ &=CA \end{aligned}$