統計学のための線形代数（016/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

前回

power-of-awareness.com

前回
4.　行列の因数分解と行列ノルム
- 4.1　特異値分解
次回

4.　行列の因数分解と行列ノルム

　特別な構造や標準形を持った別の行列の積の形として与えられた行列 $A$ を表現する有用な方法を見ていく。

4.1　特異値分解

　任意のサイズの行列に扱うことができる点で最も有用と言える特異値分解を扱う。

特異値分解　もし $A$ が階数が $r\gt0$ の $m\times n$ 行列であるならば、 $A=PDQ^{\prime},\ D=P^{\prime}AQ$ と表せるような $m\times m,n\times n$ 直交行列 $P,Q$ がそれぞれ存在する。ここで $m\times n$ 行列 $D$ は $\Delta$ を正の対角要素をもつ $r$ 次対角行列かつ $\Delta^2$ の対角要素は $A^{\prime}A$ と $AA^{\prime}$ の正の固有値で、

$\begin{aligned} D&=\begin{cases} \Delta,&r=m=n,\\ \begin{bmatrix}\Delta\ \ (0)\end{bmatrix},&r=m\lt n,\\ \begin{bmatrix}\Delta\\(0)\end{bmatrix},&r=n\lt m,\\ \begin{bmatrix}\Delta&(0)\\(0)&(0)\end{bmatrix},&r\lt m,r\lt n \end{cases} \end{aligned}$

と表される。

( $\because$ 　より一般的な $r\lt m,r\lt n$ の場合を示す。それ以外はこの証明において表記のみを変えればよい。 $\Delta^2$ を $r$ 次対角行列だとする(このとき既に示したとおり、その対角要素は $AA^{\prime}$ の正の固有値と同一である。)。 $\Delta$ を対角要素が $\Delta^2$ の対角要素の正の平方根に対応するような対角行列と定義する。 $A^{\prime}A$ は $n$ 次対称行列であるから、

$\begin{aligned} Q^{\prime}A^{\prime}AQ=\begin{bmatrix} \Delta^2&(0)\\ (0)&(0) \end{bmatrix} \end{aligned}$

を満たすような $n$ 次直交行列 $Q$ が存在する。このとき $Q_1$ を $n\times r$ 行列として $Q=\begin{bmatrix}Q_1&Q_2\end{bmatrix}$ と分解すると、 $Q$ の条件式に対応して

$\begin{aligned} Q_1^{\prime}A^{\prime}AQ&=\Delta^2,\\ Q_2^{\prime}A^{\prime}AQ_2&=(0) \end{aligned}$

を得る。このとき後者の等式から $AQ_2=(0)$ である。
　いま $P=\begin{bmatrix}P_1&P_2\end{bmatrix}$ は $m$ 次直交行列だとする。ここで $m\times r$ 行列 $P_1=AQ_1\Delta^{-1}$ であり、 $P_2$ は $P$ を直交行列にするような任意の行列である。このとき $P_2^{\prime}P_1=P_2^{\prime}AQ_1\Delta^{-1}=(0)$ またはそれと等価だが

$\begin{aligned} P_2^{\prime}AQ_1=(0) \end{aligned}$

を満たさなければならない。以上から、

$\begin{aligned} P^{\prime}AQ&=\begin{bmatrix} P_1^{\prime}AQ_1&P_1^{\prime}AQ_2\\ P_2^{\prime}AQ_1&P_2^{\prime}AQ_2 \end{bmatrix}\\ &=\begin{bmatrix} \Delta^{\prime}Q_1^{\prime}A^{\prime}AQ_1&\Delta^{\prime}Q_1^{\prime}A^{\prime}AQ_2\\ P_2^{\prime}AQ_1&P_2^{\prime}AQ_2 \end{bmatrix}\\ &=\begin{bmatrix} \Delta^{-1}\Delta^2&\Delta^{\prime}Q_1^{\prime}A^{\prime}A(0)\\ (0)&P_2^{\prime}(0) \end{bmatrix}\\ &=\begin{bmatrix} \Delta&(0)\\ (0)&(0) \end{bmatrix} \end{aligned}$

を得る。以上より題意は示された。　 $\blacksquare$ )

　 $\Delta$ の対角要素、すなわち $A^{\prime}A$ および $AA^{\prime}$ の正の固有値の正の平方根は $A$ の特異値と呼ばれる。 $Q$ の列は $A^{\prime}A$ の固有ベクトルからなる正規直交集合を形成する。そのため

$\begin{aligned} A^{\prime}A=QD^{\prime}DQ^{\prime} \end{aligned}$

のように表すことができる。また $P$ の列も

$\begin{aligned} AA^{\prime}=PDQ^{\prime}QD^{\prime}P^{\prime}=PDD^{\prime}P^{\prime} \end{aligned}$

を満たすから $AA^{\prime}$ の固有ベクトルからなる正規直交集合を形成する。
　もし再び $P,Q$ を $P_1$ が $m\times r$ および $Q_1$ が $n\times r$ の下で $P=\begin{bmatrix}P_1&P_2\end{bmatrix}$ と $Q=\begin{bmatrix}Q_1&Q_2\end{bmatrix}$ と分割するならば、特異値分解は以下のように書き換えることができる。

特異値分解(別表記)　もし $A$ が階数 $r\gt0$ の $m\times n$ 行列ならば、 $P_1^{\prime}P=Q_1^{\prime}Q=I$ および $A=P_1\Delta Q_1^{\prime}$ を満たすような $m\times r$ 行列 $P_1,\$ $n\times r$ 行列 $Q_1$ が存在する。ここで $\Delta$ は正の対角要素をもつ $r$ 次対角行列である。

　このとき $P_1,Q_1$ は

$\begin{aligned} P_1^{\prime}AA^{\prime}P_1=\Delta^2,\ Q_1^{\prime}A^{\prime}AQ_1=\Delta^2 \end{aligned}$

を満たす半直交行列になる。分解 $A=P_1\Delta Q^{\prime}$ において上式を満たす半直交行列 $P_1$ の選択は行列 $Q_1$ の選択に依存する。
　行列 $A$ の構造に関する多くの情報はその行列の特異値分解から得られる。特異値の個数は $A$ の階数を示し、 $P_1,Q_1$ の列はそれぞれ行列 $A$ の列空間と行空間の正規直交基底となる。同様に $P_2$ の列は行列 $A^{\prime}$ の零空間を張り、 $Q_2$ の列は行列 $A$ の零空間を張る。

次回

power-of-awareness.com

前回

4. 行列の因数分解と行列ノルム

4.1 特異値分解

次回

4.　行列の因数分解と行列ノルム

4.1　特異値分解