統計学のための線形代数（017/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

前回

power-of-awareness.com

前回
4.　行列の因数分解と行列ノルム
- 4.1　特異値分解
  - 4.1.1　特異値分解の例
次回

4.　行列の因数分解と行列ノルム

　特別な構造や標準形を持った別の行列の積の形として与えられた行列 $A$ を表現する有用な方法を見ていく。

4.1　特異値分解

4.1.1　特異値分解の例

　以下の行列

$\begin{aligned} A=\begin{bmatrix} 2&0&1\\ 3&-1&1\\ -2&4&1\\ 1&1&1 \end{bmatrix} \end{aligned}$

を特異値分解する。
　まず行列 $A^{\prime}A$

$\begin{aligned} A^{\prime}A=\begin{bmatrix} 2&3&-2&1\\ 0&-1&4&1\\ 1&1&1&1 \end{bmatrix} \begin{bmatrix} 2&0&1\\ 3&-1&1\\ -2&4&1\\ 1&1&1 \end{bmatrix}=\begin{bmatrix} 18&-10&4\\ -10&18&4\\ 4&4&4 \end{bmatrix} \end{aligned}$

の固有方程式 $\mathrm{det}(\lambda I-A^{\prime}A)=0$ は

$\begin{aligned} \mathrm{det}(\lambda I-A^{\prime}A)=&\begin{vmatrix} \lambda-18&10&-4\\ 10&\lambda-18&-4\\ -4&-4&\lambda-4 \end{vmatrix}\\ =&(\lambda-18)\begin{vmatrix} \lambda-18&-4\\ -4&\lambda-4 \end{vmatrix}-10\begin{vmatrix} 10&-4\\ -4&\lambda-4 \end{vmatrix}-4\begin{vmatrix} 10&-4\\ \lambda-18&-4 \end{vmatrix}\\ =&\lambda(\lambda-28)(\lambda-12)=0 \end{aligned}$

である。したがって固有値は $0,12,28$ であり、これに対応する固有ベクトルは

$\begin{aligned} \left(\displaystyle{\frac{1}{\sqrt{2}}},-\displaystyle{\frac{1}{\sqrt{2}}},0\right)^{\prime},\left(\displaystyle{\frac{1}{\sqrt{3}}},\displaystyle{\frac{1}{\sqrt{3}}},\displaystyle{\frac{1}{\sqrt{3}}}\right)^{\prime},\left(\displaystyle{\frac{1}{\sqrt{6}}},\displaystyle{\frac{1}{\sqrt{6}}},-\displaystyle{\frac{2}{\sqrt{6}}},\right)^{\prime} \end{aligned}$

である。これらを列に持つ直交行列

$\begin{aligned} Q=\begin{bmatrix} \displaystyle{\frac{1}{\sqrt{2}}}&\displaystyle{\frac{1}{\sqrt{3}}}&\displaystyle{\frac{1}{\sqrt{6}}}\\ -\displaystyle{\frac{1}{\sqrt{2}}}&\displaystyle{\frac{1}{\sqrt{3}}}&\displaystyle{\frac{1}{\sqrt{6}}}\\ 0&\displaystyle{\frac{1}{\sqrt{3}}}&-\displaystyle{\frac{2}{\sqrt{6}}} \end{bmatrix} \end{aligned}$

が得られる。
　 $\mathrm{rank}(A)=2$ であり、以上から $A$ の特異値は $\sqrt{12},\sqrt{28}$ である。したがって

$\begin{aligned} P_1=AQ_1\Delta^{-1}&=\begin{bmatrix} 2&0&1\\ 3&-1&1\\ -2&4&1\\ 1&1&1 \end{bmatrix}\begin{bmatrix} \displaystyle{\frac{1}{\sqrt{2}}}&\displaystyle{\frac{1}{\sqrt{3}}}\\ -\displaystyle{\frac{1}{\sqrt{2}}}&\displaystyle{\frac{1}{\sqrt{3}}}\\ 0&\displaystyle{\frac{1}{\sqrt{3}}} \end{bmatrix}\begin{bmatrix} \displaystyle{\frac{1}{\sqrt{28}}}&0\\ 0&\displaystyle{\frac{1}{\sqrt{12}}} \end{bmatrix}\\ &=\begin{bmatrix} \displaystyle{\frac{1}{\sqrt{14}}}&\displaystyle{\frac{1}{2}}\\ \displaystyle{\frac{2}{\sqrt{14}}}&\displaystyle{\frac{1}{2}}\\ -\displaystyle{\frac{3}{\sqrt{14}}}&\displaystyle{\frac{1}{2}}\\ 0&\displaystyle{\frac{1}{2}} \end{bmatrix} \end{aligned}$

を得る。また $P_2$ は $P_1^{\prime}P_2=(0)$ および $P_2^{\prime}P_2=I$ を満たす任意の行列を取ればよい。たとえば

$\begin{aligned} P_2=\begin{bmatrix} \displaystyle{\frac{1}{\sqrt{12}}}&-\displaystyle{\frac{5}{\sqrt{42}}}\\ \displaystyle{\frac{1}{\sqrt{12}}}&\displaystyle{\frac{4}{\sqrt{42}}}\\ \displaystyle{\frac{1}{\sqrt{12}}}&\displaystyle{\frac{1}{\sqrt{42}}}\\ -\displaystyle{\frac{3}{\sqrt{12}}}&0 \end{bmatrix} \end{aligned}$

と取ればよい。以上から $A$ の特異値分解は以下のようになる：

$\begin{aligned} \begin{bmatrix} \displaystyle{\frac{1}{\sqrt{14}}}&\displaystyle{\frac{1}{2}}&\displaystyle{\frac{1}{\sqrt{12}}}&-\displaystyle{\frac{5}{\sqrt{42}}}\\ \displaystyle{\frac{2}{\sqrt{14}}}&\displaystyle{\frac{1}{2}}&\displaystyle{\frac{1}{\sqrt{12}}}&\displaystyle{\frac{4}{\sqrt{42}}}\\ -\displaystyle{\frac{3}{\sqrt{14}}}&\displaystyle{\frac{1}{2}}&\displaystyle{\frac{1}{\sqrt{12}}}&\displaystyle{\frac{1}{\sqrt{42}}}\\ 0&\displaystyle{\frac{1}{2}}&-\displaystyle{\frac{3}{\sqrt{12}}}&0 \end{bmatrix} \begin{bmatrix} \displaystyle{\frac{1}{\sqrt{28}}}&0&0\\ 0&\displaystyle{\frac{1}{\sqrt{12}}}&0\\ 0&0&0\\ 0&0&0 \end{bmatrix} \begin{bmatrix} \displaystyle{\frac{1}{\sqrt{2}}}&-\displaystyle{\frac{1}{\sqrt{2}}}&0\\ \displaystyle{\frac{1}{\sqrt{3}}}&\displaystyle{\frac{1}{\sqrt{3}}}&\displaystyle{\frac{1}{\sqrt{3}}}\\ \displaystyle{\frac{1}{\sqrt{6}}}&\displaystyle{\frac{1}{\sqrt{6}}}&-\displaystyle{\frac{2}{\sqrt{6}}} \end{bmatrix} \end{aligned}$

次回

power-of-awareness.com

前回

4. 行列の因数分解と行列ノルム

4.1 特異値分解

4.1.1 特異値分解の例

次回

4.　行列の因数分解と行列ノルム

4.1　特異値分解

4.1.1　特異値分解の例