統計学のための線形代数（018/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

前回

power-of-awareness.com

前回
4.　行列の因数分解と行列ノルム
- 4.1　特異値分解
次回

4.　行列の因数分解と行列ノルム

4.1　特異値分解

例：ベクトルの特異値分解
　 $\boldsymbol{x}\in\mathbb{C}^m,\boldsymbol{x}\neq\boldsymbol{0}$ とすると、

$\begin{aligned} \boldsymbol{x}=P\boldsymbol{d}q \end{aligned}$

と特異値分解できる。ここで $P$ は $m$ 次直交行列で、 $\boldsymbol{d}$ は最初の成分のみが非零であるような $m$ 次ベクトルで、さらに $q$ は $q^2=1$ を満たすスカラーである。 $\boldsymbol{x}$ の唯一の特異値は $\lambda$ で $\lambda^2=\boldsymbol{x}^{\prime}\boldsymbol{x}$ を満たす。
　もし $\boldsymbol{x}_{*}=\lambda^{-1}\boldsymbol{x}$ と定めると、 $\boldsymbol{x}_{*}^{\prime}\boldsymbol{x}_{*}=1$ を満たす上、
$\begin{aligned} \boldsymbol{x}\boldsymbol{x}^{\prime}\boldsymbol{x}_{*}&=\boldsymbol{x}\boldsymbol{x}^{\prime}(\lambda^{-1}\boldsymbol{x})\\ &=(\lambda^{-1}\boldsymbol{x})\boldsymbol{x}\boldsymbol{x}^{\prime}\\ &=\lambda^2\boldsymbol{x}_{*} \end{aligned}$

が成立する。これにより、 $\boldsymbol{x}_{*}$ は唯一の正の固有値 $\lambda^2$ に対応する $\boldsymbol{x}\boldsymbol{x}^{\prime}$ の正規固有ベクトルである。 $\boldsymbol{x}_{*}$ に直交する任意の非零ベクトルは、重複する固有値 $0$ に対応する $\boldsymbol{x}\boldsymbol{x}^{\prime}$ の固有ベクトルである。したがってもし $\boldsymbol{d}=(\lambda,0,\cdots,0)^{\prime},q=1$ であり、 $P=(\boldsymbol{x}_{*},\boldsymbol{p}_2,\cdots,\boldsymbol{p}_m)$ が $\boldsymbol{x}_{*}$ を最初の列として持つ任意の直交行列であるならば、

$\begin{aligned} P\boldsymbol{d}q&=\begin{bmatrix}\boldsymbol{x}_{*},\boldsymbol{p}_2,\cdots,\boldsymbol{p}_m\end{bmatrix} \begin{bmatrix} \lambda\\ 0\\ \vdots\\ 0 \end{bmatrix}1\\ &=\lambda\boldsymbol{x}_{*}\\ &=\boldsymbol{x} \end{aligned}$

が得られる。

　行列が $m$ 次対称行列であるとき、その特異値は $A$ の固有値に直接的に関係する。実際 $AA^{\prime}=A^2$ であり、 $A^2$ の固有値はそれぞれ対応する $A$ の固有値の二乗である。したがって $A$ の特異値は $A$ の固有値の絶対値で与えられる。もし $P$ の列が $A$ の正規直交固有ベクトルの集合ならば、

$\begin{aligned} Q^{\prime}A^{\prime}AQ=\begin{bmatrix}\Delta^2&0\\0&0\end{bmatrix} \end{aligned}$

を満たす $Q$ は基本的に $P$ に等しい。ただし負の固有値に対応する $Q$ の任意の列は $P$ のそれに対応する列に $-1$ を掛けたものに一致する。
　もし $A$ が非負定値ならば $A$ の特異値は $A$ の正の固有値に一致し、 $A$ の特異値分解は $A$ のスペクトル分解に等しくなる。

例：正方行列の特異値分解
　2次正方行列
$\begin{aligned} A=\begin{bmatrix}6&6\\-1&1\end{bmatrix} \end{aligned}$
を考える。このとき

$\begin{aligned} AA^{\prime}&=\begin{bmatrix}6&6\\-1&1\end{bmatrix}\begin{bmatrix}6&-1\\6&1\end{bmatrix}=\begin{bmatrix}72&0\\0&2\end{bmatrix},\\ A^{\prime}A&=\begin{bmatrix}6&-1\\6&1\end{bmatrix}\begin{bmatrix}6&6\\-1&1\end{bmatrix}=\begin{bmatrix}7&35\\35&37\end{bmatrix} \end{aligned}$

であるから、 $A$ の特異値は $6\sqrt{2},\sqrt{2}$ である。 $72,2$ に対応する正規化された $AA^{\prime}$ の固有ベクトルは $(1,0)^{\prime},(0,1)^{\prime}$ である。一方で $A^{\prime}A$ の固有ベクトルは、固有値が $72,2$ だから、 $\left(\displaystyle{\frac{1}{\sqrt{2}}},\displaystyle{\frac{1}{\sqrt{2}}}\right)^{\prime},$ $\left(-\displaystyle{\frac{1}{\sqrt{2}}},\displaystyle{\frac{1}{\sqrt{2}}}\right)^{\prime}$ である。したがって $A$ の特異値分解は

$\begin{aligned} \begin{bmatrix}1&0\\0&1\end{bmatrix}\begin{bmatrix}6\sqrt{2}&0\\0&\sqrt{2}\end{bmatrix}\begin{bmatrix}\displaystyle{\frac{1}{\sqrt{2}}}&\displaystyle{\frac{1}{\sqrt{2}}}\\-\displaystyle{\frac{1}{\sqrt{2}}}&\displaystyle{\frac{1}{\sqrt{2}}}\end{bmatrix} \end{aligned}$

で与えられる。なお $A$ 自体の固有値は
$\begin{aligned} \mathrm{det}(\lambda I-A)&=(\lambda-6)(\lambda-1)+6\\ &=\lambda^2-7\lambda+12\\ &=(\lambda-3)(\lambda-4)=0 \end{aligned}$
であるから、 $3,4$ であり、対応する固有ベクトルは $\left(\displaystyle{\frac{3}{\sqrt{10}}},-\displaystyle{\frac{1}{\sqrt{10}}}\right)^{\prime},$ $\left(\displaystyle{\frac{2}{\sqrt{5}}},-\displaystyle{\frac{1}{\sqrt{5}}}\right)^{\prime}$ である。

次回

power-of-awareness.com

前回

4. 行列の因数分解と行列ノルム

4.1 特異値分解

次回

4.　行列の因数分解と行列ノルム

4.1　特異値分解