「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。データ分析・語学に力点を置いています。 →現在、コンサルタントの雛になるべく、少しずつ勉強中です(※2024年1月21日改訂)。

MENU

統計学のための線形代数(018/X)

 統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

を基により高等な線形代数を学ぶ。

4. 行列の因数分解と行列ノルム

4.1 特異値分解

例:ベクトルの特異値分解
 \boldsymbol{x}\in\mathbb{C}^m,\boldsymbol{x}\neq\boldsymbol{0}とすると、



\begin{aligned}
\boldsymbol{x}=P\boldsymbol{d}q
\end{aligned}


特異値分解できる。ここでPm次直交行列で、\boldsymbol{d}は最初の成分のみが非零であるようなm次ベクトルで、さらにqq^2=1を満たすスカラーである。\boldsymbol{x}の唯一の特異値は\lambda\lambda^2=\boldsymbol{x}^{\prime}\boldsymbol{x}を満たす。
 もし\boldsymbol{x}_{*}=\lambda^{-1}\boldsymbol{x}と定めると、\boldsymbol{x}_{*}^{\prime}\boldsymbol{x}_{*}=1を満たす上、


\begin{aligned}
\boldsymbol{x}\boldsymbol{x}^{\prime}\boldsymbol{x}_{*}&=\boldsymbol{x}\boldsymbol{x}^{\prime}(\lambda^{-1}\boldsymbol{x})\\
&=(\lambda^{-1}\boldsymbol{x})\boldsymbol{x}\boldsymbol{x}^{\prime}\\
&=\lambda^2\boldsymbol{x}_{*}
\end{aligned}


が成立する。これにより、\boldsymbol{x}_{*}は唯一の正の固有値\lambda^2に対応する\boldsymbol{x}\boldsymbol{x}^{\prime}の正規固有ベクトルである。\boldsymbol{x}_{*}に直交する任意の非零ベクトルは、重複する固有値0に対応する\boldsymbol{x}\boldsymbol{x}^{\prime}固有ベクトルである。したがってもし\boldsymbol{d}=(\lambda,0,\cdots,0)^{\prime},q=1であり、P=(\boldsymbol{x}_{*},\boldsymbol{p}_2,\cdots,\boldsymbol{p}_m)\boldsymbol{x}_{*}を最初の列として持つ任意の直交行列であるならば、



\begin{aligned}
P\boldsymbol{d}q&=\begin{bmatrix}\boldsymbol{x}_{*},\boldsymbol{p}_2,\cdots,\boldsymbol{p}_m\end{bmatrix}
\begin{bmatrix}
\lambda\\
0\\
\vdots\\
0
\end{bmatrix}1\\
&=\lambda\boldsymbol{x}_{*}\\
&=\boldsymbol{x}
\end{aligned}


が得られる。


 行列がm次対称行列であるとき、その特異値はA固有値に直接的に関係する。実際AA^{\prime}=A^2であり、A^2固有値はそれぞれ対応するA固有値の二乗である。したがってAの特異値はA固有値の絶対値で与えられる。もしPの列がAの正規直交固有ベクトルの集合ならば、



\begin{aligned}
Q^{\prime}A^{\prime}AQ=\begin{bmatrix}\Delta^2&0\\0&0\end{bmatrix}
\end{aligned}

を満たすQは基本的にPに等しい。ただし負の固有値に対応するQの任意の列はPのそれに対応する列に-1を掛けたものに一致する。
 もしAが非負定値ならばAの特異値はAの正の固有値に一致し、A特異値分解Aのスペクトル分解に等しくなる。

例:正方行列の特異値分解
 2次正方行列


\begin{aligned}
A=\begin{bmatrix}6&6\\-1&1\end{bmatrix}
\end{aligned}

を考える。このとき



\begin{aligned}
AA^{\prime}&=\begin{bmatrix}6&6\\-1&1\end{bmatrix}\begin{bmatrix}6&-1\\6&1\end{bmatrix}=\begin{bmatrix}72&0\\0&2\end{bmatrix},\\
A^{\prime}A&=\begin{bmatrix}6&-1\\6&1\end{bmatrix}\begin{bmatrix}6&6\\-1&1\end{bmatrix}=\begin{bmatrix}7&35\\35&37\end{bmatrix}
\end{aligned}


であるから、Aの特異値は6\sqrt{2},\sqrt{2}である。72,2に対応する正規化されたAA^{\prime}固有ベクトル(1,0)^{\prime},(0,1)^{\prime}である。一方でA^{\prime}A固有ベクトルは、固有値72,2だから、\left(\displaystyle{\frac{1}{\sqrt{2}}},\displaystyle{\frac{1}{\sqrt{2}}}\right)^{\prime},\left(-\displaystyle{\frac{1}{\sqrt{2}}},\displaystyle{\frac{1}{\sqrt{2}}}\right)^{\prime}である。したがってA特異値分解



\begin{aligned}
\begin{bmatrix}1&0\\0&1\end{bmatrix}\begin{bmatrix}6\sqrt{2}&0\\0&\sqrt{2}\end{bmatrix}\begin{bmatrix}\displaystyle{\frac{1}{\sqrt{2}}}&\displaystyle{\frac{1}{\sqrt{2}}}\\-\displaystyle{\frac{1}{\sqrt{2}}}&\displaystyle{\frac{1}{\sqrt{2}}}\end{bmatrix}
\end{aligned}


で与えられる。なおA自体の固有値


\begin{aligned}
\mathrm{det}(\lambda I-A)&=(\lambda-6)(\lambda-1)+6\\
&=\lambda^2-7\lambda+12\\
&=(\lambda-3)(\lambda-4)=0
\end{aligned}

であるから、3,4であり、対応する固有ベクトル\left(\displaystyle{\frac{3}{\sqrt{10}}},-\displaystyle{\frac{1}{\sqrt{10}}}\right)^{\prime},\left(\displaystyle{\frac{2}{\sqrt{5}}},-\displaystyle{\frac{1}{\sqrt{5}}}\right)^{\prime}である。

プライバシーポリシー お問い合わせ