「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。

MENU

統計学のための線形代数(016/X)

 統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

を基により高等な線形代数を学ぶ。

4. 行列の因数分解と行列ノルム

 特別な構造や標準形を持った別の行列の積の形として与えられた行列Aを表現する有用な方法を見ていく。

4.1 特異値分解

 任意のサイズの行列に扱うことができる点で最も有用と言える特異値分解を扱う。



特異値分解 もしAが階数がr\gt0m\times n行列であるならば、A=PDQ^{\prime},\ D=P^{\prime}AQと表せるようなm\times m,n\times n直交行列P,Qがそれぞれ存在する。ここでm\times n行列D\Deltaを正の対角要素をもつr次対角行列かつ\Delta^2の対角要素はA^{\prime}AAA^{\prime}の正の固有値で、


\begin{aligned}
D&=\begin{cases}
\Delta,&r=m=n,\\
\begin{bmatrix}\Delta\ \ (0)\end{bmatrix},&r=m\lt n,\\
\begin{bmatrix}\Delta\\(0)\end{bmatrix},&r=n\lt m,\\
\begin{bmatrix}\Delta&(0)\\(0)&(0)\end{bmatrix},&r\lt m,r\lt n
\end{cases}
\end{aligned}


と表される。

(\because より一般的なr\lt m,r\lt nの場合を示す。それ以外はこの証明において表記のみを変えればよい。\Delta^2r次対角行列だとする(このとき既に示したとおり、その対角要素はAA^{\prime}の正の固有値と同一である。)。\Deltaを対角要素が\Delta^2の対角要素の正の平方根に対応するような対角行列と定義する。A^{\prime}An次対称行列であるから、



\begin{aligned}
Q^{\prime}A^{\prime}AQ=\begin{bmatrix}
\Delta^2&(0)\\
(0)&(0)
\end{bmatrix}
\end{aligned}


を満たすようなn次直交行列Qが存在する。このときQ_1n\times r行列としてQ=\begin{bmatrix}Q_1&Q_2\end{bmatrix}と分解すると、Qの条件式に対応して



\begin{aligned}
Q_1^{\prime}A^{\prime}AQ&=\Delta^2,\\
Q_2^{\prime}A^{\prime}AQ_2&=(0)
\end{aligned}


を得る。このとき後者の等式からAQ_2=(0)である。
 いまP=\begin{bmatrix}P_1&P_2\end{bmatrix}m次直交行列だとする。ここでm\times r行列P_1=AQ_1\Delta^{-1}であり、P_2Pを直交行列にするような任意の行列である。このときP_2^{\prime}P_1=P_2^{\prime}AQ_1\Delta^{-1}=(0)またはそれと等価だが



\begin{aligned}
P_2^{\prime}AQ_1=(0)
\end{aligned}


を満たさなければならない。以上から、



\begin{aligned}
P^{\prime}AQ&=\begin{bmatrix}
P_1^{\prime}AQ_1&P_1^{\prime}AQ_2\\
P_2^{\prime}AQ_1&P_2^{\prime}AQ_2
\end{bmatrix}\\
&=\begin{bmatrix}
\Delta^{\prime}Q_1^{\prime}A^{\prime}AQ_1&\Delta^{\prime}Q_1^{\prime}A^{\prime}AQ_2\\
P_2^{\prime}AQ_1&P_2^{\prime}AQ_2
\end{bmatrix}\\
&=\begin{bmatrix}
\Delta^{-1}\Delta^2&\Delta^{\prime}Q_1^{\prime}A^{\prime}A(0)\\
(0)&P_2^{\prime}(0)
\end{bmatrix}\\
&=\begin{bmatrix}
\Delta&(0)\\
(0)&(0)
\end{bmatrix}
\end{aligned}


を得る。以上より題意は示された。 \blacksquare)

 \Deltaの対角要素、すなわちA^{\prime}AおよびAA^{\prime}の正の固有値の正の平方根Aの特異値と呼ばれる。Qの列はA^{\prime}A固有ベクトルからなる正規直交集合を形成する。そのため



\begin{aligned}
A^{\prime}A=QD^{\prime}DQ^{\prime}
\end{aligned}


のように表すことができる。またPの列も



\begin{aligned}
AA^{\prime}=PDQ^{\prime}QD^{\prime}P^{\prime}=PDD^{\prime}P^{\prime}
\end{aligned}


を満たすからAA^{\prime}固有ベクトルからなる正規直交集合を形成する。
 もし再びP,QP_1m\times rおよびQ_1n\times rの下でP=\begin{bmatrix}P_1&P_2\end{bmatrix}Q=\begin{bmatrix}Q_1&Q_2\end{bmatrix}と分割するならば、特異値分解は以下のように書き換えることができる。



特異値分解(別表記) もしAが階数r\gt0m\times n行列ならば、P_1^{\prime}P=Q_1^{\prime}Q=IおよびA=P_1\Delta Q_1^{\prime}を満たすようなm\times r行列P_1,\ n\times r行列Q_1が存在する。ここで\Deltaは正の対角要素をもつr次対角行列である。

 このときP_1,Q_1


\begin{aligned}
P_1^{\prime}AA^{\prime}P_1=\Delta^2,\ Q_1^{\prime}A^{\prime}AQ_1=\Delta^2
\end{aligned}


を満たす半直交行列になる。分解A=P_1\Delta Q^{\prime}において上式を満たす半直交行列P_1の選択は行列Q_1の選択に依存する。
 行列Aの構造に関する多くの情報はその行列の特異値分解から得られる。特異値の個数はAの階数を示し、P_1,Q_1の列はそれぞれ行列Aの列空間と行空間の正規直交基底となる。同様にP_2の列は行列A^{\prime}の零空間を張り、Q_2の列は行列Aの零空間を張る。

プライバシーポリシー お問い合わせ