「大人の教養・知識・気付き」を伸ばすブログ

※今月(8月)は一部コンテンツを隔週更新にします(夏休みです…)。 一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。

MENU

統計学のための線形代数(020/X)

 統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

を基により高等な線形代数を学ぶ。

4. 行列の因数分解と行列ノルム

4.2 対称行列のスペクトル分解

 対称行列のスペクトル分解は特異値分解の特殊例に相当する。過去の章で導いた結果を改めて述べる。



スペクトル分解 A固有値\lambda_1,\cdots,\lambda_mを持つm次対称行列とし、\boldsymbol{x}_1,\cdots,\boldsymbol{x}_mをそれらの固有値に対応する正規直交固有ベクトルの集合だと仮定する。そのとき\Lambda=\mathrm{diag}(\lambda_1,\cdots,\lambda_m), X=(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_m)とすれば、



\begin{aligned}
A=X\Lambda X^{\prime}
\end{aligned}


が成り立つ。

 非負定値行列A平方根行列を見つけるべくAのスペクトル分解を利用することができる。すなわちA=A^{\frac{1}{2}}A^{\frac{1}{2}}を満たすようなm次非負定値行列A^{\frac{1}{2}}を見つけたいとする。上記のように\LambdaXを定義し、\Lambda^{\frac{1}{2}}=\mathrm{diag}(\lambda_1^{\frac{1}{2}},\cdots,\lambda_m^{\frac{1}{2}}),A^{\frac{1}{2}}=X\Lambda^{\frac{1}{2}}X^{\prime}とすると、XX^{\prime}=Iであるから



\begin{aligned}
A^{\frac{1}{2}}A^{\frac{1}{2}}&=X\Lambda^{\frac{1}{2}}X^{\prime}X\Lambda^{\frac{1}{2}}X^{\prime}\\
&=X\Lambda^{\frac{1}{2}}\Lambda^{\frac{1}{2}}X^{\prime}\\
&=X\Lambda X^{\prime}\\
&=A
\end{aligned}


を得る。(A^{\frac{1}{2}})^{\prime}=\left(X\Lambda^{\frac{1}{2}}X^{\prime}\right)^{\prime}=X\Lambda^{\frac{1}{2}}X^{\prime}=A^{\frac{1}{2}}であることに注意すれば、X\Lambda^{\frac{1}{2}}XAの対称平方根行列と呼ばれる。Aが非負定値でない場合、Aのいくつかの固有値が負のとき、A^{\frac{1}{2}}は複素行列になる。


 非負定値の平方根行列A^{\frac{1}{2}}が一意に定まることを示す。Aのスペクトル分解は



\begin{aligned}
A=\displaystyle{\sum_{i=1}^{k}\mu_iP_A(\mu_i)}
\end{aligned}


と書ける。ここで\mu_1,\cdots,\mu_kAのスペクトル値である。Aの固有射影は一意に定まり、\{P_A(\mu_i)\}^{\prime}=P_A(\mu_i),\{P_A(\mu_i)\}^{2}=P_A(\mu_i)が成り立つ。またi\neq jに関してP_A(\mu_i)P_A(\mu_j)=\boldsymbol{0}を満たす。
 B



\begin{aligned}
B=\displaystyle{\sum_{j=1}^{r}\gamma_jP_B(\gamma_j)}
\end{aligned}


を満たすm次非負定値行列だとする。もしA=B^2ならば



\begin{aligned}
A=B^2=\left(\displaystyle{\sum_{j=1}^{r}\gamma_jP_B(\gamma_j)}\right)^2=\displaystyle{\sum_{j=1}^{r}\gamma_j^2P_B(\gamma_j)}
\end{aligned}


が成り立つ。これより、r=kで、各々のiおよびあるjに関して\mu_i=\gamma_j^2,P_A(\mu_A)=P_B(\gamma_j)でなければならない。これは



\begin{aligned}
B=\displaystyle{\sum_{j=1}^{k}\mu_i^{\frac{1}{2}}P_A(\mu_i)}
\end{aligned}


であることを意味し、上述したA^{\frac{1}{2}}=X\Lambda^{\frac{1}{2}}X^{\prime}という表現と同等である。
 A^{\frac{1}{2}}が対称行列であることに限定しなければ、平方根行列の集合を拡張できる。すなわちA=A^{\frac{1}{2}}(A^{\frac{1}{2}})^{\prime}を満たす任意の行列A^{\frac{1}{2}}を考える。Qを任意のm次直交行列とすると、



\begin{aligned}
A^{\frac{1}{2}}(A^{\frac{1}{2}})^{\prime}=X\Lambda^{\frac{1}{2}}Q^{\prime}Q\Lambda^{\frac{1}{2}}X^{\prime}=X\Lambda^{\frac{1}{2}}\Lambda^{\frac{1}{2}}X^{\prime}=X\Lambda X^{\prime}=A
\end{aligned}


であるから、A^{\frac{1}{2}}=X\Lambda^{\frac{1}{2}}Q^{\prime}平方根行列である。
 A^{\frac{1}{2}}が非負の対角要素を持つ下三角行列であるとき、分解A=A^{\frac{1}{2}}(A^{\frac{1}{2}})^{\prime}A\mathrm{Cholesky}分解と呼ぶ。



\mathrm{Cholesky}分解の存在性 Am次非負定値行列だとする・このとき非負の対角要素を持ち、A=TT^{\prime}となるようなm次下三角行列Tが存在する。さらにAが正定値行列であるならば、このとき行列Tは一意で正の対角成分を持つ。

(\because 正定値行列に関する結果を証明する。m=1のとき明らかに定理は成立する。なぜならばこのときAは正のスカラーであり、TAの正の平方根によって一意に与えられるからである。いますべてのm-1次正定値行列に関して定理が成り立つと仮定する。m-1次正方行列A_{11}を用いてA



\begin{aligned}
A=\begin{bmatrix}
A_{11}&\boldsymbol{a}_{12}\\
\boldsymbol{a}_{21}&a_{22}
\end{bmatrix}
\end{aligned}


と分割できるものとする。このときAが正定値行列ならばA_{11}も正定値行列でなければならないため、正の対角成分を持ちA_{11}=T_{11}T_{11}^{\prime}を満たすようなm-1次下三角行列T_{11}が存在することが分かる。
 もしm-1次ベクトル\boldsymbol{t}_{12}と一意な正のスカラーt_{22}があり、



\begin{aligned}
\begin{bmatrix}
A_{11}&\boldsymbol{a}_{12}\\
\boldsymbol{a}_{21}&a_{22}
\end{bmatrix}&=\begin{bmatrix}
T_{11}&\boldsymbol{0}\\
\boldsymbol{t}_{12}^{\prime}&t_{22}
\end{bmatrix}\begin{bmatrix}
T_{11}^{\prime}&\boldsymbol{t}_{12}\\
\boldsymbol{0}^{\prime}&t_{22}
\end{bmatrix}\\
&=\begin{bmatrix}
T_{11}T_{11}^{\prime}&T_{11}\boldsymbol{t}_{12}\\
\boldsymbol{t}_{12}^{\prime}T_{11}^{\prime}&\boldsymbol{t}_{12}^{\prime}\boldsymbol{t}_{12}+t_{22}^2
\end{bmatrix}
\end{aligned}


が成り立てば、題意が示される。このとき\boldsymbol{a}_{12}=T_{11}\boldsymbol{t}_{12},a_{22}=\boldsymbol{t}_{12}^{\prime}\boldsymbol{t}_{12}+t_{22}^2でなければならない。


 T_{11}は正則でなければならないから、\boldsymbol{t}_{12}\boldsymbol{t}_{12}=T_{11}^{-1}\boldsymbol{a}_{12}で一意に与えられ、またt_{22}^2



\begin{aligned}
t_{22}^2&=a_{22}-\boldsymbol{t}_{12}^{\prime}\boldsymbol{t}_{12}=a_{22}-\boldsymbol{a}_{12}^{\prime}\left(T_{11}^{-1}\right)T_{11}^{-1}\boldsymbol{a}_{12}\\
&=a_{22}-\boldsymbol{a}_{12}^{\prime}\left(T_{11}T_{11}^{\prime}\right)^{-1}\boldsymbol{a}_{12}\\
&=a_{22}-\boldsymbol{a}_{12}^{\prime}A_{11}^{-1}\boldsymbol{a}_{12}\\
\end{aligned}


でなければならない。
 Aは正定値行列であるから、\boldsymbol{x}=(\boldsymbol{x}^{\prime}_1,-1)^{\prime}=(\boldsymbol{a}_{12}^{\prime}A_{11}^{\prime},-1)^{\prime}とすれば



\begin{aligned}
\boldsymbol{x}^{\prime}A\boldsymbol{x}&=\boldsymbol{x}^{\prime}_1A_{11}\boldsymbol{x}_1-2\boldsymbol{x}_1^{\prime}\boldsymbol{a}_{12}+a_{22}\\
&=\boldsymbol{a}_{12}^{\prime}A_{11}^{-1}A_{11}A_{11}^{-1}\boldsymbol{a}_{12}-2\boldsymbol{a}_{12}^{\prime}A_{11}^{\prime}\boldsymbol{a}_{12}+a_{22}\\
&=a_{22}-\boldsymbol{a}_{12}^{\prime}A_{11}^{-1}\boldsymbol{a}_{12}
\end{aligned}


が成り立つから、a_{22}-\boldsymbol{a}_{12}^{\prime}A_{11}^{-1}\boldsymbol{a}_{12}は正数であり、t_{22}\gt0t_{22}=\left(a_{22}-\boldsymbol{a}_{12}^{\prime}A_{11}^{-1}\boldsymbol{a}_{12}\right)^{\frac{1}{2}}により一意に与えられる。 \blacksquare)

プライバシーポリシー お問い合わせ