統計学のための線形代数（020/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

前回

power-of-awareness.com

前回
4.　行列の因数分解と行列ノルム
- 4.2　対称行列のスペクトル分解
次回

4.　行列の因数分解と行列ノルム

4.2　対称行列のスペクトル分解

　対称行列のスペクトル分解は特異値分解の特殊例に相当する。過去の章で導いた結果を改めて述べる。

スペクトル分解　 $A$ を固有値 $\lambda_1,\cdots,\lambda_m$ を持つ $m$ 次対称行列とし、 $\boldsymbol{x}_1,\cdots,\boldsymbol{x}_m$ をそれらの固有値に対応する正規直交固有ベクトルの集合だと仮定する。そのとき $\Lambda=\mathrm{diag}(\lambda_1,\cdots,\lambda_m), X=(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_m)$ とすれば、

$\begin{aligned} A=X\Lambda X^{\prime} \end{aligned}$

が成り立つ。

　非負定値行列 $A$ の平方根行列を見つけるべく $A$ のスペクトル分解を利用することができる。すなわち $A=A^{\frac{1}{2}}A^{\frac{1}{2}}$ を満たすような $m$ 次非負定値行列 $A^{\frac{1}{2}}$ を見つけたいとする。上記のように $\Lambda$ と $X$ を定義し、 $\Lambda^{\frac{1}{2}}=\mathrm{diag}(\lambda_1^{\frac{1}{2}},\cdots,\lambda_m^{\frac{1}{2}}),$ $A^{\frac{1}{2}}=X\Lambda^{\frac{1}{2}}X^{\prime}$ とすると、 $XX^{\prime}=I$ であるから

$\begin{aligned} A^{\frac{1}{2}}A^{\frac{1}{2}}&=X\Lambda^{\frac{1}{2}}X^{\prime}X\Lambda^{\frac{1}{2}}X^{\prime}\\ &=X\Lambda^{\frac{1}{2}}\Lambda^{\frac{1}{2}}X^{\prime}\\ &=X\Lambda X^{\prime}\\ &=A \end{aligned}$

を得る。 $(A^{\frac{1}{2}})^{\prime}=\left(X\Lambda^{\frac{1}{2}}X^{\prime}\right)^{\prime}=X\Lambda^{\frac{1}{2}}X^{\prime}=A^{\frac{1}{2}}$ であることに注意すれば、 $X\Lambda^{\frac{1}{2}}X$ は $A$ の対称平方根行列と呼ばれる。 $A$ が非負定値でない場合、 $A$ のいくつかの固有値が負のとき、 $A^{\frac{1}{2}}$ は複素行列になる。

　非負定値の平方根行列 $A^{\frac{1}{2}}$ が一意に定まることを示す。 $A$ のスペクトル分解は

$\begin{aligned} A=\displaystyle{\sum_{i=1}^{k}\mu_iP_A(\mu_i)} \end{aligned}$

と書ける。ここで $\mu_1,\cdots,\mu_k$ は $A$ のスペクトル値である。 $A$ の固有射影は一意に定まり、 $\{P_A(\mu_i)\}^{\prime}=P_A(\mu_i),$ $\{P_A(\mu_i)\}^{2}=P_A(\mu_i)$ が成り立つ。また $i\neq j$ に関して $P_A(\mu_i)P_A(\mu_j)=\boldsymbol{0}$ を満たす。
　 $B$ を

$\begin{aligned} B=\displaystyle{\sum_{j=1}^{r}\gamma_jP_B(\gamma_j)} \end{aligned}$

を満たす $m$ 次非負定値行列だとする。もし $A=B^2$ ならば

$\begin{aligned} A=B^2=\left(\displaystyle{\sum_{j=1}^{r}\gamma_jP_B(\gamma_j)}\right)^2=\displaystyle{\sum_{j=1}^{r}\gamma_j^2P_B(\gamma_j)} \end{aligned}$

が成り立つ。これより、 $r=k$ で、各々の $i$ およびある $j$ に関して $\mu_i=\gamma_j^2,$ $P_A(\mu_A)=P_B(\gamma_j)$ でなければならない。これは

$\begin{aligned} B=\displaystyle{\sum_{j=1}^{k}\mu_i^{\frac{1}{2}}P_A(\mu_i)} \end{aligned}$

であることを意味し、上述した $A^{\frac{1}{2}}=X\Lambda^{\frac{1}{2}}X^{\prime}$ という表現と同等である。
　 $A^{\frac{1}{2}}$ が対称行列であることに限定しなければ、平方根行列の集合を拡張できる。すなわち $A=A^{\frac{1}{2}}(A^{\frac{1}{2}})^{\prime}$ を満たす任意の行列 $A^{\frac{1}{2}}$ を考える。 $Q$ を任意の $m$ 次直交行列とすると、

$\begin{aligned} A^{\frac{1}{2}}(A^{\frac{1}{2}})^{\prime}=X\Lambda^{\frac{1}{2}}Q^{\prime}Q\Lambda^{\frac{1}{2}}X^{\prime}=X\Lambda^{\frac{1}{2}}\Lambda^{\frac{1}{2}}X^{\prime}=X\Lambda X^{\prime}=A \end{aligned}$

であるから、 $A^{\frac{1}{2}}=X\Lambda^{\frac{1}{2}}Q^{\prime}$ は平方根行列である。
　 $A^{\frac{1}{2}}$ が非負の対角要素を持つ下三角行列であるとき、分解 $A=A^{\frac{1}{2}}(A^{\frac{1}{2}})^{\prime}$ を $A$ の $\mathrm{Cholesky}$ 分解と呼ぶ。

$\mathrm{Cholesky}$ 分解の存在性　 $A$ を $m$ 次非負定値行列だとする・このとき非負の対角要素を持ち、 $A=TT^{\prime}$ となるような $m$ 次下三角行列 $T$ が存在する。さらに $A$ が正定値行列であるならば、このとき行列 $T$ は一意で正の対角成分を持つ。

( $\because$ 　正定値行列に関する結果を証明する。 $m=1$ のとき明らかに定理は成立する。なぜならばこのとき $A$ は正のスカラーであり、 $T$ は $A$ の正の平方根によって一意に与えられるからである。いますべての $m-1$ 次正定値行列に関して定理が成り立つと仮定する。 $m-1$ 次正方行列 $A_{11}$ を用いて $A$ が

$\begin{aligned} A=\begin{bmatrix} A_{11}&\boldsymbol{a}_{12}\\ \boldsymbol{a}_{21}&a_{22} \end{bmatrix} \end{aligned}$

と分割できるものとする。このとき $A$ が正定値行列ならば $A_{11}$ も正定値行列でなければならないため、正の対角成分を持ち $A_{11}=T_{11}T_{11}^{\prime}$ を満たすような $m-1$ 次下三角行列 $T_{11}$ が存在することが分かる。
　もし $m-1$ 次ベクトル $\boldsymbol{t}_{12}$ と一意な正のスカラー $t_{22}$ があり、

$\begin{aligned} \begin{bmatrix} A_{11}&\boldsymbol{a}_{12}\\ \boldsymbol{a}_{21}&a_{22} \end{bmatrix}&=\begin{bmatrix} T_{11}&\boldsymbol{0}\\ \boldsymbol{t}_{12}^{\prime}&t_{22} \end{bmatrix}\begin{bmatrix} T_{11}^{\prime}&\boldsymbol{t}_{12}\\ \boldsymbol{0}^{\prime}&t_{22} \end{bmatrix}\\ &=\begin{bmatrix} T_{11}T_{11}^{\prime}&T_{11}\boldsymbol{t}_{12}\\ \boldsymbol{t}_{12}^{\prime}T_{11}^{\prime}&\boldsymbol{t}_{12}^{\prime}\boldsymbol{t}_{12}+t_{22}^2 \end{bmatrix} \end{aligned}$

が成り立てば、題意が示される。このとき $\boldsymbol{a}_{12}=T_{11}\boldsymbol{t}_{12},a_{22}=\boldsymbol{t}_{12}^{\prime}\boldsymbol{t}_{12}+t_{22}^2$ でなければならない。

　 $T_{11}$ は正則でなければならないから、 $\boldsymbol{t}_{12}$ は $\boldsymbol{t}_{12}=T_{11}^{-1}\boldsymbol{a}_{12}$ で一意に与えられ、また $t_{22}^2$ は

$\begin{aligned} t_{22}^2&=a_{22}-\boldsymbol{t}_{12}^{\prime}\boldsymbol{t}_{12}=a_{22}-\boldsymbol{a}_{12}^{\prime}\left(T_{11}^{-1}\right)T_{11}^{-1}\boldsymbol{a}_{12}\\ &=a_{22}-\boldsymbol{a}_{12}^{\prime}\left(T_{11}T_{11}^{\prime}\right)^{-1}\boldsymbol{a}_{12}\\ &=a_{22}-\boldsymbol{a}_{12}^{\prime}A_{11}^{-1}\boldsymbol{a}_{12}\\ \end{aligned}$

でなければならない。
　 $A$ は正定値行列であるから、 $\boldsymbol{x}=(\boldsymbol{x}^{\prime}_1,-1)^{\prime}=(\boldsymbol{a}_{12}^{\prime}A_{11}^{\prime},-1)^{\prime}$ とすれば

$\begin{aligned} \boldsymbol{x}^{\prime}A\boldsymbol{x}&=\boldsymbol{x}^{\prime}_1A_{11}\boldsymbol{x}_1-2\boldsymbol{x}_1^{\prime}\boldsymbol{a}_{12}+a_{22}\\ &=\boldsymbol{a}_{12}^{\prime}A_{11}^{-1}A_{11}A_{11}^{-1}\boldsymbol{a}_{12}-2\boldsymbol{a}_{12}^{\prime}A_{11}^{\prime}\boldsymbol{a}_{12}+a_{22}\\ &=a_{22}-\boldsymbol{a}_{12}^{\prime}A_{11}^{-1}\boldsymbol{a}_{12} \end{aligned}$

が成り立つから、 $a_{22}-\boldsymbol{a}_{12}^{\prime}A_{11}^{-1}\boldsymbol{a}_{12}$ は正数であり、 $t_{22}\gt0$ は $t_{22}=\left(a_{22}-\boldsymbol{a}_{12}^{\prime}A_{11}^{-1}\boldsymbol{a}_{12}\right)^{\frac{1}{2}}$ により一意に与えられる。　 $\blacksquare$ )