統計学のための線形代数（025/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

前回

power-of-awareness.com

前回
4.　行列の因数分解と行列ノルム
- 4.6　Schur分解
- 4.7　2つの対称行列の同時対角化
次回

4.　行列の因数分解と行列ノルム

4.6　Schur分解

　 $\mathrm{Schur}$ 分解はまた、ある行列における零でない固有値の数がその行列の階数の下限を与えることを成立させる方法を提供する。

$\mathrm{Schur}$ 分解と階数の下限　 $m$ 次正方行列 $A$ が非零の固有値を $r\leq m$ 個持つと仮定する。このとき $\mathrm{rank}(A)\geq r$ である。

( $\because$ 　 $X$ をUnitary行列、 $T$ を上三角行列とし、 $A=XTX^{*}$ が成立するものとする。 $A$ の固有値は $T$ の対角成分であるから、 $T$ は厳密に $r$ 個の非零対角成分を持たねばならない。 $T$ の対角成分が $0$ 列と行を除外することで形成した $T$ の $r\times r$ 部分行列は対角成分が非零であるような上三角行列になり、これは正則である。なぜならば三角行列の行列式がその対角成分の積で表されるため、非零であるからである。したがって $\mathrm{rank}(T)\geq r$ でなければならない。しかし $X$ はUnitary行列であるから、正則行列であり、

$\begin{aligned} \mathrm{rank}(A)=\mathrm{rank}(XTX^{*})=\mathrm{rank}(T)\geq T \end{aligned}$

が成立する。　 $\blacksquare$ )

4.7　2つの対称行列の同時対角化

2つの対称行列の同時対角化　 $A,B$ を $m$ 次対称行列だとし、 $B$ は正定値でもあるとする。 $B^{-1}A$ の固有値を $\lambda_1,\cdots,\lambda_m$ として $\Lambda=\mathrm{diag}(\lambda_1,\cdots,\lambda_m)$ とする。このとき

$\begin{aligned} CAC^{\prime}=\Lambda,CBC^{\prime}=I \end{aligned}$

を満たすような正則行列 $C$ が存在する。

例：正準変量分析
　 $i$ 番目の標本を $\boldsymbol{y}_{i1},\cdots,\boldsymbol{y}_{in_i}\in\mathbb{R}^{m}$ を $k$ 個の異なるグループから独立に得た標本を扱う。このとき想定するモデルは
$\begin{aligned} \boldsymbol{y}_{ij}=\boldsymbol{\mu}_i+\boldsymbol{\varepsilon}_{ij} \end{aligned}$
である。ここで $\boldsymbol{\mu}_i\in\mathbb{R}^m$ で各成分は定数だとし、 $\boldsymbol{\varepsilon}_{ij}\sim\mathcal{N}(\boldsymbol{0},\mathit{\Sigma})$ である。
　正準変量分析は帰無仮説 $H_0:\boldsymbol{\mu}_1=\cdots=\boldsymbol{\mu}_k$ を検定すべく
$\begin{aligned} B&=\displaystyle{\sum_{i=1}^{k}n_i(\bar{\boldsymbol{y}}-\bar{\boldsymbol{y}})(\bar{\boldsymbol{y}}-\bar{\boldsymbol{y}})^{\prime}},\\ W&=\displaystyle{\sum_{i=1}^{k}\sum_{j=1}^{n_i}(\boldsymbol{y}_{ij}-\bar{\boldsymbol{y}}_i)(\boldsymbol{y}_{ij}-\bar{\boldsymbol{y}}_i)^{\prime}},\\ \bar{\boldsymbol{y}}_i&=\displaystyle{\sum_{j=1}^{n_i}\frac{\bar{\boldsymbol{y}}_{ij}}{n_i}},\\ \bar{\boldsymbol{y}}&=\displaystyle{\sum_{i=1}^{k}\frac{n_i\bar{\boldsymbol{y}}_i}{n}},\\ n&=\displaystyle{\sum_{i=1}^{k}n_i} \end{aligned}$

を考えて、 $H_0$ が棄却された場合に実施する。
　 $\boldsymbol{\mu}_1,\cdots,\boldsymbol{\mu}_k$ が $\mathbb{R}^m$ の $r$ 次元部分空間を張るならば、
$\begin{aligned} \boldsymbol{\mu}=\displaystyle{\frac{1}{n}\sum_{i=1}^{k}n_i\boldsymbol{\mu}_i} \end{aligned}$
として母集団において $B$ に相当する
$\begin{aligned} \mathit{\Phi}=\displaystyle{\sum_{i=1}^{k}n_i(\boldsymbol{\mu}_i-\boldsymbol{\mu})(\boldsymbol{\mu}_i-\boldsymbol{\mu})^{\prime}} \end{aligned}$
は階数が $r$ である。
　正の固有値に対応した $\mathit{\Phi}$ の固有ベクトルは $r$ 次元部分空間を張る。 $\mathit{\Omega}\neq I$ の場合には、 $\mathrm{Euclid}$ 距離が適切に機能しないため、平均ベクトル間の差異を解釈するのは難しくなる。そこで $\mathit{\Omega}^{-\frac{1}{2}\ \prime}\mathit{\Omega}^{-\frac{1}{2}}=\mathit{\Omega}^{-1}$ とすれば
$\begin{aligned} \mathit{\Omega}^{-\frac{1}{2}}\boldsymbol{y}_{ij}\sim \mathcal{N}_m\left(\mathit{\Omega}^{-\frac{1}{2}}\boldsymbol{\mu}_i,I\right) \end{aligned}$
であるから、 $\mathit{\Omega}^{-\frac{1}{2}}\boldsymbol{y}_{ij}$ を分析すればよい。したがって $r$ 個の正の固有値に対応した $\mathit{\Omega}^{-\frac{1}{2}}\mathit{\Phi}\mathit{\Omega}^{-\frac{1}{2}\ \prime}$ の固有ベクトルにより張られる部分空間への $\mathit{\Omega}^{-\frac{1}{2}}\boldsymbol{\mu}_1,\cdots,$ $\mathit{\Omega}^{-\frac{1}{2}}\boldsymbol{\mu}_k$ の射影を考えればよい。すなわち $\mathit{\Omega}^{-\frac{1}{2}}\mathit{\Phi}\mathit{\Omega}^{-\frac{1}{2}\ \prime}$ のスペクトル分解が $P_1\Lambda_1P_1^{\prime}$ と表現できる場合、 $\mathbb{R}^m$ 内にベクトル $P_1^{\prime}\mathit{\Omega}^{-\frac{1}{2}}\boldsymbol{\mu}_1,\cdots,P_1^{\prime}\mathit{\Omega}^{-\frac{1}{2}}\boldsymbol{\mu}_k$ を描画すればよい(ここで $P_1$ は $P_1^{\prime}P_1=I$ を満たす $m\times r$ 行列で、 $\mathit{\Lambda}_1$ は $r$ 次対角行列である。)。この $r$ 次元空間におけるベクトル $\boldsymbol{v}_i=P_1^{\prime}\mathit{\Omega}^{-\frac{1}{2}}\boldsymbol{\mu}_i$ の $r$ 個の成分は $i$ 番目の母集団に対する正準変数平均と呼ぶ。ここで正準変数を得る際に $\mathit{\Phi},$ $\mathit{\Omega}$ の同時対角化が用いられている。実際、 $C^{\prime}=(C^{\prime}_1,C^{\prime}_2)$ が
$\begin{aligned} \begin{bmatrix}C_1\\C_2\end{bmatrix}\mathit{\Phi}\begin{bmatrix}C_1^{\prime}&C_2^{\prime}\end{bmatrix}&=\begin{bmatrix}\mathit{\Lambda}_1&0\\0&0\end{bmatrix} \begin{bmatrix}C_1\\C_2\end{bmatrix}\mathit{\Omega}\begin{bmatrix}C_1^{\prime}&C_2^{\prime}\end{bmatrix}&=\begin{bmatrix}I_r&0\\0&I_{m-r}\end{bmatrix} \end{aligned}$
を満たすならば、 $C_1=P_1^{\prime}\mathit{\Omega}^{-\frac{1}{2}}$ とできる。もし $\boldsymbol{\mu}_1,\cdots,\boldsymbol{\mu}_k$ が未知であれば、正準変数平均は標本平均 $\bar{\boldsymbol{y}}_1,\cdots,\bar{\boldsymbol{y}}_k$ と対応する $B,W$ の同時対角化を用いて計算される標本正準変数平均から推定する。

同時対角化の一般化　 $m$ 次対称行列 $A,B$ に対して $A,B$ の正定値であるような1次結合が存在するものとする。このとき $CAC^{\prime},CBC^{\prime}$ が共に対角行列であるような正則行列 $C$ が存在する。

( $\because$ 　 $D=\alpha A+\beta B$ を $D$ が正定値であるような $A,B$ の一次結合だとする。 $\alpha=\beta=0$ ならば $D$ は正定値でないから、一般性を失うことなく $\alpha\neq 0$ と仮定する。このとき $A=\alpha^{-1}(D-\beta B)$ と書ける。 $D$ は正定値であるから、 $D=TT^{\prime}$ もしくはこれと同等の $T^{-1}DT^{-1\prime}$ であるような正則行列 $T$ が存在する。
　さらに $T^{-1}BT^{-1\prime}$ は対称であるから、 $P^{\prime}T^{-1}BT^{-1\prime}P=\Delta$ が対角行列であるような正規直交行列 $P$ が存在する。したがって $C=P^{\prime}T^{-1}$ と定義すれば、

$\begin{aligned} CDC^{\prime}=P^{\prime}P=I,\ CBC^{\prime}=\Delta \end{aligned}$

が成立する。すなわち $B$ は $C$ により対角化され、

$\begin{aligned} CAC^{\prime}=\alpha^{-1}(CDC^{\prime}-\beta CBC^{\prime})=\alpha(I-\beta\Delta) \end{aligned}$

であるから、 $A$ もまた対角化される。　 $\blacksquare$ )

次回

power-of-awareness.com

前回

4. 行列の因数分解と行列ノルム

4.6 Schur分解

4.7 2つの対称行列の同時対角化

次回

4.　行列の因数分解と行列ノルム

4.6　Schur分解

4.7　2つの対称行列の同時対角化