「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。目下、データ分析・語学に力点を置いています。

MENU

統計学のための線形代数(025/X)

 統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

を基により高等な線形代数を学ぶ。

4. 行列の因数分解と行列ノルム

4.6 Schur分解

 \mathrm{Schur}分解はまた、ある行列における零でない固有値の数がその行列の階数の下限を与えることを成立させる方法を提供する。



\mathrm{Schur}分解と階数の下限 m次正方行列Aが非零の固有値r\leq m個持つと仮定する。このとき\mathrm{rank}(A)\geq rである。
(\because XをUnitary行列、Tを上三角行列とし、A=XTX^{*}が成立するものとする。A固有値Tの対角成分であるから、Tは厳密にr個の非零対角成分を持たねばならない。Tの対角成分が0列と行を除外することで形成したTr\times r部分行列は対角成分が非零であるような上三角行列になり、これは正則である。なぜならば三角行列の行列式がその対角成分の積で表されるため、非零であるからである。したがって\mathrm{rank}(T)\geq rでなければならない。しかしXはUnitary行列であるから、正則行列であり、


\begin{aligned}
\mathrm{rank}(A)=\mathrm{rank}(XTX^{*})=\mathrm{rank}(T)\geq T
\end{aligned}

が成立する。 \blacksquare)

4.7 2つの対称行列の同時対角化


2つの対称行列の同時対角化 A,Bm次対称行列だとし、Bは正定値でもあるとする。B^{-1}A固有値\lambda_1,\cdots,\lambda_mとして\Lambda=\mathrm{diag}(\lambda_1,\cdots,\lambda_m)とする。このとき

\begin{aligned}
CAC^{\prime}=\Lambda,CBC^{\prime}=I
\end{aligned}
を満たすような正則行列Cが存在する。

例:正準変量分析
 i番目の標本を\boldsymbol{y}_{i1},\cdots,\boldsymbol{y}_{in_i}\in\mathbb{R}^{m}k個の異なるグループから独立に得た標本を扱う。このとき想定するモデルは


\begin{aligned}
\boldsymbol{y}_{ij}=\boldsymbol{\mu}_i+\boldsymbol{\varepsilon}_{ij}
\end{aligned}

である。ここで\boldsymbol{\mu}_i\in\mathbb{R}^mで各成分は定数だとし、\boldsymbol{\varepsilon}_{ij}\sim\mathcal{N}(\boldsymbol{0},\mathit{\Sigma})である。
 正準変量分析は帰無仮説H_0:\boldsymbol{\mu}_1=\cdots=\boldsymbol{\mu}_kを検定すべく


\begin{aligned}
B&=\displaystyle{\sum_{i=1}^{k}n_i(\bar{\boldsymbol{y}}-\bar{\boldsymbol{y}})(\bar{\boldsymbol{y}}-\bar{\boldsymbol{y}})^{\prime}},\\
W&=\displaystyle{\sum_{i=1}^{k}\sum_{j=1}^{n_i}(\boldsymbol{y}_{ij}-\bar{\boldsymbol{y}}_i)(\boldsymbol{y}_{ij}-\bar{\boldsymbol{y}}_i)^{\prime}},\\
\bar{\boldsymbol{y}}_i&=\displaystyle{\sum_{j=1}^{n_i}\frac{\bar{\boldsymbol{y}}_{ij}}{n_i}},\\
\bar{\boldsymbol{y}}&=\displaystyle{\sum_{i=1}^{k}\frac{n_i\bar{\boldsymbol{y}}_i}{n}},\\
n&=\displaystyle{\sum_{i=1}^{k}n_i}
\end{aligned}


を考えて、H_0が棄却された場合に実施する。

 \boldsymbol{\mu}_1,\cdots,\boldsymbol{\mu}_k\mathbb{R}^mr次元部分空間を張るならば、


\begin{aligned}
\boldsymbol{\mu}=\displaystyle{\frac{1}{n}\sum_{i=1}^{k}n_i\boldsymbol{\mu}_i}
\end{aligned}

として母集団においてBに相当する


\begin{aligned}
\mathit{\Phi}=\displaystyle{\sum_{i=1}^{k}n_i(\boldsymbol{\mu}_i-\boldsymbol{\mu})(\boldsymbol{\mu}_i-\boldsymbol{\mu})^{\prime}}
\end{aligned}

は階数がrである。
 正の固有値に対応した\mathit{\Phi}固有ベクトルr次元部分空間を張る。\mathit{\Omega}\neq Iの場合には、\mathrm{Euclid}距離が適切に機能しないため、平均ベクトル間の差異を解釈するのは難しくなる。そこで\mathit{\Omega}^{-\frac{1}{2}\ \prime}\mathit{\Omega}^{-\frac{1}{2}}=\mathit{\Omega}^{-1}とすれば


\begin{aligned}
\mathit{\Omega}^{-\frac{1}{2}}\boldsymbol{y}_{ij}\sim \mathcal{N}_m\left(\mathit{\Omega}^{-\frac{1}{2}}\boldsymbol{\mu}_i,I\right)
\end{aligned}

であるから、\mathit{\Omega}^{-\frac{1}{2}}\boldsymbol{y}_{ij}を分析すればよい。したがってr個の正の固有値に対応した\mathit{\Omega}^{-\frac{1}{2}}\mathit{\Phi}\mathit{\Omega}^{-\frac{1}{2}\ \prime}固有ベクトルにより張られる部分空間への\mathit{\Omega}^{-\frac{1}{2}}\boldsymbol{\mu}_1,\cdots,\mathit{\Omega}^{-\frac{1}{2}}\boldsymbol{\mu}_kの射影を考えればよい。すなわち\mathit{\Omega}^{-\frac{1}{2}}\mathit{\Phi}\mathit{\Omega}^{-\frac{1}{2}\ \prime}のスペクトル分解がP_1\Lambda_1P_1^{\prime}と表現できる場合、\mathbb{R}^m内にベクトルP_1^{\prime}\mathit{\Omega}^{-\frac{1}{2}}\boldsymbol{\mu}_1,\cdots,P_1^{\prime}\mathit{\Omega}^{-\frac{1}{2}}\boldsymbol{\mu}_kを描画すればよい(ここでP_1P_1^{\prime}P_1=Iを満たすm\times r行列で、\mathit{\Lambda}_1r次対角行列である。)。このr次元空間におけるベクトル\boldsymbol{v}_i=P_1^{\prime}\mathit{\Omega}^{-\frac{1}{2}}\boldsymbol{\mu}_ir個の成分はi番目の母集団に対する正準変数平均と呼ぶ。ここで正準変数を得る際に\mathit{\Phi},\mathit{\Omega}の同時対角化が用いられている。実際、C^{\prime}=(C^{\prime}_1,C^{\prime}_2)


\begin{aligned}
\begin{bmatrix}C_1\\C_2\end{bmatrix}\mathit{\Phi}\begin{bmatrix}C_1^{\prime}&C_2^{\prime}\end{bmatrix}&=\begin{bmatrix}\mathit{\Lambda}_1&0\\0&0\end{bmatrix}
\begin{bmatrix}C_1\\C_2\end{bmatrix}\mathit{\Omega}\begin{bmatrix}C_1^{\prime}&C_2^{\prime}\end{bmatrix}&=\begin{bmatrix}I_r&0\\0&I_{m-r}\end{bmatrix}
\end{aligned}

を満たすならば、C_1=P_1^{\prime}\mathit{\Omega}^{-\frac{1}{2}}とできる。もし\boldsymbol{\mu}_1,\cdots,\boldsymbol{\mu}_kが未知であれば、正準変数平均は標本平均\bar{\boldsymbol{y}}_1,\cdots,\bar{\boldsymbol{y}}_kと対応するB,Wの同時対角化を用いて計算される標本正準変数平均から推定する。


同時対角化の一般化 m次対称行列A,Bに対してA,Bの正定値であるような1次結合が存在するものとする。このときCAC^{\prime},CBC^{\prime}が共に対角行列であるような正則行列Cが存在する。
(\because D=\alpha A+\beta BDが正定値であるようなA,Bの一次結合だとする。\alpha=\beta=0ならばDは正定値でないから、一般性を失うことなく\alpha\neq 0と仮定する。このときA=\alpha^{-1}(D-\beta B)と書ける。Dは正定値であるから、D=TT^{\prime}もしくはこれと同等のT^{-1}DT^{-1\prime}であるような正則行列Tが存在する。
 さらにT^{-1}BT^{-1\prime}は対称であるから、P^{\prime}T^{-1}BT^{-1\prime}P=\Deltaが対角行列であるような正規直交行列Pが存在する。したがってC=P^{\prime}T^{-1}と定義すれば、


\begin{aligned}
CDC^{\prime}=P^{\prime}P=I,\ CBC^{\prime}=\Delta
\end{aligned}

が成立する。すなわちBCにより対角化され、


\begin{aligned}
CAC^{\prime}=\alpha^{-1}(CDC^{\prime}-\beta CBC^{\prime})=\alpha(I-\beta\Delta)
\end{aligned}

であるから、Aもまた対角化される。 \blacksquare)

プライバシーポリシー お問い合わせ