統計学のための線形代数（006/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

前回

power-of-awareness.com

前回
3.　固有値と固有ベクトル
- 3.1　対称行列
次回

3.　固有値と固有ベクトル

3.1　対称行列

　行列 $A$ の正規直交固有ベクトルの集合は $A$ の固有射影を求めるために用いられる場合がある。

固有射影　 $\lambda$ を重複度 $r\geq1$ の $m\times m$ 対称行列 $A$ の固有値とする。 $\boldsymbol{x}_1,\cdots,\boldsymbol{x}_r$ が $\lambda$ に対応する正規直交固有ベクトルの集合であれば、 $\lambda$ に対応する $A$ の固有射影は

$\begin{aligned} P_A(\lambda)=\displaystyle{\sum_{i=1}^{r}\boldsymbol{x}_i\boldsymbol{x}_i^{\prime}} \end{aligned}$

で与えられる。

　この固有射影 $P_A(\lambda)$ は単にベクトル空間 $S_A(\lambda)$ への射影行列である。したがって ${}^{\forall}\boldsymbol{x}\in\mathbb{R}^m$ について $\boldsymbol{y}=P_A(\lambda)\boldsymbol{x}$ は固有空間 $S_A(\lambda)$ 上への $\boldsymbol{x}$ の直交射影を与える。前述のように $\boldsymbol{X}_1=(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_r)$ と定義すると、 $P_A(\lambda)=\boldsymbol{X}_1\boldsymbol{X}_1^{\prime}$ となる。固有ベクトル $\boldsymbol{x}_1,\cdots,\boldsymbol{x}_r$ の集合は一意ではないが、 $P_A(\lambda)$ は一意である。
　スペクトル分解は同じ値の重複を除いた $A$ のすべての固有値の集合に対する $A$ のスペクトル集合という用語に由来する。 $m\times m$ 行列 $A$ がスペクトル集合 $\{\mu_1,\cdots,\mu_k\}$ を持つと仮定する。ただし $\mu_i$ の中のいくつかは重複固有値に対応している可能性があるため、 $k\leq m$ である。 $\mu_i$ の集合は $\mu_i$ においては同じ値の重複を認めないという点で $\lambda_i$ の集合とは異なる可能性がある。
　スペクトル分解は

$\begin{aligned} A=\boldsymbol{X}\Lambda\boldsymbol{X}^{\prime}=\displaystyle{\sum_{i=1}^{m}\lambda_i\boldsymbol{x}_i\boldsymbol{x}_i^{\prime}}=\displaystyle{\sum_{i=1}^{k}\mu_i P_A(\mu_i)} \end{aligned}$

であり、 $A$ は複数校の和に分解され、その各々がスペクトル集合のそれぞれの値に対応している。この分解を

$\begin{aligned} A=\displaystyle{\sum_{i=1}^{k}\mu_iP_A(\mu_i)} \end{aligned}$

と書くとき、ベクトル空間の射影行列の一意性より、和の中の項は一意に定義される。一方で分解

$\begin{aligned} A=\displaystyle{\sum_{i=1}^{m}\lambda_i} \end{aligned}$

は $\lambda_i$ がすべて異なる場合に限り、一意に定義される項をもつ。

　行列の階数とその行列の非零固有値の数との関係は対称行列に関しては以下が成り立つ。

行列の階数と固有値の数　 $m\times m$ 行列 $A$ は $r$ 個の非零固有値を持つものとする。このとき $A$ が対称行列ならば、 $\mathrm{rank}(A)=r$ である。

( $\because$ 　 $A$ のスペクトル分析 $A=X\Lambda X^{\prime}$ に対して対角行列 $\Lambda$ は $r$ 個の非零の対角要素を持つ。正則行列による行列の情報は階数に影響しないから

$\begin{aligned} \mathrm{rank}(A)=\mathrm{rank}(X\Lambda X^{\prime})=\mathrm{rank}(\Lambda) \end{aligned}$

を得る。　 $\blacksquare$ )

　統計学において固有値と固有ベクトルを利用した応用で最も重要なのは共分散行列や相関行列の分析である。

例：相関が1つの値を取る相関行列
　分散共分散行列において分散や相関が1つの値を取る場合を考える。このとき
$\begin{aligned} \Omega=\sigma^2\begin{bmatrix}1&\rho&\cdots&\rho\\\rho&1&\cdots&\rho\\\vdots&\vdots&&\vdots\\\rho&\rho&\cdots&1\end{bmatrix} \end{aligned}$
である。また $\Omega=(1-\rho)I_M+\rho\boldsymbol{1}_m\boldsymbol{1}_m^{\prime}$ とも書けるからベクトル $\boldsymbol{1}_m$ の関数でもある。
　ここで
$\begin{aligned} \Omega\boldsymbol{1}_m=\sigma^2\{(1-\rho)\boldsymbol{1}_m+\rho\boldsymbol{1}_m\boldsymbol{1}_m^{\prime}\boldsymbol{1}_m\}=\sigma^2\{(1-\rho)+m\rho\}\boldsymbol{1}_m \end{aligned}$
が成り立つ。これはすなわち $\boldsymbol{1}_m$ は $\sigma^2\{(1-\rho)+m\rho\}$ に対応する $\Omega$ の固有ベクトルであることを意味する。 $\Omega$ の残りの固有値は、もし $\boldsymbol{x}$ が $\boldsymbol{1}_m$ に直交する任意の $m\times1$ ベクトルであるならば、
$\begin{aligned} \Omega\boldsymbol{x}=\sigma^2\{(1-\rho)\boldsymbol{x}+\rho\boldsymbol{1}_m\boldsymbol{1}_m^{\prime}\boldsymbol{x}\}=\rho^2(1-\rho)\boldsymbol{x} \end{aligned}$
であり、したがって $\boldsymbol{x}$ は固有値 $\sigma^2(1-\rho)$ に対応する $\Omega$ の固有ベクトルであることから特定される。
　 $\boldsymbol{1}_m$ に対しては $m-1$ 個の線形独立なベクトルが存在するので、固有値 $\sigma^2(1-\rho)$ の重複度は $m-1$ である。これら2つの異なる固有値の順序は $\rho$ に依存する。すなわち $\sigma^2\{(1-\rho)+m\rho\}$ は $\rho\gt0$ ならば $\sigma^2(1-\rho)$ よりも大きくなる。

次回

power-of-awareness.com

前回

3. 固有値と固有ベクトル

3.1 対称行列

次回

3.　固有値と固有ベクトル

3.1　対称行列