統計学のための線形代数（004/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

前回

power-of-awareness.com

前回
3.　固有値と固有ベクトル
- 3.1　対称行列
次回

3.　固有値と固有ベクトル

3.1　対称行列

　統計学における固有値や固有ベクトルに関連する応用の多くは対称行列を扱うものである。対称行列が固有値や固有ベクトルに対して良い性質を持っているからである。
　

対称行列と固有値　 $A$ を $m\times m$ 実対称行列とする。このとき $A$ の固有値は実数であり、任意の固有値に対応する実数の固有ベクトルが存在する。

( $\because$ 　 $\lambda=\alpha+i\beta$ を $A$ の固有値とし、 $\boldsymbol{x}=\boldsymbol{y}+i\boldsymbol{z}(i=\sqrt{-1})$ をそれに対応する固有ベクトルとする。
　まず $\beta=0$ を示す。固有値および固有ベクトルの定義式

$\begin{aligned} A\boldsymbol{x}=\lambda\boldsymbol{x} \end{aligned}$

に代入することで

$\begin{aligned} A(\boldsymbol{y}+i\boldsymbol{z})=(\alpha+i\beta)(\boldsymbol{y}+i\boldsymbol{z}) \end{aligned}$

を得る。両辺に左から $(\boldsymbol{y}-i\boldsymbol{z})^{\prime}$ を掛けることで

$\begin{aligned} (\boldsymbol{y}-i\boldsymbol{z})^{\prime}A(\boldsymbol{y}+i\boldsymbol{z})=(\alpha+i\beta)(\boldsymbol{y}-i\boldsymbol{z})^{\prime}(\boldsymbol{y}+i\boldsymbol{z}) \end{aligned}$

であり、 $A$ の対称性から

$\begin{aligned} &(\boldsymbol{y}-i\boldsymbol{z})^{\prime}A(\boldsymbol{y}+i\boldsymbol{z})=(\alpha+i\beta)(\boldsymbol{y}-i\boldsymbol{z})^{\prime}(\boldsymbol{y}+i\boldsymbol{z})\\ \Leftrightarrow\ &\boldsymbol{y}^{\prime}A\boldsymbol{y}+i\boldsymbol{y}^{\prime}A\boldsymbol{z}-i\boldsymbol{z}^{\prime}A\boldsymbol{y}+\boldsymbol{z}^{\prime}A\boldsymbol{z}=(\alpha+i\beta)(\boldsymbol{y}^{\prime}\boldsymbol{y}+\boldsymbol{z}^{\prime}\boldsymbol{z})\\ \Leftrightarrow\ &\boldsymbol{y}^{\prime}A\boldsymbol{y}+\boldsymbol{z}^{\prime}A\boldsymbol{z}=(\alpha+i\beta)(\boldsymbol{y}^{\prime}\boldsymbol{y}+\boldsymbol{z}^{\prime}\boldsymbol{z}) \end{aligned}$

を得る。ここで $\boldsymbol{x}\neq\boldsymbol{0}$ は $\boldsymbol{y}^{\prime}\boldsymbol{y}+\boldsymbol{z}^{\prime}\boldsymbol{z}\gt0$ を意味し、上式の右辺は実数であるから、 $\beta=0$ でなければならない。
　 $\beta=0$ を代入することで

$\begin{aligned} A\boldsymbol{y}+iA\boldsymbol{z}=\alpha\boldsymbol{y}+i\alpha\boldsymbol{z} \end{aligned}$

となる・したがって $\boldsymbol{y},\boldsymbol{z}$ がそれぞれ $A\boldsymbol{y}=\alpha\boldsymbol{y}$ および $A\boldsymbol{z}=\alpha\boldsymbol{z}$ を満たし、その少なくとも一方は $\boldsymbol{0}$ でない限り、すなわち $\boldsymbol{x}\neq\boldsymbol{0}$ である限りにおいて $\boldsymbol{x}=\boldsymbol{y}+i\boldsymbol{z}$ は $\lambda=\alpha$ に対応する $A$ の固有ベクトルとなる。実固有ベクトルは $A\boldsymbol{y}=\alpha\boldsymbol{y}$ となるような $\boldsymbol{y}\neq\boldsymbol{0}$ の選択と $\boldsymbol{z}=\boldsymbol{0}$ によって構成される。　 $\blacksquare$ )

　関連する固有値がすべて互いに異なるならば、 $m\times m$ 行列 $A$ の固有ベクトルの集合は線形独立であった。いま $A$ が対称行列ならば、更なる性質を導くことができる。 $\boldsymbol{x},\boldsymbol{y}$ がそれぞれ固有値 $\lambda,\gamma(\lambda\neq\gamma)$ に対応する固有ベクトルであると仮定する。 $A$ の対称性から

$\begin{aligned} \lambda\boldsymbol{x}^{\prime}\boldsymbol{y}&=(\lambda\boldsymbol{x})^{\prime}\boldsymbol{y}=(A\boldsymbol{x})^{\prime}\boldsymbol{y}=\boldsymbol{x}^{\prime}A^{\prime}\boldsymbol{y}\\ &=\boldsymbol{x}^{\prime}(A\boldsymbol{y})=\boldsymbol{x}^{\prime}\gamma\boldsymbol{y}=\gamma\boldsymbol{x}^{\prime}\boldsymbol{y} \end{aligned}$