統計学のための線形代数（007/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

前回

power-of-awareness.com

前回
3.　固有値と固有ベクトル
- 3.2　固有値と固有射影の連続性
- 3.3　固有値の極値特性
次回

3.　固有値と固有ベクトル

3.2　固有値と固有射影の連続性

　2つの行列の要素の絶対差の関数により2つの行列の固有値間の絶対差を境界付ける。

行列の要素の差と固有値の差の関係式　 $m$ 次正方行列 $A,B$ がそれぞれ $\lambda_1,\cdots,\lambda_m,\gamma_1,\cdots,\gamma_m$ という固有値をもつとする。このとき

$\begin{aligned} \displaystyle{\max_{1\leq i\leq m}\min_{1\leq j\leq m}|\lambda_i-\gamma_j|}\leq (m+2)M^{1-\frac{1}{m}}\delta(A,B)^{\frac{1}{m}} \end{aligned}$

が成り立つ。ここで

$\begin{aligned} M&=\displaystyle{\max_{1\leq i\leq m,1\leq j\leq m}\{|a_{ij}|,|b_{ij}|\}},\\ \delta(A,B)&=\displaystyle{\frac{1}{m}\sum_{i=1}^{m}\sum_{j=1}^{m}|a_{ij}-b_{ij}|} \end{aligned}$

である。

　この定理により任意の行列 $A$ の固有値に関して有益な結果を導ける。 $B_n\rightarrow A(n\rightarrow\infty)$ を満たすような行列の数列 $\{B_i\}$ に対して

$\begin{aligned} \delta(A,B_n)\rightarrow0(n\rightarrow\infty) \end{aligned}$

が成り立つ。したがって $B_n$ の固有値 $\gamma_{1,n},\cdots,\gamma_{m,n}$ に対して

$\begin{aligned} \displaystyle{\max_{1\leq i\leq m}\min_{1\leq j\leq m}|\lambda_i-\gamma_{j,n}|}\leq (m+2)M^{1-\frac{1}{m}}\delta(A,B_n)^{\frac{1}{m}}\rightarrow0(n\rightarrow\infty) \end{aligned}$

を得る。言い換えれば $B_n$ が $A$ にかなり近いのであれば、それぞれの $i$ に対して $\gamma_{j,n}$ が $\lambda_i$ に近くなるような $j$ が存在する。したがって以下の定理が導かれる：

固有値と行列要素との関係性　 $m$ 次正方行列 $A$ の固有値を $\lambda_1,\cdots,\lambda_m$ とする。このとき各 $i$ に対して $\lambda_i$ は $A$ の要素の連続関数である。

固有射影と行列の要素との関係性　 $m$ 次正方対称行列 $A$ に対して、 $\lambda$ をその固有値の1つとする。このとき $\lambda$ に対応する固有射影は、正規直交ベクトルを $\boldsymbol{x}_1,\cdots,\boldsymbol{x}_r$ として

$\begin{aligned} P_A(\lambda)=\displaystyle{\sum_{i=1}^{r}\boldsymbol{x}_i\boldsymbol{x}_i^{\prime}} \end{aligned}$

は $A$ の要素の連続関数である。

　固有値が多くの応用場面において大きな役割を果たす理由の1つは2次形式を含んだ関数の最大値や最小値として固有値が表現され得るということにある。
　 $m$ 次対称行列 $A$ を取り、 $\boldsymbol{x}\neq\boldsymbol{0}$ の関数 $\boldsymbol{x}^{\prime}A\boldsymbol{x}$ を考える。 $\alpha\neq0$ に対して $(\alpha\boldsymbol{x})^{\prime}A(\alpha\boldsymbol{x})=\alpha^2\boldsymbol{x}^{\prime}A\boldsymbol{x}$ が成り立つため、 $\boldsymbol{x}^{\prime}A\boldsymbol{x}$ の符号に応じて $\alpha$ を適当に選択することで、 $(\alpha\boldsymbol{x})^{\prime}A(\alpha\boldsymbol{x})$ を恣意的に大きく（小さく）することができる。したがって $\boldsymbol{x}$ の変化に対する2次形式の変動を分析するには、 $\boldsymbol{x}$ における尺度変化(すなわち $\alpha$ に相当する部分)の影響を取り除くことが必須である。そこでRayleigh商

$\begin{aligned} R(\boldsymbol{x},A)=\displaystyle{\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}} \end{aligned}$

を考える。このとき

$\begin{aligned} R(\alpha\boldsymbol{x},A)=\displaystyle{\frac{(\alpha\boldsymbol{x})^{\prime}A(\alpha\boldsymbol{x})}{(\alpha\boldsymbol{x})^{\prime}(\alpha\boldsymbol{x})}}=\displaystyle{\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}=R(\boldsymbol{x},A) \end{aligned}$

を満たすことから確かに尺度変化を加味できていることが分かる。
　まずRayleigh商を固有値で評価できることが示される：

Rayleigh商の固有値による評価　 $m$ 次対称行列 $A$ の固有値を $\lambda_1\geq\lambda_2\geq\cdots\geq\lambda_m$ とする。任意の非零 $m$ 次ベクトル $\boldsymbol{x}$ に対して

$\begin{aligned} \displaystyle{\min_{\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}=\lambda_m\leq\displaystyle{\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\leq\lambda_1=\displaystyle{\max_{\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}} \end{aligned}$

が成り立つ。

( $\because$ 　 $A=X\Lambda X^{\prime}$ を $A$ のスペクトル分解とする。このとき $X=(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_m)$ の列は $A$ についての正規化された固有ベクトル、 $\Lambda=\mathrm{diag}(\lambda_1,\cdots,\lambda_m)$ が成り立つ。 $\boldsymbol{y}=X^{\prime}\boldsymbol{x}$ を考えると、 $X$ の各列ベクトルが正規化されていることに注意すれば

$\begin{aligned} R(\boldsymbol{x},A)&=\displaystyle{\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}=\displaystyle{\frac{\boldsymbol{x}^{\prime}X\Lambda X^{\prime}\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}=\displaystyle{\frac{\boldsymbol{x}^{\prime}X\Lambda X^{\prime}\boldsymbol{x}}{\boldsymbol{x}^{\prime}XX^{\prime}\boldsymbol{x}}}=\displaystyle{\frac{\boldsymbol{y}^{\prime}\Lambda\boldsymbol{y}}{\boldsymbol{y}^{\prime}\boldsymbol{y}}}\\ &=\displaystyle{\frac{\displaystyle{\sum_{i=1}^{m}\lambda_i y_i^2}}{\displaystyle{\sum_{i=1}^{m}y_i^2}}} \end{aligned}$

を得る。定義から $\lambda_m\leq\lambda_{m-1}\leq\cdots\leq\lambda_1$ であるから

$\begin{aligned} &\lambda_m\displaystyle{\frac{\displaystyle{\sum_{i=1}^{m} y_i^2}}{\displaystyle{\sum_{i=1}^{m}y_i^2}}}\leq R(\boldsymbol{x},A)=\displaystyle{\frac{\displaystyle{\sum_{i=1}^{m}\lambda_i y_i^2}}{\displaystyle{\sum_{i=1}^{m}y_i^2}}}\leq \lambda_1\displaystyle{\frac{\displaystyle{\sum_{i=1}^{m} y_i^2}}{\displaystyle{\sum_{i=1}^{m}y_i^2}}}\\ \Leftrightarrow\ &\lambda_m\leq R(\boldsymbol{x},A)\leq \lambda_1 \end{aligned}$

が成り立つ。等号は下限では $\boldsymbol{x}=\boldsymbol{x}_m$ とすることで、上限は $\boldsymbol{x}=\boldsymbol{x}_1$ とすれば得られる。　 $\blacksquare$ )

　なお任意の $\boldsymbol{x}\neq\boldsymbol{0}$ に関して $\boldsymbol{z}=\displaystyle{\frac{\boldsymbol{x}}{\sqrt{\boldsymbol{x}^{\prime}\boldsymbol{x}}}}$ は単位ベクトルであり、

$\begin{aligned} \lambda_m=\displaystyle{\min_{\boldsymbol{z}^{\prime}\boldsymbol{z}=1}\boldsymbol{z}^{\prime}A\boldsymbol{z}},\\ \lambda_1=\displaystyle{\max_{\boldsymbol{z}^{\prime}\boldsymbol{z}=1}\boldsymbol{z}^{\prime}A\boldsymbol{z}} \end{aligned}$

でも得られる。

次回

power-of-awareness.com

前回

3. 固有値と固有ベクトル

3.2 固有値と固有射影の連続性

3.3 固有値の極値特性

次回

3.　固有値と固有ベクトル

3.2　固有値と固有射影の連続性

3.3　固有値の極値特性