「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。目下、データ分析・語学に力点を置いています。

MENU

統計学のための線形代数(007/X)

 統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

を基により高等な線形代数を学ぶ。

3. 固有値固有ベクトル

3.2 固有値と固有射影の連続性

 2つの行列の要素の絶対差の関数により2つの行列の固有値間の絶対差を境界付ける。


行列の要素の差と固有値の差の関係式 m次正方行列A,Bがそれぞれ\lambda_1,\cdots,\lambda_m,\gamma_1,\cdots,\gamma_mという固有値をもつとする。このとき

\begin{aligned}
\displaystyle{\max_{1\leq i\leq m}\min_{1\leq j\leq m}|\lambda_i-\gamma_j|}\leq (m+2)M^{1-\frac{1}{m}}\delta(A,B)^{\frac{1}{m}}
\end{aligned}

が成り立つ。ここで


\begin{aligned}
M&=\displaystyle{\max_{1\leq i\leq m,1\leq j\leq m}\{|a_{ij}|,|b_{ij}|\}},\\
\delta(A,B)&=\displaystyle{\frac{1}{m}\sum_{i=1}^{m}\sum_{j=1}^{m}|a_{ij}-b_{ij}|}
\end{aligned}

である。

 この定理により任意の行列A固有値に関して有益な結果を導ける。B_n\rightarrow A(n\rightarrow\infty)を満たすような行列の数列\{B_i\}に対して


\begin{aligned}
\delta(A,B_n)\rightarrow0(n\rightarrow\infty)
\end{aligned}

が成り立つ。したがってB_n固有値\gamma_{1,n},\cdots,\gamma_{m,n}に対して


\begin{aligned}
\displaystyle{\max_{1\leq i\leq m}\min_{1\leq j\leq m}|\lambda_i-\gamma_{j,n}|}\leq (m+2)M^{1-\frac{1}{m}}\delta(A,B_n)^{\frac{1}{m}}\rightarrow0(n\rightarrow\infty)
\end{aligned}

を得る。言い換えればB_nAにかなり近いのであれば、それぞれのiに対して\gamma_{j,n}\lambda_iに近くなるようなjが存在する。したがって以下の定理が導かれる:


固有値と行列要素との関係性 m次正方行列A固有値\lambda_1,\cdots,\lambda_mとする。このとき各iに対して\lambda_iAの要素の連続関数である。


固有射影と行列の要素との関係性 m次正方対称行列Aに対して、\lambdaをその固有値の1つとする。このとき\lambdaに対応する固有射影は、正規直交ベクトルを\boldsymbol{x}_1,\cdots,\boldsymbol{x}_rとして

\begin{aligned}
P_A(\lambda)=\displaystyle{\sum_{i=1}^{r}\boldsymbol{x}_i\boldsymbol{x}_i^{\prime}}
\end{aligned}

Aの要素の連続関数である。

3.3 固有値極値特性

 固有値が多くの応用場面において大きな役割を果たす理由の1つは2次形式を含んだ関数の最大値や最小値として固有値が表現され得るということにある。
 m次対称行列Aを取り、\boldsymbol{x}\neq\boldsymbol{0}の関数\boldsymbol{x}^{\prime}A\boldsymbol{x}を考える。\alpha\neq0に対して(\alpha\boldsymbol{x})^{\prime}A(\alpha\boldsymbol{x})=\alpha^2\boldsymbol{x}^{\prime}A\boldsymbol{x}が成り立つため、\boldsymbol{x}^{\prime}A\boldsymbol{x}の符号に応じて\alphaを適当に選択することで、(\alpha\boldsymbol{x})^{\prime}A(\alpha\boldsymbol{x})を恣意的に大きく(小さく)することができる。したがって\boldsymbol{x}の変化に対する2次形式の変動を分析するには、\boldsymbol{x}における尺度変化(すなわち\alphaに相当する部分)の影響を取り除くことが必須である。そこでRayleigh商


\begin{aligned}
R(\boldsymbol{x},A)=\displaystyle{\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}
\end{aligned}

を考える。このとき


\begin{aligned}
R(\alpha\boldsymbol{x},A)=\displaystyle{\frac{(\alpha\boldsymbol{x})^{\prime}A(\alpha\boldsymbol{x})}{(\alpha\boldsymbol{x})^{\prime}(\alpha\boldsymbol{x})}}=\displaystyle{\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}=R(\boldsymbol{x},A)
\end{aligned}

を満たすことから確かに尺度変化を加味できていることが分かる。
 まずRayleigh商を固有値で評価できることが示される:


Rayleigh商の固有値による評価 m次対称行列A固有値\lambda_1\geq\lambda_2\geq\cdots\geq\lambda_mとする。任意の非零m次ベクトル\boldsymbol{x}に対して

\begin{aligned}
\displaystyle{\min_{\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}=\lambda_m\leq\displaystyle{\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\leq\lambda_1=\displaystyle{\max_{\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}
\end{aligned}

が成り立つ。

(\because A=X\Lambda X^{\prime}Aのスペクトル分解とする。このときX=(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_m)の列はAについての正規化された固有ベクトル\Lambda=\mathrm{diag}(\lambda_1,\cdots,\lambda_m)が成り立つ。\boldsymbol{y}=X^{\prime}\boldsymbol{x}を考えると、Xの各列ベクトルが正規化されていることに注意すれば

\begin{aligned}
R(\boldsymbol{x},A)&=\displaystyle{\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}=\displaystyle{\frac{\boldsymbol{x}^{\prime}X\Lambda X^{\prime}\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}=\displaystyle{\frac{\boldsymbol{x}^{\prime}X\Lambda X^{\prime}\boldsymbol{x}}{\boldsymbol{x}^{\prime}XX^{\prime}\boldsymbol{x}}}=\displaystyle{\frac{\boldsymbol{y}^{\prime}\Lambda\boldsymbol{y}}{\boldsymbol{y}^{\prime}\boldsymbol{y}}}\\
&=\displaystyle{\frac{\displaystyle{\sum_{i=1}^{m}\lambda_i y_i^2}}{\displaystyle{\sum_{i=1}^{m}y_i^2}}}
\end{aligned}

を得る。定義から\lambda_m\leq\lambda_{m-1}\leq\cdots\leq\lambda_1であるから


\begin{aligned}
&\lambda_m\displaystyle{\frac{\displaystyle{\sum_{i=1}^{m} y_i^2}}{\displaystyle{\sum_{i=1}^{m}y_i^2}}}\leq R(\boldsymbol{x},A)=\displaystyle{\frac{\displaystyle{\sum_{i=1}^{m}\lambda_i y_i^2}}{\displaystyle{\sum_{i=1}^{m}y_i^2}}}\leq \lambda_1\displaystyle{\frac{\displaystyle{\sum_{i=1}^{m} y_i^2}}{\displaystyle{\sum_{i=1}^{m}y_i^2}}}\\
\Leftrightarrow\ &\lambda_m\leq R(\boldsymbol{x},A)\leq \lambda_1
\end{aligned}

が成り立つ。等号は下限では\boldsymbol{x}=\boldsymbol{x}_mとすることで、上限は\boldsymbol{x}=\boldsymbol{x}_1とすれば得られる。 \blacksquare)

 なお任意の\boldsymbol{x}\neq\boldsymbol{0}に関して\boldsymbol{z}=\displaystyle{\frac{\boldsymbol{x}}{\sqrt{\boldsymbol{x}^{\prime}\boldsymbol{x}}}}は単位ベクトルであり、


\begin{aligned}
\lambda_m=\displaystyle{\min_{\boldsymbol{z}^{\prime}\boldsymbol{z}=1}\boldsymbol{z}^{\prime}A\boldsymbol{z}},\\
\lambda_1=\displaystyle{\max_{\boldsymbol{z}^{\prime}\boldsymbol{z}=1}\boldsymbol{z}^{\prime}A\boldsymbol{z}}
\end{aligned}

でも得られる。

プライバシーポリシー お問い合わせ