「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。

MENU

統計学のための線形代数(012/X)

 統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

を基により高等な線形代数を学ぶ。

3. 固有値固有ベクトル

3.5 非負定値行列

 転置行列との積を取る演算において対称行列が頻繁に登場する。もしTm\times n行列ならば、T^{\prime}T,TT^{\prime}の双方とも対称行列になる。以下の定理では、この2種類の対称行列の固有値が非負であり、しかも正の固有値の値が等しくなることを示す。


対称行列の積の固有値(1) m\times n行列Tについて階数が\mathrm{rank}(T)=rだとする。このときT^{\prime}Tr個の正の固有値を持つ。またもしr=nならばT^{\prime}Tは正定値、r\lt nならば半正定値である。
(\because 任意の非零n次元行ベクトル\boldsymbol{x}を用いて\boldsymbol{y}=(y_1,\cdots,y_n)^{\prime}=T\boldsymbol{x}とおく。このとき

\begin{aligned}
\boldsymbol{x}^{\prime}T^{\prime}T\boldsymbol{x}=\boldsymbol{y}^{\prime}\boldsymbol{y}=\displaystyle{\sum_{i=1}^{n}y_i^2}
\end{aligned}

は明らかに非負である。したがってT^{\prime}Tは非負定値である。このときその固有値すべては非負である。またもし\boldsymbol{x}T^{\prime}T固有値0に対応する固有ベクトルであった場合には上式が0に等しくなるが、これは\boldsymbol{y}=T\boldsymbol{x}=\boldsymbol{0}のときにしか起こり得ない。
 このとき\mathrm{rank}(T)=rであるから、T\boldsymbol{x}=\boldsymbol{0}を満たすようなn-r個の線形独立な\boldsymbol{x}の集合を見つけられる。この集合はTの零空間の任意の基底に他ならない。したがって値が0であるようなT^{\prime}T固有値の数はn-r個である。以上により示すべき命題が得られた。 \blacksquare)



対称行列の積の固有値(2) m\times n行列Tについて階数が\mathrm{rank}(T)=rだとする。このときT^{\prime}Tの正の固有値TT^{\prime}の正の固有値と等しい。
(\because 重複度がhであるようなT^{\prime}T固有値として\lambda\gt0を取る。n次正方行列T^{\prime}Tは対称行列であるから、その各列は正規直交ベクトルであり、


\begin{aligned}
T^{\prime}TX=\lambda X
\end{aligned}

を満たすようなn\times h行列Xを定めることができる。ここでY=TXとすると


\begin{aligned}
TT^{\prime}Y=TT^{\prime}TX=T(\lambda X)=\lambda TX=\lambda Y
\end{aligned}

を得る。以上から\lambdaTT^{\prime}固有値でもある。TT^{\prime}固有値の重複度も


\begin{aligned}
\mathrm{rank}(Y)&=\mathrm{rank}(TX)\\
&=\mathrm{rank}( (TX)^{\prime}TX)\\
&=\mathrm{rank}(X^{\prime}T^{\prime}TX)\\
&=\mathrm{rank}(\lambda X^{\prime}X)\\
&=\mathrm{rank}(\lambda I_h)\\
&=h
\end{aligned}

から同様にhである。 \blacksquare)

 次に、\mathrm{Courant}-\mathrm{Fischer}\mathrm{min}-\mathrm{max}定理を利用することで、対称行列の固有値に関する重要な単調性を得られる。


対称行列の固有値における単調性 m次対称行列Aおよびm次非負定値行列Bについて、h=1,2,\cdots,mとしたときに


\begin{aligned}
\lambda_h(A+B)\geq\lambda_h(A)
\end{aligned}

が成り立つ。またBが正定値ならば等号が無い厳密な不等式が成り立つ。ここで\lambda_k(X)は昇順でk番目の行列X固有値である。

(\because B_h^{\prime}B_h=I_{h-1}を満たすような任意のm\times(h-1)行列B_hを考える。\mathrm{Courant}-\mathrm{Fischer}\mathrm{min\ max}定理などから、\mathrm{Rayleigh}商について


\begin{aligned}
\displaystyle{\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}(A+B)\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}&=\displaystyle{\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\left(\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}+\frac{\boldsymbol{x}^{\prime}B\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}\right)}\\
&\geq\displaystyle{\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}+\displaystyle{\min_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&\geq\displaystyle{\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}+\displaystyle{\min_{\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&=\displaystyle{\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}+\lambda_m(B)\\
&\geq\displaystyle{\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}
\end{aligned}

が成り立つ。また最後の不等号はBが正定値である場合、\lambda_m(B)\gt0であるから、\gtになる。
 次いで上で示した不等式


\begin{aligned}
\displaystyle{\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}(A+B)\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}
\geq\displaystyle{\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}
\end{aligned}

の両辺の最小値を取ることで


\begin{aligned}
\lambda_h(A+B)&=\displaystyle{\min_{B_h}\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}(A+B)\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&\geq\displaystyle{\min_{B_h}\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}=\lambda_h(A)
\end{aligned}

を得る。 \blacksquare)

\lambda_h(A+B)\lambda_h(A)+\lambda_h(B)の大小関係には常に成り立つような法則があるわけではない。

プライバシーポリシー お問い合わせ