「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。

MENU

統計学のための線形代数(009/X)

 統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

を基により高等な線形代数を学ぶ。

3. 固有値固有ベクトル

3.4 対称行列の固有値に関する付加的定理

 m次対称行列AおよびH^{\prime}H=I_nを満たすm\times h行列Hに対してA固有値H^{\prime}AH固有値と比較することに関心を持つ場合が存在する。
 \mathrm{Courant}-\mathrm{Fischer}の定理から


\begin{aligned}
\lambda_1(H^{\prime}AH)&\geq \lambda_{m-h+1}(A),\\
\lambda_h(H^{\prime}AH)&\leq \lambda_h(A)
\end{aligned}

が成り立つ。
 これ以外にも\mathrm{Poincar\acute{e}}の分離定理として知られるいくつかの不等式がある。


\mathrm{Poincar\acute{e}}の分離定理
 Am次対称行列、HH^{\prime}H=Iを満たすようなm\times h行列とする。このときi=1,2,\cdots,hに対して

\begin{aligned}
\lambda_{m-h+i}(A)\leq\lambda_i(H^{\prime}AH)\leq\lambda_i(A)
\end{aligned}

が成り立つ。

(\because まずは\lambda_i(H^{\prime}AH)の下限を考える。Y_n=(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_m)とする。ここでn=m-h+i+1\boldsymbol{x}_1,\cdots,\boldsymbol{x}_m固有値\lambda_1(A)\geq\cdots\geq\lambda_m(A)に対応するAの正規直交固有ベクトルとする。このとき固有値\mathrm{Rayleigh}商に関する定理から

\begin{aligned}
\lambda_{m-h+i}(A)=\lambda_{n-1}(A)&=\displaystyle{\min_{Y_n^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&\leq\displaystyle{\min_{Y_n^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}=H\boldsymbol{y}\\\boldsymbol{y}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&=\displaystyle{\min_{Y_n^{\prime}H\boldsymbol{y}=\boldsymbol{0}\\\boldsymbol{y}\neq\boldsymbol{0}}\frac{\boldsymbol{y}^{\prime}H^{\prime}AH\boldsymbol{y}}{\boldsymbol{y}^{\prime}\boldsymbol{y}}}\\
&\leq \lambda_{h-(m-n+1)}(H^{\prime}AH)\\
&=\lambda_i(H^{\prime}AH)
\end{aligned}

が成り立つ。なお最後の不等式はH^{\prime}AHの次数がhであり、Y_n^{\prime}Hの次数が(m-n+1)\times hであることを踏まえつつ、\mathrm{Courant}-\mathrm{Fischer}\mathrm{min}-\mathrm{max}定理を適用することで得られる。
 \lambda_i(H^{\prime}AH)の上限はX_{i-1}=(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_{i-1})とし、下限のときと同様にして


\begin{aligned}
\lambda_i(A)&=\displaystyle{\max_{X_{i-1}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&\geq\displaystyle{\max_{X_{i-1}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}=H\boldsymbol{y}\\\boldsymbol{y}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&=\displaystyle{\max_{X_{i-1}^{\prime}H\boldsymbol{y}=\boldsymbol{0}\\\boldsymbol{y}\neq\boldsymbol{0}}\frac{\boldsymbol{y}^{\prime}H^{\prime}AH\boldsymbol{y}}{\boldsymbol{y}^{\prime}\boldsymbol{y}}}\\
&\geq\lambda_i(H^{\prime}AH)
\end{aligned}

が得られる。 \blacksquare)

 この\mathrm{Poincar\acute{e}}の分離定理から以下の定理が得られる。


\mathrm{Poincar\acute{e}}の分離定理の補題 m次対称行列Ak\times k主部分行列をA_kとする*1。このときi=1,2,\cdots,kに対して

\begin{aligned}
\lambda_{m-i+1}(A)\leq \lambda_{k-i+1}(A_k)\leq\lambda_{k-i+1}(A)
\end{aligned}

が成り立つ。

 また以下の\mathrm{Weyl}の定理から2つの対称行列の固有値およびこれらの和の固有値とを結びつけることができる。


\mathrm{Weyl}の定理 
 A,Bm次対称行列とする。h=1,2,\cdots,mに対して

\begin{aligned}
\lambda_h(A)+\lambda_m(B)\leq \lambda_h(A+B)\leq \lambda_h(A)+\lambda_1(B)
\end{aligned}

が成り立つ。

(\because B_hB_h^{\prime}B_h=I_{h-1}を満たすようなm\times (h-1)行列とする。このとき\mathrm{Courant}-\mathrm{Fischer}\mathrm{min}-\mathrm{max}定理から

\begin{aligned}
\lambda_h(A+B)&=\displaystyle{\min_{B_h}\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}(A+B)\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&=\displaystyle{\min_{B_h}\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\left(\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}+\frac{\boldsymbol{x}^{\prime}B\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}\right) }\\
&\geq\displaystyle{\min_{B_h}\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\left(\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}+\lambda_m(B)\right) }\\
&\geq\displaystyle{\min_{B_h}\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\left(\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}\right)}+\lambda_m(B)\\
&=\lambda_h(A)+\lambda_m(B)
\end{aligned}

を得る。不等式は\mathrm{Rayleigh}R(\boldsymbol{x},A)の大域的最大値から得られる。また最後の等式は\mathrm{Courant}-\mathrm{Fischer}\mathrm{min}-\mathrm{max}定理から得られる。
 上限も\mathrm{Courant}-\mathrm{Fischer}\mathrm{min}-\mathrm{max}定理から得られる。 \blacksquare)


\mathrm{Weyl}の定理(一般化①)
A,Bm次対称行列とするとき、\mathrm{rank}(B)\leq rを仮定する。このときh=1,2,\cdots,m-rに対して

  • \lambda_{h+r}(A)\leq \lambda_h(A+B)
  • \lambda_{h+r}(A+B)\leq \lambda_h(A)

が成り立つ。

(\because Bは対称であり、その階数は高々rであるから

\begin{aligned}
B=\displaystyle{\sum_{i=1}^{r}\gamma_i\boldsymbol{y}_i\boldsymbol{y}_i^{\prime}}
\end{aligned}

と表現することができる。ここで\boldsymbol{y}_1,\cdots,\boldsymbol{y}_rは正規直交ベクトルである。B_h,B_{h+r}B_h^{\prime}B_h=I_{h-1},B_{h+r}^{\prime}B_{h+r}=I_{h+r-1}を満たすm\times(h-1),m\times(h+r-1)行列とする。またY_r=(\boldsymbol{y}_1,\cdots,\boldsymbol{y}_r),B_{*}=(B_h,Y_r)とする。\mathrm{Courant}-\mathrm{Fischer}\mathrm{min}-\mathrm{max}定理を用いると、h=1,2,\cdots,m-rについて


\begin{aligned}
\lambda_h(A+B)&=\displaystyle{\min_{B_h}\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}(A+B)\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&\geq\displaystyle{\min_{B_h}\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0},Y_r^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}(A+B)\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&=\displaystyle{\min_{B_h}\max_{B_{*}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&=\displaystyle{\min_{B_h^{\prime}Y_r=(0)}\max_{B_{*}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&\geq\displaystyle{\min_{B_{h+r}}\max_{B_{h+r}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&=\lambda_{h+r}(A)
\end{aligned}

が成り立つ。
 同様の方法により2つ目の不等式が得られる。実際、C_h,C_{h+r}C_h^{\prime}C_h=I_{m-h},C_{h+r}^{\prime}C_{h+r}=I_{m-h-r}を満たすようなm\times(m-h),m\times(m-h-r)行列とし、C_{*}=(C_{h+r},Y_r)と定義する。このときh=1,2,\cdots,m-rに対して


\begin{aligned}
\lambda_{h+r}(A+B)&=\displaystyle{\max_{C_{h+r}}\min_{C_{h+r}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}(A+B)\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&\leq\displaystyle{\max_{C_{h+r}}\min_{C_{h+r}^{\prime}\boldsymbol{x}=\boldsymbol{0},Y_r^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}(A+B)\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&=\displaystyle{\max_{C_{h+r}}\min_{C_{*}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&=\displaystyle{\max_{C_{h+r}Y_r=(0)}\min_{C_{*}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&\leq\displaystyle{\max_{C_{h}}\min_{C_{h}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\
&=\lambda_h(A)
\end{aligned}

が成り立つ。 \blacksquare)

*1:A_kAの後ろのm-k行列を削除して得られる。

プライバシーポリシー お問い合わせ