統計学のための線形代数（009/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

前回

power-of-awareness.com

前回
3.　固有値と固有ベクトル
- 3.4　対称行列の固有値に関する付加的定理
次回

3.　固有値と固有ベクトル

3.4　対称行列の固有値に関する付加的定理

　 $m$ 次対称行列 $A$ および $H^{\prime}H=I_n$ を満たす $m\times h$ 行列 $H$ に対して $A$ の固有値を $H^{\prime}AH$ の固有値と比較することに関心を持つ場合が存在する。
　 $\mathrm{Courant}$ - $\mathrm{Fischer}$ の定理から

$\begin{aligned} \lambda_1(H^{\prime}AH)&\geq \lambda_{m-h+1}(A),\\ \lambda_h(H^{\prime}AH)&\leq \lambda_h(A) \end{aligned}$

が成り立つ。
　これ以外にも $\mathrm{Poincar\acute{e}}$ の分離定理として知られるいくつかの不等式がある。

$\mathrm{Poincar\acute{e}}$ の分離定理
　 $A$ を $m$ 次対称行列、 $H$ を $H^{\prime}H=I$ を満たすような $m\times h$ 行列とする。このとき $i=1,2,\cdots,h$ に対して

$\begin{aligned} \lambda_{m-h+i}(A)\leq\lambda_i(H^{\prime}AH)\leq\lambda_i(A) \end{aligned}$

が成り立つ。

( $\because$ 　まずは $\lambda_i(H^{\prime}AH)$ の下限を考える。 $Y_n=(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_m)$ とする。ここで $n=m-h+i+1$ 、 $\boldsymbol{x}_1,\cdots,\boldsymbol{x}_m$ は固有値 $\lambda_1(A)\geq\cdots\geq\lambda_m(A)$ に対応する $A$ の正規直交固有ベクトルとする。このとき固有値の $\mathrm{Rayleigh}$ 商に関する定理から

$\begin{aligned} \lambda_{m-h+i}(A)=\lambda_{n-1}(A)&=\displaystyle{\min_{Y_n^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &\leq\displaystyle{\min_{Y_n^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}=H\boldsymbol{y}\\\boldsymbol{y}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &=\displaystyle{\min_{Y_n^{\prime}H\boldsymbol{y}=\boldsymbol{0}\\\boldsymbol{y}\neq\boldsymbol{0}}\frac{\boldsymbol{y}^{\prime}H^{\prime}AH\boldsymbol{y}}{\boldsymbol{y}^{\prime}\boldsymbol{y}}}\\ &\leq \lambda_{h-(m-n+1)}(H^{\prime}AH)\\ &=\lambda_i(H^{\prime}AH) \end{aligned}$

が成り立つ。なお最後の不等式は $H^{\prime}AH$ の次数が $h$ であり、 $Y_n^{\prime}H$ の次数が $(m-n+1)\times h$ であることを踏まえつつ、 $\mathrm{Courant}$ - $\mathrm{Fischer}$ の $\mathrm{min}$ - $\mathrm{max}$ 定理を適用することで得られる。
　 $\lambda_i(H^{\prime}AH)$ の上限は $X_{i-1}=(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_{i-1})$ とし、下限のときと同様にして

$\begin{aligned} \lambda_i(A)&=\displaystyle{\max_{X_{i-1}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &\geq\displaystyle{\max_{X_{i-1}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}=H\boldsymbol{y}\\\boldsymbol{y}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &=\displaystyle{\max_{X_{i-1}^{\prime}H\boldsymbol{y}=\boldsymbol{0}\\\boldsymbol{y}\neq\boldsymbol{0}}\frac{\boldsymbol{y}^{\prime}H^{\prime}AH\boldsymbol{y}}{\boldsymbol{y}^{\prime}\boldsymbol{y}}}\\ &\geq\lambda_i(H^{\prime}AH) \end{aligned}$

が得られる。　 $\blacksquare$ )

　この $\mathrm{Poincar\acute{e}}$ の分離定理から以下の定理が得られる。

$\mathrm{Poincar\acute{e}}$ の分離定理の補題　 $m$ 次対称行列 $A$ の $k\times k$ 主部分行列を $A_k$ とする*1。このとき $i=1,2,\cdots,k$ に対して

$\begin{aligned} \lambda_{m-i+1}(A)\leq \lambda_{k-i+1}(A_k)\leq\lambda_{k-i+1}(A) \end{aligned}$

が成り立つ。

　また以下の $\mathrm{Weyl}$ の定理から2つの対称行列の固有値およびこれらの和の固有値とを結びつけることができる。

$\mathrm{Weyl}$ の定理　
　 $A,B$ を $m$ 次対称行列とする。 $h=1,2,\cdots,m$ に対して

$\begin{aligned} \lambda_h(A)+\lambda_m(B)\leq \lambda_h(A+B)\leq \lambda_h(A)+\lambda_1(B) \end{aligned}$

が成り立つ。

( $\because$ 　 $B_h$ を $B_h^{\prime}B_h=I_{h-1}$ を満たすような $m\times (h-1)$ 行列とする。このとき $\mathrm{Courant}$ - $\mathrm{Fischer}$ の $\mathrm{min}$ - $\mathrm{max}$ 定理から

$\begin{aligned} \lambda_h(A+B)&=\displaystyle{\min_{B_h}\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}(A+B)\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &=\displaystyle{\min_{B_h}\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\left(\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}+\frac{\boldsymbol{x}^{\prime}B\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}\right) }\\ &\geq\displaystyle{\min_{B_h}\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\left(\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}+\lambda_m(B)\right) }\\ &\geq\displaystyle{\min_{B_h}\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\left(\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}\right)}+\lambda_m(B)\\ &=\lambda_h(A)+\lambda_m(B) \end{aligned}$

を得る。不等式は $\mathrm{Rayleigh}$ 商 $R(\boldsymbol{x},A)$ の大域的最大値から得られる。また最後の等式は $\mathrm{Courant}$ - $\mathrm{Fischer}$ の $\mathrm{min}$ - $\mathrm{max}$ 定理から得られる。
　上限も $\mathrm{Courant}$ - $\mathrm{Fischer}$ の $\mathrm{min}$ - $\mathrm{max}$ 定理から得られる。　 $\blacksquare$ )

$\mathrm{Weyl}$ の定理(一般化①)
$A,B$ を $m$ 次対称行列とするとき、 $\mathrm{rank}(B)\leq r$ を仮定する。このとき $h=1,2,\cdots,m-r$ に対して

$\lambda_{h+r}(A)\leq \lambda_h(A+B)$
$\lambda_{h+r}(A+B)\leq \lambda_h(A)$

が成り立つ。

( $\because$ 　 $B$ は対称であり、その階数は高々 $r$ であるから

$\begin{aligned} B=\displaystyle{\sum_{i=1}^{r}\gamma_i\boldsymbol{y}_i\boldsymbol{y}_i^{\prime}} \end{aligned}$

と表現することができる。ここで $\boldsymbol{y}_1,\cdots,\boldsymbol{y}_r$ は正規直交ベクトルである。 $B_h,B_{h+r}$ を $B_h^{\prime}B_h=I_{h-1},B_{h+r}^{\prime}B_{h+r}=I_{h+r-1}$ を満たす $m\times(h-1),m\times(h+r-1)$ 行列とする。また $Y_r=(\boldsymbol{y}_1,\cdots,\boldsymbol{y}_r),B_{*}=(B_h,Y_r)$ とする。 $\mathrm{Courant}$ - $\mathrm{Fischer}$ の $\mathrm{min}$ - $\mathrm{max}$ 定理を用いると、 $h=1,2,\cdots,m-r$ について

$\begin{aligned} \lambda_h(A+B)&=\displaystyle{\min_{B_h}\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}(A+B)\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &\geq\displaystyle{\min_{B_h}\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0},Y_r^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}(A+B)\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &=\displaystyle{\min_{B_h}\max_{B_{*}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &=\displaystyle{\min_{B_h^{\prime}Y_r=(0)}\max_{B_{*}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &\geq\displaystyle{\min_{B_{h+r}}\max_{B_{h+r}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &=\lambda_{h+r}(A) \end{aligned}$

が成り立つ。
　同様の方法により2つ目の不等式が得られる。実際、 $C_h,C_{h+r}$ を $C_h^{\prime}C_h=I_{m-h},C_{h+r}^{\prime}C_{h+r}=I_{m-h-r}$ を満たすような $m\times(m-h),m\times(m-h-r)$ 行列とし、 $C_{*}=(C_{h+r},Y_r)$ と定義する。このとき $h=1,2,\cdots,m-r$ に対して

$\begin{aligned} \lambda_{h+r}(A+B)&=\displaystyle{\max_{C_{h+r}}\min_{C_{h+r}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}(A+B)\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &\leq\displaystyle{\max_{C_{h+r}}\min_{C_{h+r}^{\prime}\boldsymbol{x}=\boldsymbol{0},Y_r^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}(A+B)\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &=\displaystyle{\max_{C_{h+r}}\min_{C_{*}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &=\displaystyle{\max_{C_{h+r}Y_r=(0)}\min_{C_{*}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &\leq\displaystyle{\max_{C_{h}}\min_{C_{h}^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &=\lambda_h(A) \end{aligned}$

が成り立つ。　 $\blacksquare$ )

次回

power-of-awareness.com

*1: $A_k$ は $A$ の後ろの $m-k$ 行列を削除して得られる。

前回

3. 固有値と固有ベクトル

3.4 対称行列の固有値に関する付加的定理

次回

3.　固有値と固有ベクトル

3.4　対称行列の固有値に関する付加的定理