統計学のための線形代数（010/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

前回

power-of-awareness.com

前回
3.　固有値と固有ベクトル
- 3.4　対称行列の固有値に関する付加的定理
次回

3.　固有値と固有ベクトル

3.4　対称行列の固有値に関する付加的定理

　これよりもさらに一般化した、 $\mathrm{Weyl}$ の定理の一般形を扱う。

$\mathrm{Weyl}$ の定理の一般形②　 $A,B$ を $m$ 次対称行列とし、 $h,i$ を $1$ から $m$ の閉区間内の整数とする。このとき

$h+i\leq m+1$ ならば $\lambda_{h+i-1}(A+B)\leq \lambda_h(A)+\lambda_i(B)$
$h+i\geq m+1$ ならば $\lambda_{h+i-m}(A+B)\geq \lambda_h(A)+\lambda_i(B)$

が成り立つ。

( $\because$ 　 $m$ 次対称行列 $A$ の固有値 $\lambda_1(A)\geq\cdots\geq\lambda_m(A)$ に対応する正規直交固有ベクトルの集合を $\{\boldsymbol{x}_1,\cdots,\boldsymbol{x}_m\}$ とする。また $m$ 次対称行列 $B$ の固有値 $\lambda_1(B)\geq\cdots\geq\lambda_m(B)$ に対応する正規直交固有ベクトルの集合を $\{\boldsymbol{y}_1,\cdots,\boldsymbol{y}_m\}$ とする。もし

$\begin{aligned} A_h&=\displaystyle{\sum_{j=1}^{h-1}\lambda_j(A)\boldsymbol{x}_j\boldsymbol{x}_j^{\prime}},\\ B_i&=\displaystyle{\sum_{j=1}^{i-1}\lambda_j(B)\boldsymbol{y}_j\boldsymbol{y}_j^{\prime}} \end{aligned}$

ならば、明らかに $\mathrm{rank}(A_h)\leq h-1,\mathrm{rank}(B_i)\leq i-1$ が成り立つ。そして $\mathrm{rank}(A_h+B_i)\leq h+i-2$ である。したがって $h=1,j=h+i-2$ として $\mathrm{Weyl}$ の定理の一般形①の結果を用いることで

$\begin{aligned} \lambda_1(A-A_h+B-B_i)&=\lambda_1\left( (A+B)-(A_h-B_i) \right)\\ &\geq \lambda_{1+h+i-2}(A+B)\\ &=\lambda_{h+i-1}(A+B) \end{aligned}$

である。また $\mathrm{Weyl}$ の定理から

$\begin{aligned} \lambda_1(A-A_h+B-B_i)\leq \lambda_1(A-A_h)+\lambda_1(B-B_i) \end{aligned}$

が成り立つ。ここで

$\begin{aligned} A-A_h&=\displaystyle{\sum_{j=h}^{m}\lambda_j(A)\boldsymbol{x}_j\boldsymbol{x}_j^{\prime}},\\ B-B_i&=\displaystyle{\sum_{j=i}^{m}\lambda_j(B)\boldsymbol{y}_j\boldsymbol{y}_j^{\prime}} \end{aligned}$

であるから、

$\begin{aligned} \lambda_1(A-A_h)=\lambda_h(A),\lambda_1(B-B_i)=\lambda_i(B) \end{aligned}$

が成り立つ。
　これらをまとめることで

$\begin{aligned} \lambda_h(A)+\lambda_i(B)&=\lambda_1(A-A_h)+\lambda_1(B-B_i)\\ &\geq \lambda_1(A-A_h+B-B_i)\\ &=\lambda_1(A+B-(A_h+B_i) )\\ &\geq \lambda_{h+i-1}(A+B) \end{aligned}$

を得る。以上で1つ目の不等式を得た。2つ目の不等式は $A,B$ をそれぞれ $-A,-B$ に置き換えればよい。　 $\blacksquare$ )

　各種定理の結果から、固有値の和の限界を求める際に利用することができる。たとえば $\mathrm{Weyl}$ の定理から

$\begin{aligned} \displaystyle{\sum_{h=1}^{k}\lambda_h(A)+k\lambda_m(B)}\leq\displaystyle{\sum_{h=1}^{k}\lambda_h(A+B)}\leq\displaystyle{\sum_{h=1}^{k}\lambda_h(A)+k \lambda_1(B)} \end{aligned}$

を得る。
　さらにより厳しい限界を与える以下の定理が成り立つ：

$\mathrm{Wielandt}$ の定理　 $m$ 次対称行列 $A,B$ に対して $i_1,\cdots,i_k$ を $1\leq i_1\lt\cdots\lt i_k\leq m$ を満たす整数だとする。このとき $k=1,\cdots,m$ について

$\begin{aligned} \displaystyle{\sum_{j=1}^{k}}\left\{\lambda_{i_j}(A)+\lambda_{m-k+j}(B)\right\}\leq\displaystyle{\sum_{j=1}^{k}\lambda_{i_j}(A+B)}\leq\displaystyle{\sum_{j=1}^{k}}\left\{\lambda_{i_j}(A)+\lambda_{j}(B)\right\} \end{aligned}$

が成り立つ。

( $\because$ 　まず

$\begin{aligned} \displaystyle{\sum_{j=1}^{k}\lambda_{i_j}(A+B)}=\displaystyle{\min_{C_{i_1}^{\prime}\boldsymbol{x}_1=\cdots=C_{i_k}^{\prime}\boldsymbol{x}_k=\boldsymbol{0}\\\boldsymbol{x}_1\neq\boldsymbol{0},\cdots,\boldsymbol{x}_k\neq\boldsymbol{0}\\\boldsymbol{x}_h^{\prime}\boldsymbol{x}_l=0,h\neq l}\sum_{j=1}^{k}\frac{\boldsymbol{x}_j^{\prime}(A+B)\boldsymbol{x}_j}{\boldsymbol{x}_j^{\prime}\boldsymbol{x}_j}} \end{aligned}$

を満たすような行列 $C_{i_1},\cdots,C_{i_k}$ が存在することに注意する。この行列 $C_{i_1},\cdots,C_{i_k}$ は $m\times(m-i_{j})$ 行列であり、

$\begin{aligned} C_{i_j}^{\prime}C_{i_j}&=I_{m-i_j},\\ C_{i_h}C_{i_h}^{\prime}C_{i_j}&=C_{i_j} \end{aligned}$

を満たす。
　次に $\boldsymbol{y}_1,\cdots,\boldsymbol{y}_k$ を $h\neq l$ について $\boldsymbol{y}_h^{\prime}\boldsymbol{y}_l=0,C_{i_1}^{\prime}\boldsymbol{y}_1=\cdots=C_{i_k}^{\prime}\boldsymbol{y}_k=\boldsymbol{0}$ および

$\begin{aligned} \displaystyle{\sum_{j=1}^{k}\boldsymbol{y}_j^{\prime}A\boldsymbol{y}_j}=\displaystyle{\min_{C_{i_1}^{\prime}\boldsymbol{x}_1=\cdots=C_{i_k}^{\prime}\boldsymbol{x}_k=\boldsymbol{0}\\\boldsymbol{x}_1\neq\boldsymbol{0},\cdots,\boldsymbol{x}_k\neq\boldsymbol{0}\\\boldsymbol{x}_h^{\prime}\boldsymbol{x}_l=0,h\neq l}\sum_{j=1}^{k}\frac{\boldsymbol{x}_j^{\prime}A\boldsymbol{x}_j}{\boldsymbol{x}_j^{\prime}\boldsymbol{x}_j}} \end{aligned}$

を満たすような $m$ 行単位ベクトルとする。
　このとき最初の式より

$\begin{aligned} \displaystyle{\sum_{j=1}^{k}\lambda_{i_j}(A+B)}&\leq\displaystyle{\sum_{j=1}^{k}\boldsymbol{y}_j^{\prime}(A+B)\boldsymbol{y}_j}\\ &=\displaystyle{\sum_{j=1}^{k}\boldsymbol{y}_j^{\prime}A\boldsymbol{y}_j}+\displaystyle{\sum_{j=1}^{k}\boldsymbol{y}_j^{\prime}B\boldsymbol{y}_j} \end{aligned}$

を得、最初と同じ不等式

$\begin{aligned} \displaystyle{\sum_{j=1}^{k}\boldsymbol{y}_j^{\prime}A\boldsymbol{y}_j}\leq\displaystyle{\sum_{j=1}^{k}\lambda_{i_j}(A)} \end{aligned}$

を得る。
　次に $\boldsymbol{y}_{k+1},\cdots,\boldsymbol{y}_m$ を単位ベクトルとする。
ただし $\boldsymbol{y}_{1},\cdots,\boldsymbol{y}_m$ を正規直交ベクトルの集合とする。また $i=1,\cdots,k$ についてサイズ $m\times(m-i)$ の行列 $C_{*i}=(\boldsymbol{y}_{k+1},\cdots,\boldsymbol{y}_m)$ を定義する。このとき

$\begin{aligned} \displaystyle{\sum_{j=1}^{k}\boldsymbol{y}_j^{\prime}B\boldsymbol{y}_j}=\displaystyle{\min_{C_{i_1}^{\prime}\boldsymbol{x}_1=\cdots=C_{i_k}^{\prime}\boldsymbol{x}_k=\boldsymbol{0}\\\boldsymbol{x}_1\neq\boldsymbol{0},\cdots,\boldsymbol{x}_k\neq\boldsymbol{0}\\\boldsymbol{x}_h^{\prime}\boldsymbol{x}_l=0,h\neq l}\sum_{j=1}^{k}\frac{\boldsymbol{x}_j^{\prime}B\boldsymbol{x}_j}{\boldsymbol{x}_j^{\prime}\boldsymbol{x}_j}} \end{aligned}$

が成り立ち、これまでと同様にして

$\begin{aligned} \displaystyle{\sum_{j=1}^{k}\boldsymbol{y}_j^{\prime}B\boldsymbol{y}_j}\leq\displaystyle{\sum_{j=1}^{k}\lambda_{i_j}(B)} \end{aligned}$

を得る。以上により求めたかった上限を得る。下限も同様にすることで得られる。　 $\blacksquare$ )

次回

power-of-awareness.com

前回

3. 固有値と固有ベクトル

3.4 対称行列の固有値に関する付加的定理

次回

3.　固有値と固有ベクトル

3.4　対称行列の固有値に関する付加的定理