統計学のための線形代数（012/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

前回

power-of-awareness.com

前回
3.　固有値と固有ベクトル
- 3.5　非負定値行列
次回

3.　固有値と固有ベクトル

3.5　非負定値行列

　転置行列との積を取る演算において対称行列が頻繁に登場する。もし $T$ が $m\times n$ 行列ならば、 $T^{\prime}T,TT^{\prime}$ の双方とも対称行列になる。以下の定理では、この2種類の対称行列の固有値が非負であり、しかも正の固有値の値が等しくなることを示す。

対称行列の積の固有値(1)　 $m\times n$ 行列 $T$ について階数が $\mathrm{rank}(T)=r$ だとする。このとき $T^{\prime}T$ は $r$ 個の正の固有値を持つ。またもし $r=n$ ならば $T^{\prime}T$ は正定値、 $r\lt n$ ならば半正定値である。

( $\because$ 　任意の非零 $n$ 次元行ベクトル $\boldsymbol{x}$ を用いて $\boldsymbol{y}=(y_1,\cdots,y_n)^{\prime}=T\boldsymbol{x}$ とおく。このとき

$\begin{aligned} \boldsymbol{x}^{\prime}T^{\prime}T\boldsymbol{x}=\boldsymbol{y}^{\prime}\boldsymbol{y}=\displaystyle{\sum_{i=1}^{n}y_i^2} \end{aligned}$

は明らかに非負である。したがって $T^{\prime}T$ は非負定値である。このときその固有値すべては非負である。またもし $\boldsymbol{x}$ が $T^{\prime}T$ の固有値 $0$ に対応する固有ベクトルであった場合には上式が $0$ に等しくなるが、これは $\boldsymbol{y}=T\boldsymbol{x}=\boldsymbol{0}$ のときにしか起こり得ない。
　このとき $\mathrm{rank}(T)=r$ であるから、 $T\boldsymbol{x}=\boldsymbol{0}$ を満たすような $n-r$ 個の線形独立な $\boldsymbol{x}$ の集合を見つけられる。この集合は $T$ の零空間の任意の基底に他ならない。したがって値が $0$ であるような $T^{\prime}T$ の固有値の数は $n-r$ 個である。以上により示すべき命題が得られた。　 $\blacksquare$ )

対称行列の積の固有値(2)　 $m\times n$ 行列 $T$ について階数が $\mathrm{rank}(T)=r$ だとする。このとき $T^{\prime}T$ の正の固有値は $TT^{\prime}$ の正の固有値と等しい。

( $\because$ 　重複度が $h$ であるような $T^{\prime}T$ の固有値として $\lambda\gt0$ を取る。 $n$ 次正方行列 $T^{\prime}T$ は対称行列であるから、その各列は正規直交ベクトルであり、

$\begin{aligned} T^{\prime}TX=\lambda X \end{aligned}$

を満たすような $n\times h$ 行列 $X$ を定めることができる。ここで $Y=TX$ とすると

$\begin{aligned} TT^{\prime}Y=TT^{\prime}TX=T(\lambda X)=\lambda TX=\lambda Y \end{aligned}$

を得る。以上から $\lambda$ は $TT^{\prime}$ の固有値でもある。 $TT^{\prime}$ の固有値の重複度も

$\begin{aligned} \mathrm{rank}(Y)&=\mathrm{rank}(TX)\\ &=\mathrm{rank}( (TX)^{\prime}TX)\\ &=\mathrm{rank}(X^{\prime}T^{\prime}TX)\\ &=\mathrm{rank}(\lambda X^{\prime}X)\\ &=\mathrm{rank}(\lambda I_h)\\ &=h \end{aligned}$

から同様に $h$ である。　 $\blacksquare$ )

　次に、 $\mathrm{Courant}$ - $\mathrm{Fischer}$ の $\mathrm{min}$ - $\mathrm{max}$ 定理を利用することで、対称行列の固有値に関する重要な単調性を得られる。

対称行列の固有値における単調性　 $m$ 次対称行列 $A$ および $m$ 次非負定値行列 $B$ について、 $h=1,2,\cdots,m$ としたときに

$\begin{aligned} \lambda_h(A+B)\geq\lambda_h(A) \end{aligned}$

が成り立つ。また $B$ が正定値ならば等号が無い厳密な不等式が成り立つ。ここで $\lambda_k(X)$ は昇順で $k$ 番目の行列 $X$ の固有値である。

( $\because$ 　 $B_h^{\prime}B_h=I_{h-1}$ を満たすような任意の $m\times(h-1)$ 行列 $B_h$ を考える。 $\mathrm{Courant}$ - $\mathrm{Fischer}$ の $\mathrm{min\ max}$ 定理などから、 $\mathrm{Rayleigh}$ 商について

$\begin{aligned} \displaystyle{\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}(A+B)\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}&=\displaystyle{\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\left(\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}+\frac{\boldsymbol{x}^{\prime}B\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}\right)}\\ &\geq\displaystyle{\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}+\displaystyle{\min_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &\geq\displaystyle{\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}+\displaystyle{\min_{\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &=\displaystyle{\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}+\lambda_m(B)\\ &\geq\displaystyle{\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}} \end{aligned}$

が成り立つ。また最後の不等号は $B$ が正定値である場合、 $\lambda_m(B)\gt0$ であるから、 $\gt$ になる。
　次いで上で示した不等式

の両辺の最小値を取ることで

$\begin{aligned} \lambda_h(A+B)&=\displaystyle{\min_{B_h}\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}(A+B)\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}\\ &\geq\displaystyle{\min_{B_h}\max_{B_h^{\prime}\boldsymbol{x}=\boldsymbol{0}\\\boldsymbol{x}\neq\boldsymbol{0}}\frac{\boldsymbol{x}^{\prime}A\boldsymbol{x}}{\boldsymbol{x}^{\prime}\boldsymbol{x}}}=\lambda_h(A) \end{aligned}$