やりなおしの数学・線形代数篇（26/26） - 「大人の教養・知識・気付き」を伸ばすブログ

　定番書

作者:齋藤正彦
東京大学出版会

を基に線形代数を学び直していく。

今日のまとめ
7.　ベクトルおよび行列の解析的取扱い

今日のまとめ

写像 $A(t)=(a_{ij}(t))_{m,n}$ に対し各 $a_{ij}(t)$ が $t=a$ において連続であるとき、 $A(t)$ は点 $a$ で連続であるという。

極限
$\begin{aligned}\displaystyle{\lim_{t\rightarrow a}\frac{A(t)-A(a)}{t-a}}:=\left(\displaystyle{\lim_{t\rightarrow a}\frac{a_{ij}(t)-a_{ij}(a)}{t-a}}\right)_{m,n}\end{aligned}$
が存在するとき、 $A(t)$ は点 $a$ で微分可能であるという。この値を $A(t)$ の点 $a$ における微分係数という。

指数級数
$\begin{aligned}\displaystyle{\sum_{p=0}^{\infty}\frac{1}{p!}X^p}\end{aligned}$
は任意の行列 $X$ に対して収束する。これを $\exp{X}$ と書き、写像 $X\rightarrow\exp{X}$ を行列の指数関数という。すなわち
$\begin{aligned}\exp{X}=\displaystyle{\sum_{p=0}^{\infty}\frac{1}{p!}}X^p=I+X+\displaystyle{\frac{1}{2!}}X^2+\cdots\end{aligned}$
である。

$A=(a_{ij})_{m,n}$ に対して
$\begin{aligned}\|A\|_2=\sqrt{\displaystyle{\sum_{i,j}|a_{ij}|^2}},\|A\|_1=\displaystyle{\sum_{i,j}|a_{ij}|} \end{aligned}$
で2-ノルムおよび1-ノルムを定義する。また
$\begin{aligned}\|A\|_{0}=\displaystyle{\sup_{\|\boldsymbol{x}\|_2=1,\boldsymbol{x}\in\mathbb{R}^n}\|A\boldsymbol{x}\|_2}=\displaystyle{\sup_{\boldsymbol{x}\neq\boldsymbol{0},\boldsymbol{x}\in\mathbb{R}^n}\frac{\|A\boldsymbol{x}\|_2}{\|x\|_2}}\end{aligned}$
で作用素ノルムを定義する。

7.　ベクトルおよび行列の解析的取扱い

7.1　ベクトルおよび行列関数の微積分

行列写像の連続　写像 $A(t)=(a_{ij}(t))_{m,n}$ に対し各 $a_{ij}(t)$ が $t=a$ において連続であるとき、 $A(t)$ は点 $a$ で連続であるという。

行列の微分　極限

$\begin{aligned} \displaystyle{\lim_{t\rightarrow a}\frac{A(t)-A(a)}{t-a}}:=\left(\displaystyle{\lim_{t\rightarrow a}\frac{a_{ij}(t)-a_{ij}(a)}{t-a}}\right)_{m,n} \end{aligned}$

が存在するとき、 $A(t)$ は点 $a$ で微分可能であるという。この値を $A(t)$ の点 $a$ における微分係数という。

　行列の微分は以下の性質を持つ：

微分可能行列関数 $A(t)=(a_{ij}(t))_{m,n},B(t)=(b_{ij}(t))_{m,n}$ に対して

$\begin{aligned} ( (A+B)(t))^{\prime}=A^{\prime}(t)+B^{\prime}(t) \end{aligned}$

微分可能行列関数 $A(t)=(a_{ij}(t))_{m,n}$ および実数値微分可能関数 $c(t)$ に対して

$\begin{aligned} (c(t)A(t))^{\prime}=c^{\prime}(t)A(t)+c(t)A^{\prime}(t) \end{aligned}$

微分可能行列関数 $A(t)=(a_{ij}(t))_{l,m},B(t)=(b_{ij}(t))_{m,n}$ に対して

$\begin{aligned} (A(t)B(t))^{\prime}=A^{\prime}(t)B(t)+A(t)B^{\prime}(t) \end{aligned}$

$n$ 次正則行列 $A(t)$ が微分可能ならばその逆行列A $^{-1}(t)$ も微分可能であり

$\begin{aligned} (A^{-1}(t))^{\prime}=-A^{-1}(t)\cdot A^{\prime}(t)\cdot A^{-1}(t) \end{aligned}$

( $\because$ 　 $A(t)$ の $(i,j)$ 余因子を $\tilde{a}_{ij}(t)$ とおくと、 $A^{-1}(t)$ の $(i,j)$ 成分は

$\begin{aligned} \displaystyle{\frac{\tilde{a}_{ji}(t)}{|A(t)|}} \end{aligned}$

である。分母も分子も共に $a_{ij}(t)$ の多項式であり、定義より任意の $a_{ij}(t)$ が微分可能であるから、これもまた微分可能である。また正則であるから $|A(t)|\neq 0$ が成り立つ。したがって $A^{-1}(t)$ は微分可能である。
　また、逆行列の定義および3番目の性質より $A(t) A^{-1}(t)=I$ の両辺を $t$ について微分することで

$\begin{aligned} A^{\prime}(t)A^{-1}(t)+A(t)\left(A^{-1}(t)\right)^{\prime}=O \end{aligned}$

であり、左辺第1項を右辺に移項した上で、両辺に左から $A^{-1}(t)$ を掛けることで

$\begin{aligned} \left(A^{-1}(t)\right)^{\prime}=-A^{\prime}(t)A^{-1}(t)A^{\prime}(t) \end{aligned}$

が得られる。 $\blacksquare$ )

行列のTaylor展開　 $A(t)=(a_{ij}(t))$ に対して行列のTaylor展開を以下で定義する：

$\begin{aligned} A(t)=\displaystyle{\sum_{p=0}^{\infty}\frac{1}{p!}A^{(p)}(a)(t-a)^{p}} \end{aligned}$

7.2　行列の冪級数

　 $n$ 次正方行列 $A$ に対して行列の級数

$\begin{aligned} \displaystyle{\sum_{p=0}^{\infty}a_p X^p}=a_0 I+a_1 X+a_2 X^2+\cdots \end{aligned}$

を $X$ の冪級数という。

行列の冪級数の収束条件　通常の冪級数

$\begin{aligned} \displaystyle{\sum_{p=0}^{\infty}a_p x^p} \end{aligned}$

の収束半径を $\rho$ とする。このとき $X$ のすべての特性根の絶対値が $\rho$ よりも小さいならば、行列の冪級数は収束する。1つでも大きいものがあれば発散する。

( $\because$ 　(i) $X$ が対角行列であるとき、 $X=(\delta_{ij}x_i)$ とおくと、 $X$ の特性根は $x_1,\cdots,x_n$ であり、 $X^p=(\delta_{ij}{x_i}^p)$ である。したがって行列の冪乗の収束性は

$\begin{aligned} \displaystyle{\sum_{p=0}^{\infty}a_p x^p} \end{aligned}$

の収束性に帰着し、主張は正しい。
(ii) $X$ がJordan行列である場合、 $X=D+N$ （ $D$ は対角行列、 $N$ は冪零行列で、 $DN=ND$ ）とおく。このとき $N^n=O$ とすれば、 $p\geq n$ に対して

$\begin{aligned} X^p&=\displaystyle{\sum_{k=0}^{p}{}_{p}C_{k}D^{p-k}N^k}=\displaystyle{\sum_{k=0}^{n-1}{}_{p}C_{k}D^{p-k}N^{k}}\\ &=D^{p}+pD^{p-1}N+\cdots +{}_{p}C_{n-1}D^{p-n+1}N^{n-1} \end{aligned}$

が成り立つ。したがって行列の冪級数の収束性は $n$ 個の冪級数 $\displaystyle{\sum_{p=k}^{\infty}a_p{}_{p}C_{k} D^{p-k}}(k=0,1,\cdots,n-1)$ の収束性に一致する。これは $\displaystyle{\sum_{p=0}^{\infty}a_p x^p}$ を $k$ 回だけ項別微分したものの $\displaystyle{\frac{1}{k!}}$ 倍であるから、その収束半径は $\rho$ である。 $D$ は対角行列であるから主張は正しい。
(iii) $X$ が一般の行列の場合、 $P$ が正則行列ならば、2つの冪級数

$\begin{aligned} \displaystyle{\sum_{p=0}^{\infty}a_p X^p},\displaystyle{\sum_{p=0}^{\infty}a_p\left(P^{-1}AP\right)^p} \end{aligned}$

は同時に収束または発散する。 $P^{-1}AP$ がジョルダン行列になるように $P$ を選ぶことが可能であるから、(ii)より、主張は正しい。　 $\blacksquare$ )

行列の冪級数の収束条件（系）　行列の冪級数が収束するならば

$\begin{aligned} \displaystyle{\sum_{p=0}^{\infty}a_p\left(P^{-1}AP\right)^p} \end{aligned}$

も収束し、その和は

$\begin{aligned} P^{-1}\left(\displaystyle{\sum_{p=0}^{\infty}a_p X^p}\right)P \end{aligned}$

に等しい。

7.2.1　行列の指数級数

　指数級数

$\begin{aligned} \displaystyle{\sum_{p=0}^{\infty}\frac{1}{p!}X^p} \end{aligned}$

は任意の行列 $X$ に対して収束する。これを $\exp{X}$ と書き、写像 $X\rightarrow\exp{X}$ を行列の指数関数という。すなわち

$\begin{aligned} \exp{X}=\displaystyle{\sum_{p=0}^{\infty}\frac{1}{p!}}X^p=I+X+\displaystyle{\frac{1}{2!}}X^2+\cdots \end{aligned}$

である。
　上記から

$\begin{aligned} \exp{P^{-1}XP}=P^{-1}\exp{X}P \end{aligned}$

が成り立つ。 $X$ の固有値を $\alpha_1,\cdots,\alpha_n$ とおけば、 $\exp{X}$ の固有値は $\exp{\alpha_1},\cdots,\exp{\alpha_n}$ ですべて正である。したがって

$\begin{aligned} \mathrm{det} \exp{X}=e^{\mathrm{tr}(A)} \end{aligned}$

が成り立ち、 $\exp{X}$ は必ず正則となる。また ${}^{t}\left(\exp{X}\right)=\exp\left({}^{t}X\right)$ が成り立つ。

$\begin{aligned} \displaystyle{\frac{d}{dt}}\exp{tX}=X\exp{tX} \end{aligned}$

である。
　さらに行列 $X,Y$ が交換可能ならば

$\begin{aligned} \exp{XY}=\exp{X}\cdot\exp{Y} \end{aligned}$

である。 $X$ が交代行列ならば $\exp{X}$ は直交行列である。逆にすべての $t$ に対して $\exp{tX}$ が直交行列ならば $X$ は交代行列である。また $X$ が実対称行列ならば $\exp{X}$ は正値対称行列である。逆にすべての $t$ に対して $\exp{tX}$ が実対称行列ならば $X$ は実対称行列である。実際、 $X$ が交代行列ならば ${}^{t}X=-X$ が成り立つ。このとき

$\begin{aligned} {}^{t}(\exp{X})=\exp{⁡{}^{t}X}=\exp\left(-X\right)=(\exp{X})^{-1} \end{aligned}$

である。したがって $\exp{X}$ は直交行列である。逆に $\exp({}^{t}X)$ がすべて直交行列ならば

$\begin{aligned} {}^{t}(\exp{tX})(\exp{tX})=I \end{aligned}$

が成り立つが、この両辺を $t$ について微分し $t=0$ を代入することで

$\begin{aligned} {}^{t}X+X=O\Leftrightarrow{}^{t}X=-X \end{aligned}$

となる。
　また $X$ が実対称行列であると仮定する。このとき ${}^{t}X=X$ が成り立ち、

$\begin{aligned} {}^{t}(\exp{X})=\exp(⁡{}^{t}X)=\exp{X} \end{aligned}$

であり、 $X$ の各成分が実数であるから $\exp{X}\gt O$ である。また

$\begin{aligned} {}^{t}(\exp{tX})(\exp{tX})=I \end{aligned}$

の両辺を $t$ に関して微分し $t=0$ を代入することで

$\begin{aligned} \ -{}^{t}X+X=O\Leftrightarrow{}^{t}X=X \end{aligned}$

となる。

7.2.2　行列の対数

　 $X$ についてその固有値について $|\lambda_i|\lt1,{}^{\forall}i=1,\cdots,n$ のとき

$\begin{aligned} \log\left(⁡I+X\right):=\displaystyle{\sum_{p=1}^{\infty}\frac{(-1)^{p-1}}{p}X^p} \end{aligned}$

7.2.3　等比級数

$\begin{aligned} \displaystyle{\sum_{p=0}^{\infty}X^p}=I+X+X^2+\cdots \end{aligned}$

は、 $X$ の固有値の絶対値がすべて $1$ 未満であれば収束し、その値は $(I-X)^{-1}$ となる。

$\begin{aligned} (I-X)^{-1}=I+X+X^2+\cdots \end{aligned}$

実際

$\begin{aligned} S_n=\displaystyle{\sum_{p=0}^{n}X^p} \end{aligned}$

とおく。 $X$ の固有値の絶対値がすべて $1$ 未満であるから、 $X^n\rightarrow O(n\rightarrow\infty)$ であることに注意すると

$\begin{aligned} (I-X)S_n=(I-X)\displaystyle{\sum_{p=0}^{n}X^p}=\displaystyle{\sum_{p=0}^{n}X^p}-\displaystyle{\sum_{p=1}^{n+1}X^p}=I-X^{n+1}\rightarrow I(n\rightarrow\infty) \end{aligned}$

が成り立つ、すなわち

$\begin{aligned} (I-X)^{-1}=I+X+X^2+\cdots \end{aligned}$

7.3　行列のノルム

　 $A=(a_{ij})_{m,n}$ に対して

$\begin{aligned} \|A\|_2=\sqrt{\displaystyle{\sum_{i,j}|a_{ij}|^2}},\|A\|_1=\displaystyle{\sum_{i,j}|a_{ij}|} \end{aligned}$

で2-ノルムおよび1-ノルムを定義する。また

$\begin{aligned} \|A\|_{0}=\displaystyle{\sup_{\|\boldsymbol{x}\|_2=1,\boldsymbol{x}\in\mathbb{R}^n}\|A\boldsymbol{x}\|_2}=\displaystyle{\sup_{\boldsymbol{x}\neq\boldsymbol{0},\boldsymbol{x}\in\mathbb{R}^n}\frac{\|A\boldsymbol{x}\|_2}{\|x\|_2}} \end{aligned}$

で作用素ノルムを定義する。
　これらについて
　　(a) $\|A\|\gt0$ 。また $\|A\|=0$ ならば $A=O$
　　(b) $A,B$ の型が一致するならば、 $\|A+B\|\leq\|A\|+\|B\|$
　　(c) $\|cA\|=|c|\|A\|$
　　(d) 積 $AB$ が定義できるならば $\|AB\|\leq\|A\|\|B\|$
が成り立つ。 $\|A\|_0$ について、実際、

$\begin{aligned} \|A\|_0=\displaystyle{\sup_{\|x\|_2=1,\boldsymbol{x}\in\mathbb{R}^n}\sqrt{\displaystyle{\sum_{i,j}|a_{ij}x_i|^2}}} \end{aligned}$

であり、任意の $i,j$ に対し $\displaystyle{\sqrt{\sum_{i,j}|a_{ij}x_i|^2}}\geq0$ であるから $\|A\|_0\geq0$ である。また $\|A\|_0=0$ を仮定する。

$\begin{aligned} \displaystyle{\sup_{\|x\|_2=1,\boldsymbol{x}\in\mathbb{R}^n}\sqrt{\sum_{i,j}|a_{ij}x_i|^2}}=0 \end{aligned}$

であるが、任意の $i,j$ に対し $\sup$ の定義から

$\begin{aligned} 0\leq\displaystyle{\sqrt{\sum_{i,j}|a_{ij}x_i|^2}}\leq\displaystyle{\sup_{\|x\|_2=1,\boldsymbol{x}\in\mathbb{R}^n}\sqrt{\sum_{i,j}|a_{ij}x_i|^2}}=0 \end{aligned}$

となる。したがって任意の $i,j$ に対して

$\begin{aligned} \sqrt{\displaystyle{\sum_{i,j}|a_{ij}x_i|^2}}=0\Leftrightarrow a_{ij}x_i=0 \end{aligned}$

となるから $A=O$ である。

　次に2-ノルムでの成立を前提とすれば

$\begin{aligned} \|A+B\|_0&=\displaystyle{\sup_{\boldsymbol{x}\neq\boldsymbol{0},\boldsymbol{x}\in\mathbb{R}^n}\frac{\|(A+B)\boldsymbol{x}\|}{\|\boldsymbol{x}\|_2}}\leq\displaystyle{\sup_{\boldsymbol{x}\neq\boldsymbol{0},\boldsymbol{x}\in\mathbb{R}^n}\frac{\|A\boldsymbol{x}\|+\|B\boldsymbol{x}\|}{\|\boldsymbol{x}\|_2}}\\ &=\displaystyle{\sup_{\boldsymbol{x}\neq\boldsymbol{0},\boldsymbol{x}\in\mathbb{R}^n}\frac{\|A\boldsymbol{x}\|}{\|\boldsymbol{x}\|_2}}+ \displaystyle{\sup_{\boldsymbol{x}\neq\boldsymbol{0},\boldsymbol{x}\in\mathbb{R}^n}\frac{\|B\boldsymbol{x}\|}{\|\boldsymbol{x}\|_2}}\\ &=\|A\|_0+\|B\|_0 \end{aligned}$

　さらに

$\begin{aligned} \|cA\|_0&=\displaystyle{\sup_{\boldsymbol{x}\neq\boldsymbol{0},\boldsymbol{x}\in\mathbb{R}^n}\|cAx\|_2}=\displaystyle{\sup_{\boldsymbol{x}\neq\boldsymbol{0},\boldsymbol{x}\in\mathbb{R}^n}\sqrt{\displaystyle{\sum_{i,j}}|c a_{ij} x_i|^2}}\\ &=|c|\displaystyle{\sup_{\boldsymbol{x}\neq\boldsymbol{0},\boldsymbol{x}\in\mathbb{R}^n}\sqrt{\displaystyle{\sum_{i,j}}|a_{ij} x_i|^2}}\\ &=|c|\|A\|_0 \end{aligned}$

　そして

$\begin{aligned} \|AB\|_0&=\displaystyle{\sup_{\boldsymbol{x}\neq\boldsymbol{0},\boldsymbol{x}\in\mathbb{R}^n}\|AB\boldsymbol{x}\|_2}\\ &\leq\left(\displaystyle{\sup_{\boldsymbol{x}\neq\boldsymbol{0},\boldsymbol{x}\in\mathbb{R}^n}\|A\boldsymbol{x}\|_2}\right)\left(\displaystyle{\sup_{\boldsymbol{x}\neq\boldsymbol{0},\boldsymbol{x}\in\mathbb{R}^n}\|B\boldsymbol{x}\|_2}\right)\\ &=\|A\|_0\|B\|_0 \end{aligned}$

また

$\begin{aligned} \|A\|_1\geq\|A\|_2\geq\|A\|_0\geq\displaystyle{\frac{1}{n^2}}\|A\|_1 \end{aligned}$

が成り立つため、無限列 $\{A_p\}$ が $A_0$ に収束するための条件

$\begin{aligned} \displaystyle{\lim_{p\rightarrow\infty}\|A_0-A_p\|}=0 \end{aligned}$

はいずれのノルムに対しても成り立つ。

7.3.1　Cauchyの収束判定法

　 $(m,n)$ 型行列の無限列 $\{A_p\}$ が収束するためには任意の正数 $\varepsilon$ に対し充分大きな $p_0$ を選んで、 $q,r\geq p_0$ である限り $\|A_r-A_q\|\lt\varepsilon$ が成り立つようにできることが必要十分である。

7.3.2　行列の絶対収束

　 $(m,n)$ 型行列の級数 $\displaystyle{\sum_{p=0}^{\infty}A_p}$ に対して $\displaystyle{\sum_{p=0}^{\infty}\|A_p\|}$ 収束するならば、元の級数も収束する。このとき級数 $\displaystyle{\sum_{p=0}^{\infty}A_p}$ は絶対収束するという。
　また正方行列 $A$ に対して冪級数

$\begin{aligned} \displaystyle{\sum_{p=0}^{\infty}|a_p|\|A\|^p} \end{aligned}$

が収束するならば、行列の冪級数

$\begin{aligned} \displaystyle{\sum_{p=0}^{\infty}a_p A^p} \end{aligned}$

は収束する。
　行列空間 $M_{(m,n)}(\mathbb{R})$ の部分集合 $S$ から $M_{m^{\prime},n^{\prime}}(\mathbb{R})$ への写像 $\rho$ が $A\in S$ で連続であるとは、任意の正数 $\varepsilon$ に対し充分小さい $\delta\gt0$ を取ると、 $\|X-A\|\lt\delta\gt0$ であるような任意の $X\in S$ に対して $\|\rho(X)-\rho(A)\|\lt\varepsilon$ が成り立つことである。