統計学のための線形代数（001/X） - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

統計学のための線形代数

朝倉書店

Amazon

を基により高等な線形代数を学ぶ。

1.　線形代数の基礎
次回

1.　線形代数の基礎

1.1　転置

　 $m\times n$ 行列 $A=(a_{ij})$ の転置 $A^{\prime}$ を

$\begin{aligned} A^{\prime}=(a_{ji}) \end{aligned}$

で定義する*1。
　 $(m,p)$ 行列 $A$ および $(p,n)$ 行列 $B$ に対して行列 $AB$ の転置 $\left((AB)^{\prime}\right)$ は、その $(i,j)$ 要素について

$\begin{aligned} \left((AB)^{\prime}\right)_{ij}&=(AB)_{ji}=\displaystyle{\sum_{k=1}^{p}a_{jk}b_{ki}}\\ &=\left(B^{\prime}A^{\prime}\right)_{ij} \end{aligned}$

と表すことができる。したがって $(AB)^{\prime}=B^{\prime}A^{\prime}$ である。
　転置は以下の性質を持つ。

定理1.1　転置の性質　 $\alpha,\beta\in K$ とし $A,B$ を行列とする。このとき以下が成り立つ。
　(a) $\ (\alpha A)^{\prime}=\alpha (A)^{\prime}$
　(b) $\ (A^{\prime})^{\prime}=A$
　(c) $\ (\alpha A+\beta B)^{\prime}=\alpha A^{\prime}+\beta B^{\prime}$
　(d) $\ (AB)^{\prime}=B^{\prime} A^{\prime}$

　また転置に関する特殊な条件を満たすような行列を定義できる。

定義1.2　対称行列と交代行列　正方行列 $A$ に対して $A^{\prime}=A$ が成り立つ場合、 $A$ は対称行列であるという。他方で $A^{\prime}=-A$ が成り立つ場合、 $A$ は交代行列(歪対称行列・反対称行列)であるという。

　列ベクトルの転置が行ベクトルであることに注意すれば、行列を列ベクトルと行ベクトルの積で表現することもできる。行列

$\begin{aligned} E_{ij}=(e)_{mn}\begin{cases} 1,&\ \ m=i\land n=j\\ 0,&\ \ m\neq i\lor n\neq j \end{cases} \end{aligned}$

が $i$ 列目の成分のみ $1$ でそれ以外は $0$ であるような列ベクトル

$\begin{aligned} \boldsymbol{e}_i=\begin{bmatrix} 0\\ \vdots\\ 0\\ 1\\ 0\\ \vdots\\ 0 \end{bmatrix} \end{aligned}$

を用いて

$\begin{aligned} E_{ij}=\boldsymbol{e}_i\boldsymbol{e}^{\prime}_j \end{aligned}$

で書くことができる。これを用いて $(m,n)$ 行列 $A$ は

$\begin{aligned} A=\displaystyle{\sum_{i=1}^{m}\sum_{j=1}^{n}a_{ij}\boldsymbol{e}_{i,m}\boldsymbol{e}^{\prime}_{j,n}} \end{aligned}$

と表現できる。

1.2　トレース

　正方行列 $A=(a_{ij})_{m\times m}$ に対して

$\begin{aligned} \mathrm{tr}(A)=\displaystyle{\sum_{i=1}^{m}a_{ii}} \end{aligned}$

を行列 $A$ のトレースという。
　 $A=(a_{ij})_{m\times n},B=(b_{ij})_{n\times m}$ に対して

$\begin{aligned} \mathrm{tr}(AB)&=\displaystyle{\sum_{i=1}^{m}(AB)_{ii}}=\displaystyle{\sum_{i=1}^{m}\sum_{j=1}^{m}a_{ij}b_{ji}}\\ &=\displaystyle{\sum_{i=1}^{m}\sum_{j=1}^{m}b_{ji}a_{ij}}\\ &=\displaystyle{\sum_{j=1}^{m}(BA)_{jj}}=\mathrm{tr}(BA) \end{aligned}$

が成り立つ。

定理1.3　トレースの性質　 $\alpha\in\mathbb{R},\ A,B$ を行列とする。 $\alpha,A.B$ について適当な演算が定義できるとして、以下が成り立つ：

$\begin{aligned} \mathrm{tr}(A^{\prime})&=\mathrm{tr}(A)\\ \mathrm{tr}(\alpha A)&=\alpha\mathrm{tr}(A)\\ \mathrm{tr}(A+B)&=\mathrm{tr}(A)+\mathrm{tr}(B)\\ \mathrm{tr}(AB)&=\mathrm{tr}(BA)\\ \mathrm{tr}(A^{\prime}A)=0&\Leftrightarrow A=O \end{aligned}$

1.3　行列式

$\begin{aligned} \left|A\right|=\displaystyle{\sum(-1)^{f(i_1,\cdots,i_m)}a_{1i_1}a_{2i_2}\cdots a_{mi_m}} \end{aligned}$

を行列式といい、 $|A|,\mathrm{det}(A)$ などと書く。総和は $(1,\cdots,m)$ のすべての順列 $(i_1,\cdots,i_m)$ に適用される。ここで $f(i_1,\cdots,i_m)$ は $(i_1,\cdots,i_m)$ を $(1,\cdots,m)$ に変換するために必おうな互換の回数に等しい。
　 $m=2$ ならば

$\begin{aligned} \left|A\right|=a_{11}a_{22}-a_{12}a_{21} \end{aligned}$

である。
　 $A$ の余因子を用いて $A$ の行列式は別の表現ができる。
　 $A$ の第 $i$ 行および第 $j$ 列を除いた $(m-1)\times(m-1)$ 行列における行列式を $m_{ij}$ とし、

$\begin{aligned} A_{ij}=(-1)^{i+j}m_{ij} \end{aligned}$

を $a_{ij}$ に対応する余因子 $A_{ij}$ と書くとき、

$\begin{aligned} \left|A\right|=\displaystyle{\sum_{j=1}^{m}a_{ij}A_{ij}}=\displaystyle{\sum_{j=1}^{m}a_{ji}A_{ji}} \end{aligned}$

が成り立つ。

定理1.4：行列式の性質　 $\alpha\in\mathbb{R},A$ を $m\times m$ 行列とする。このとき

$\begin{aligned} (a)&|A^{\prime}|=|A|\\ (b)&|\alpha A|=\alpha^m|A|\\ (c)&Aが対角行列ならば|A|=\displaystyle{\prod_{i=1}^{m}a_{ii}}\\ (d)&Aのある行（または列）のすべての成分が0ならば|A|=0\\ (e)&Aのある2つの行（または列）の一方がもう一方の定数倍ならば|A|=0\\ (f)&Aのある2つの行（または列）を入れ替えた行列の行列式は-|A|に等しい\\ (g)&Aの行(または列)の全成分に\alphaが乗じられている場合、その行列式は\alphaが乗じられた値になる\\ (h)&ある1つの行(または列)の定数倍を他の行(または列)に加算してもAの行列式は変わらない \end{aligned}$

　行列 $C=(\boldsymbol{c}_1\cdots\boldsymbol{c}_m)$ に関し $m\times m$ 行列 $A,B$ について $C=AB$ ならば、

$\begin{aligned} \left|C\right|=|B||A| \end{aligned}$

である。

1.4　逆行列

　 $m\times m$ 行列 $A$ において $|A|\neq0$ の場合を正則行列（非特異行列、可逆行列）という。
　 $|A|\neq0$ ならば

$\begin{aligned} AA^{-1}=A^{-1}A=I_m \end{aligned}$

を満たすような $m\times m$ 行列 $A^{-1}$ を逆行列という。逆行列は一意である。

定理1.5：逆行列の性質　 $\alpha\in\mathbb{R},\alpha\neq0$ で、 $A,B$ を $m\times m$ な正則行列だとする。このとき

$\begin{aligned} (a)&(\alpha A)^{-1}=\alpha^{-1}A^{-1}\\ (b)&(A^{\prime})^{-1}=(A^{-1})^{\prime}\\ (c)&(A^{-1})^{-1}=A\\ (d)&|A^{-1}|=|A|^{-1}\\ (e)&A=\mathrm{diag}(a_{11},\cdots,a_{mm})\Rightarrow A^{-1}=\mathrm{diag}(a_{11}^{-1},\cdots,a_{mm}^{-1})\\ (f)&A=A^{\prime}\Rightarrow A^{-1}=(A^{-1})^{\prime}\\ (g)&(AB)^{-1}=B^{-1}A^{-1} \end{aligned}$

　 $A$ の逆行列も余因子行列を用いて表現できる。 $A_{\#}$ を $A$ の余因子行列を転置したものとする（これを随伴行列という。）。このとき

$\begin{aligned} A^{-1}=|A|^{-1}A_{\#} \end{aligned}$

が成り立つ。

定理1.6：和の逆行列と逆行列の和の関係　正則行列 $A,B$ をそれぞれ $m\times m$ 行列、 $n\times n$ 行列とする。このとき任意の $m\times n$ 行列 $C$ および $n\times m$ 行列 $D$ において $A+CBD$ が正則ならば、

$\begin{aligned} (A+CBD)^{-1}=A^{-1}-A^{-1}C(B^{-1}+DA^{-1}C)^{-1}DA^{-1} \end{aligned}$

が成り立つ。

　この定理1.6において $m=n$ および $C,D=I_m$ とすれば以下が得られる：

系1.6.1：和の逆行列と逆行列の和の関係　 $A,B,A+B$ がすべて $m\times m$ 正則行列ならば、

$\begin{aligned} (A+B)^{-1}=A^{-1}-A^{-1}(B^{-1}+A^{-1})^{-1}A^{-1} \end{aligned}$

1.5　分割行列

　行列 $A$ をそれよりも行数および列数が小さい行列を成分にもつような行列、たとえば

$\begin{aligned} A_{11}&=(a_{ij})_{m_1\times n_1},A_{12}=(a_{ij})_{m_1\times n_2},A_{21}=(a_{ij})_{m_2\times n_1},A_{22}=(a_{ij})_{m_2\times n_2},\\ 1\leq& m_{i}\leq m,1\leq n_{i}\leq n,i=1,2,m_1+m_2=m,n_1+n_2=n \end{aligned}$

として

$\begin{aligned} A=\begin{bmatrix} A_{11}&A_{12}\\ A_{21}&A_{22} \end{bmatrix} \end{aligned}$

と書く。このようにブロックに分解することで行列の積計算が簡単になる場合がある。

例：転置積の計算
$A=\begin{bmatrix}1&0&0&1&1\\ 0&1&0&1&1\\ 0&0&1&1&1\\ \ -1&-1&-1&2&0\\ \ -1&-1&-1&0&2\\ \end{bmatrix}$ に対して $AA^{\prime}$ を計算する。
　 $A$ は
$\begin{aligned} A=\begin{bmatrix}I_3&\boldsymbol{1}_3\boldsymbol{1}_2^{\prime}\\-\boldsymbol{1}_2\boldsymbol{1}_3^{\prime}&2I_2\end{bmatrix} \end{aligned}$
とブロック表示できるから、
$\begin{aligned} AA^{\prime}&=\begin{bmatrix}I_3&\boldsymbol{1}_3\boldsymbol{1}_2^{\prime}\\-\boldsymbol{1}_2\boldsymbol{1}_3^{\prime}&2I_2\end{bmatrix} \begin{bmatrix}I_3&-\boldsymbol{1}_3\boldsymbol{1}_2^{\prime}\\\boldsymbol{1}_2\boldsymbol{1}_3^{\prime}&2I_2\end{bmatrix}\\ &=\begin{bmatrix}I_3+\boldsymbol{1}_{3}\boldsymbol{1}_2^{\prime}\boldsymbol{1}_2\boldsymbol{1}_3^{\prime}&-\boldsymbol{1}_3 \boldsymbol{1}_2^{\prime}\\\boldsymbol{1}_2 \boldsymbol{1}_3^{\prime}&3\boldsymbol{1}_2\boldsymbol{1}_2^{\prime}+4I_2 \end{bmatrix}\\ &=\begin{bmatrix} 3&2&2&1&1\\ 2&3&2&1&1\\ 1&1&1&7&3\\ 1&1&1&3&7 \end{bmatrix}\\ \end{aligned}$

1.6　行列の階数

　 $m\times n$ 行列 $A$ の階数は部分行列の概念から想起される。
　一般に、 $A$ のいくつかの行または列を削除して得られる行列を $A$ の部分行列という。 $A$ の $r\times r$ 部分行列（適当に行と列を除いて $r\times r$ 行列にしたもの）の行列式を次数 $r$ の小行列式と呼ぶ。
　いま次数 $r\gt1$ の小行列式のうち少なくとも1つが $0$ でなく、次数 $r+1$ のすべての小行列式が $0$ ならば、零行列ないし $A$ の階数は $r$ であると呼ぶ。
　 $\mathrm{rank}(A)=\min\{m,n\}$ ならば、 $A$ は最大階数を持つという。
　行列 $A$ の階数は基本変形

	(1)	$A$ の行（または列）の交換
	(2)	$A$ の行（または列）の非零定数倍
	(3)	$A$ の行（または列）の定数倍を別の行（または列）に加算

では変化しない。

定理1.7：行列の積の階数　 $A$ を $m\times n$ 行列、 $B$ を $m\times m$ 行列、 $C$ を $n\times n$ 行列とする。 $B,C$ が正則ならば

$\begin{aligned} \mathrm{rank}(BAC)=\mathrm{rank}(BA)=\mathrm{rank}(AC)=\mathrm{rank}(A) \end{aligned}$

定理1.8：基本変形後の階数　 $A$ が階数 $r\gt0$ の $m\times n$ 行列ならば、 $H=BAC$ かつ $A=B^{-1}HC^{-1}$ となる正則 $m\times m$ 行列 $B$ および $n\times n$ 行列 $C$ が存在する。ここで $H$ は以下で与えられる：

$\begin{aligned} (a)\ \ &r=m=n\Rightarrow H=I_r,\\ (b)\ \ &r=m\lt n\Rightarrow H=\begin{bmatrix}I_r&(0)\end{bmatrix},\\ (c)\ \ &r=n\lt m\Rightarrow H=\begin{bmatrix}I_r\\(0)\end{bmatrix},\\ (d)\ \ &r\lt m,r\lt n\Rightarrow H=\begin{bmatrix}I_r&(0)\\(0)&(0)\end{bmatrix} \end{aligned}$

1.7　直交行列

　 $\boldsymbol{p}\in\mathbb{R}^m$ が $\boldsymbol{p}^{\prime}\boldsymbol{p}=1$ を満たすならば、 $\boldsymbol{p}$ は正規化ベクトルと呼ぶ。 $\boldsymbol{p}_1,\cdots,\boldsymbol{p}_n,n\leq m$ は $\boldsymbol{p}_i \boldsymbol{p}_j=0,i\neq j$ ならば、直交しているという。さらに $\boldsymbol{p}_i$ それぞれが正規化ベクトルならば、そのベクトルは正規直交であるという。
　その列が正規直交な行列 $P=(\boldsymbol{p}_1\cdots \boldsymbol{p}_m)$ を直交行列と呼び、

$\begin{aligned} P^{\prime}P=I_m \end{aligned}$

が成り立つ。両辺の行列式を取ると、

$\begin{aligned} \ &\left|P^{\prime}P\right|=\left|P^{\prime}\right|\left|P\right|=|P|^2=|I_m|=1,\\ \Leftrightarrow\ &|P|=\pm1 \end{aligned}$

が成り立つから、 $P$ は正則である。

直交行列の性質　 $P,Q$ を $m\times m$ の直交行列とし、 $A$ を $m\times n$ 行列とする。このとき、
(1) $|P|=\pm1$
(2) $|PAP^{\prime}|=|P|$
(3) $PQ$ は直交行列である。

1.8　2次形式

　 $\boldsymbol{x}\in\mathbb{R}^m, \boldsymbol{y}\in\mathbb{R}^n, A=(a_{ij})_{m\times n}$ とする。このとき

$\begin{aligned} \boldsymbol{x}^{\prime}A\boldsymbol{y}=\displaystyle{\sum_{i=1}^{m}\sum_{j=1}^{n}x_i y_j a_{ij}} \end{aligned}$

で与えられる $\boldsymbol{x},\boldsymbol{y}$ の関数を $\boldsymbol{x},\boldsymbol{y}$ に関する層線形形式と呼び、 $m=n\land \boldsymbol{x}=\boldsymbol{y}$ が成り立つとき

$\begin{aligned} f(\boldsymbol{x})=\boldsymbol{x}^{\prime}A\boldsymbol{x}=\displaystyle{\sum_{i=1}^{m}\sum_{j=1}^{n}x_i x_j a_{ij}} \end{aligned}$

を $\boldsymbol{x}$ に関する2次形式という。 $A$ を2次形式行列という。
　 $f(\boldsymbol{x})$ をそのままに $A$ を $B=\displaystyle{\frac{A+A^{\prime}}{2}}$ に置き換えることができるため、 $A$ は対称行列としてよい。
　あらゆる対称行列 $A$ とそれに関連する2次形式は以下の5つに分類できる：

	(a)	あらゆる $\boldsymbol{x}\neq\boldsymbol{0}$ に対して $\boldsymbol{x}^{\prime}A\boldsymbol{x}\gt0$ ならば $A$ は正定値であるという。
	(b)	あらゆる $\boldsymbol{x}$ に対して $\boldsymbol{x}^{\prime}A\boldsymbol{x}\geq0$ である $\boldsymbol{x}\neq\boldsymbol{0}$ に対して $\boldsymbol{x}^{\prime}A\boldsymbol{x}=0$ ならば、 $A$ は半正定値であるという。
	(c)	あらゆる $\boldsymbol{x}\neq\boldsymbol{0}$ に対して $\boldsymbol{x}^{\prime}A\boldsymbol{x}\lt0$ ならば $A$ は負定値であるという。
	(d)	あらゆる $\boldsymbol{x}$ に対して $\boldsymbol{x}^{\prime}A\boldsymbol{x}\leq0$ である $\boldsymbol{x}\neq\boldsymbol{0}$ に対して $\boldsymbol{x}^{\prime}A\boldsymbol{x}=0$ ならば、 $A$ は半負定値であるという。
	(e)	ある $\boldsymbol{x}$ に対して $\boldsymbol{x}^{\prime}A\boldsymbol{x}\gt0$ 、別のある $\boldsymbol{x}$ に対して $\boldsymbol{x}^{\prime}A\boldsymbol{x}\lt0$ ならば、 $A$ は不定値であるという。

なお零行列は半正定値かつ半負定値である。正定値行列および負定値行列は正則である*2。
　もし $A=BB^{\prime}$ ならば $n\times n$ 行列 $B$ は $n\times n$ 非負定値行列 $A$ の平方根と呼び、 $B=A^{\frac{1}{2}}$ と書く。

1.9　複素行列

　複素数は一般に $c=a+ib,\ a,b,\in\mathbb{R},\ i=\sqrt{-1}$ と書ける。複素数全体の集合を $\mathbb{C}$ で書くとき、 $c_1=a_1+ib_1,c_2=a_2+ib_2,\ a_1,a_2,b_1,b_2\in\mathbb{R}$ に対して

$\begin{aligned} c_1+c_2&=(a_1+a_2)+i(b_1+b_1),\\ c_1c_2&=(a_1a_2-b_1b_2)+i(a_1b_2+a_2b_1) \end{aligned}$

で和および積を定義する。
　また $c=a+ib,\ a,b\in\mathbb{R}$ に対して

$\begin{aligned} \bar{c}=a-ib \end{aligned}$

を $c$ の複素共役という。これに対して複素数の大きさ(絶対値・モジュラス)

$\begin{aligned} \|c\|=c\bar{c}=a^2+b^2 \end{aligned}$

を定義する*3。
　任意の複素数は一方の軸を実軸、もう一方を虚軸とする複素平面上の1点としても表すことができる。具体的には複素数 $c=a+ib\in\mathbb{C},a,b,\in\mathbb{R}$ は複素平面上の点 $(a,b)$ で表すことができる。これはまた $r=\sqrt{|c|}=\sqrt{a^2+b^2}$ および $0\leq\theta\lt2\pi$ を用いた極座標 $(r,\theta)$ で表すことができる。すなわち

$\begin{aligned} a=r\cos\theta,\ b=r\sin\theta \end{aligned}$

とする。これはEulerの公式により $c=r e^{i\theta}$ と表す。

$\begin{aligned} e^{i\theta}=\cos\theta+i\sin\theta \end{aligned}$

が成り立つ。
　さて先程定義した複素数の絶対値を2つの複素数の和 $c_1+c_2$ に適用すると三角不等式を得ることが出来る。

$\begin{aligned} \left|c_1+c_2\right|^2&=(c_1+c_2)\bar{(c_1+c_2)}=(c_1+c_2)(\bar{c}_1+\bar{c}_2)\\ &=c_1\bar{c}_1+c_1\bar{c}_2+c_2\bar{c}_1+c_2\bar{c}_2\\ &\leq |c_1|^2+2|c_1||c_2|+|c_2|^2\\ &=(|c_1|+|c_2|)^2 \end{aligned}$

この結果から、 $|c_1|+|c_2|\leq |c_1+c_2|$ が得られる。
　ここまでの複素数の話を行列に応用する。すなわち複素行列を議論する。複素行列はその要素が複素数であるような行列である。複素行列は実行列と虚行列との和という形で表すことが出来る。すなわちある複素行列 $C$ に対してすべての要素が実数であるような行列 $A,B$ を用いて

$\begin{aligned} C=A+iB \end{aligned}$

という形で一意に表すことができる。
　これに対して複素行列の複素共役を

$\begin{aligned} \bar{C}=A-iB \end{aligned}$

で定義する。 $C$ の共役転置は $C^{*}=\bar{C}^{\prime}$ である。複素行列 $C$ が正方でかつ $C^{*}=C$ であるならば、すなわち任意の $(i,j)$ 成分につき $c_{ij}=\bar{c}_{ji}$ が成り立つとき、 $C$ はHermite行列であるという。
　更に $C$ がHermite行列かつ実行列ならば $C$ は対称行列である。 $C^{*}C=I$ ならば $C$ はunitary行列と呼ぶもし $C$ が実行列であるならば $C^{*}=C^{\prime}$ であるから、unitary行列は直交行列を複素行列へ一般化したものである。