「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。

MENU

統計学のための線形代数(001/X)

 統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

を基により高等な線形代数を学ぶ。

1. 線形代数の基礎

1.1 転置

 m\times n行列A=(a_{ij})の転置A^{\prime}


\begin{aligned}
A^{\prime}=(a_{ji})
\end{aligned}

で定義する*1
 (m,p)行列Aおよび(p,n)行列Bに対して行列ABの転置\left((AB)^{\prime}\right)は、その(i,j)要素について


\begin{aligned}
\left((AB)^{\prime}\right)_{ij}&=(AB)_{ji}=\displaystyle{\sum_{k=1}^{p}a_{jk}b_{ki}}\\
&=\left(B^{\prime}A^{\prime}\right)_{ij}
\end{aligned}

と表すことができる。したがって(AB)^{\prime}=B^{\prime}A^{\prime}である。
 転置は以下の性質を持つ。


定理1.1 転置の性質 \alpha,\beta\in KとしA,Bを行列とする。このとき以下が成り立つ。
 (a)\ (\alpha A)^{\prime}=\alpha (A)^{\prime}
 (b)\ (A^{\prime})^{\prime}=A
 (c)\ (\alpha A+\beta B)^{\prime}=\alpha A^{\prime}+\beta B^{\prime}
 (d)\ (AB)^{\prime}=B^{\prime} A^{\prime}

 また転置に関する特殊な条件を満たすような行列を定義できる。


定義1.2 対称行列と交代行列 正方行列Aに対してA^{\prime}=Aが成り立つ場合、Aは対称行列であるという。他方でA^{\prime}=-Aが成り立つ場合、Aは交代行列(歪対称行列・反対称行列)であるという。

 列ベクトルの転置が行ベクトルであることに注意すれば、行列を列ベクトルと行ベクトルの積で表現することもできる。行列


\begin{aligned}
E_{ij}=(e)_{mn}\begin{cases}
1,&\ \ m=i\land n=j\\
0,&\ \ m\neq i\lor n\neq j
\end{cases}
\end{aligned}

i列目の成分のみ1でそれ以外は0であるような列ベクトル


\begin{aligned}
\boldsymbol{e}_i=\begin{bmatrix}
0\\
\vdots\\
0\\
1\\
0\\
\vdots\\
0
\end{bmatrix}
\end{aligned}

を用いて


\begin{aligned}
E_{ij}=\boldsymbol{e}_i\boldsymbol{e}^{\prime}_j
\end{aligned}

で書くことができる。これを用いて(m,n)行列A


\begin{aligned}
A=\displaystyle{\sum_{i=1}^{m}\sum_{j=1}^{n}a_{ij}\boldsymbol{e}_{i,m}\boldsymbol{e}^{\prime}_{j,n}}
\end{aligned}

と表現できる。

1.2 トレース

 正方行列A=(a_{ij})_{m\times m}に対して


\begin{aligned}
\mathrm{tr}(A)=\displaystyle{\sum_{i=1}^{m}a_{ii}}
\end{aligned}

を行列Aのトレースという。
 A=(a_{ij})_{m\times n},B=(b_{ij})_{n\times m}に対して


\begin{aligned}
\mathrm{tr}(AB)&=\displaystyle{\sum_{i=1}^{m}(AB)_{ii}}=\displaystyle{\sum_{i=1}^{m}\sum_{j=1}^{m}a_{ij}b_{ji}}\\
&=\displaystyle{\sum_{i=1}^{m}\sum_{j=1}^{m}b_{ji}a_{ij}}\\
&=\displaystyle{\sum_{j=1}^{m}(BA)_{jj}}=\mathrm{tr}(BA)
\end{aligned}

が成り立つ。


定理1.3 トレースの性質 \alpha\in\mathbb{R},\ A,Bを行列とする。\alpha,A.Bについて適当な演算が定義できるとして、以下が成り立つ:

\begin{aligned}
\mathrm{tr}(A^{\prime})&=\mathrm{tr}(A)\\
\mathrm{tr}(\alpha A)&=\alpha\mathrm{tr}(A)\\
\mathrm{tr}(A+B)&=\mathrm{tr}(A)+\mathrm{tr}(B)\\
\mathrm{tr}(AB)&=\mathrm{tr}(BA)\\
\mathrm{tr}(A^{\prime}A)=0&\Leftrightarrow A=O
\end{aligned}

1.3 行列式


\begin{aligned}
\left|A\right|=\displaystyle{\sum(-1)^{f(i_1,\cdots,i_m)}a_{1i_1}a_{2i_2}\cdots a_{mi_m}}
\end{aligned}

行列式といい、|A|,\mathrm{det}(A)などと書く。総和は(1,\cdots,m)のすべての順列(i_1,\cdots,i_m)に適用される。ここでf(i_1,\cdots,i_m)(i_1,\cdots,i_m)(1,\cdots,m)に変換するために必おうな互換の回数に等しい。
 m=2ならば


\begin{aligned}
\left|A\right|=a_{11}a_{22}-a_{12}a_{21}
\end{aligned}

である。
 Aの余因子を用いてA行列式は別の表現ができる。
 Aの第i行および第j列を除いた(m-1)\times(m-1)行列における行列式m_{ij}とし、


\begin{aligned}
A_{ij}=(-1)^{i+j}m_{ij}
\end{aligned}

a_{ij}に対応する余因子A_{ij}と書くとき、


\begin{aligned}
\left|A\right|=\displaystyle{\sum_{j=1}^{m}a_{ij}A_{ij}}=\displaystyle{\sum_{j=1}^{m}a_{ji}A_{ji}}
\end{aligned}

が成り立つ。


定理1.4:行列式の性質 \alpha\in\mathbb{R},Am\times m行列とする。このとき

\begin{aligned}
(a)&|A^{\prime}|=|A|\\
(b)&|\alpha A|=\alpha^m|A|\\
(c)&Aが対角行列ならば|A|=\displaystyle{\prod_{i=1}^{m}a_{ii}}\\
(d)&Aのある行(または列)のすべての成分が0ならば|A|=0\\
(e)&Aのある2つの行(または列)の一方がもう一方の定数倍ならば|A|=0\\
(f)&Aのある2つの行(または列)を入れ替えた行列の行列式は-|A|に等しい\\
(g)&Aの行(または列)の全成分に\alphaが乗じられている場合、その行列式は\alphaが乗じられた値になる\\
(h)&ある1つの行(または列)の定数倍を他の行(または列)に加算してもAの行列式は変わらない
\end{aligned}

 行列C=(\boldsymbol{c}_1\cdots\boldsymbol{c}_m)に関しm\times m行列A,BについてC=ABならば、


\begin{aligned}
\left|C\right|=|B||A|
\end{aligned}

である。

1.4 逆行列

 m\times m行列Aにおいて|A|\neq0の場合を正則行列(非特異行列、可逆行列)という。
 |A|\neq0ならば


\begin{aligned}
AA^{-1}=A^{-1}A=I_m
\end{aligned}

を満たすようなm\times m行列A^{-1}逆行列という。逆行列は一意である。


定理1.5:逆行列の性質 \alpha\in\mathbb{R},\alpha\neq0で、A,Bm\times m正則行列だとする。このとき

\begin{aligned}
(a)&(\alpha A)^{-1}=\alpha^{-1}A^{-1}\\
(b)&(A^{\prime})^{-1}=(A^{-1})^{\prime}\\
(c)&(A^{-1})^{-1}=A\\
(d)&|A^{-1}|=|A|^{-1}\\
(e)&A=\mathrm{diag}(a_{11},\cdots,a_{mm})\Rightarrow A^{-1}=\mathrm{diag}(a_{11}^{-1},\cdots,a_{mm}^{-1})\\
(f)&A=A^{\prime}\Rightarrow A^{-1}=(A^{-1})^{\prime}\\
(g)&(AB)^{-1}=B^{-1}A^{-1}
\end{aligned}

 A逆行列も余因子行列を用いて表現できる。A_{\#}Aの余因子行列を転置したものとする(これを随伴行列という。)。このとき


\begin{aligned}
A^{-1}=|A|^{-1}A_{\#}
\end{aligned}

が成り立つ。


定理1.6:和の逆行列逆行列の和の関係 正則行列A,Bをそれぞれm\times m行列、n\times n行列とする。このとき任意のm\times n行列Cおよびn\times m行列DにおいてA+CBDが正則ならば、

\begin{aligned}
(A+CBD)^{-1}=A^{-1}-A^{-1}C(B^{-1}+DA^{-1}C)^{-1}DA^{-1}
\end{aligned}

が成り立つ。

 この定理1.6においてm=nおよびC,D=I_mとすれば以下が得られる:


系1.6.1:和の逆行列逆行列の和の関係 A,B,A+Bがすべてm\times m正則行列ならば、

\begin{aligned}
(A+B)^{-1}=A^{-1}-A^{-1}(B^{-1}+A^{-1})^{-1}A^{-1}
\end{aligned}

1.5 分割行列

 行列Aをそれよりも行数および列数が小さい行列を成分にもつような行列、たとえば


\begin{aligned}
A_{11}&=(a_{ij})_{m_1\times n_1},A_{12}=(a_{ij})_{m_1\times n_2},A_{21}=(a_{ij})_{m_2\times n_1},A_{22}=(a_{ij})_{m_2\times n_2},\\ 1\leq& m_{i}\leq m,1\leq n_{i}\leq n,i=1,2,m_1+m_2=m,n_1+n_2=n
\end{aligned}

として


\begin{aligned}
A=\begin{bmatrix}
A_{11}&A_{12}\\
A_{21}&A_{22}
\end{bmatrix}
\end{aligned}

と書く。このようにブロックに分解することで行列の積計算が簡単になる場合がある。

例:転置積の計算
A=\begin{bmatrix}1&0&0&1&1\\
0&1&0&1&1\\
0&0&1&1&1\\
\ -1&-1&-1&2&0\\
\ -1&-1&-1&0&2\\
\end{bmatrix}に対してAA^{\prime}を計算する。
 A


\begin{aligned}
A=\begin{bmatrix}I_3&\boldsymbol{1}_3\boldsymbol{1}_2^{\prime}\\-\boldsymbol{1}_2\boldsymbol{1}_3^{\prime}&2I_2\end{bmatrix}
\end{aligned}

とブロック表示できるから、


\begin{aligned}
AA^{\prime}&=\begin{bmatrix}I_3&\boldsymbol{1}_3\boldsymbol{1}_2^{\prime}\\-\boldsymbol{1}_2\boldsymbol{1}_3^{\prime}&2I_2\end{bmatrix}
\begin{bmatrix}I_3&-\boldsymbol{1}_3\boldsymbol{1}_2^{\prime}\\\boldsymbol{1}_2\boldsymbol{1}_3^{\prime}&2I_2\end{bmatrix}\\
&=\begin{bmatrix}I_3+\boldsymbol{1}_{3}\boldsymbol{1}_2^{\prime}\boldsymbol{1}_2\boldsymbol{1}_3^{\prime}&-\boldsymbol{1}_3 \boldsymbol{1}_2^{\prime}\\\boldsymbol{1}_2 \boldsymbol{1}_3^{\prime}&3\boldsymbol{1}_2\boldsymbol{1}_2^{\prime}+4I_2
\end{bmatrix}\\
&=\begin{bmatrix}
3&2&2&1&1\\
2&3&2&1&1\\
1&1&1&7&3\\
1&1&1&3&7
\end{bmatrix}\\
\end{aligned}

1.6 行列の階数

 m\times n行列Aの階数は部分行列の概念から想起される。
 一般に、Aのいくつかの行または列を削除して得られる行列をAの部分行列という。Ar\times r部分行列(適当に行と列を除いてr\times r行列にしたもの)の行列式を次数rの小行列式と呼ぶ。
 いま次数r\gt1の小行列式のうち少なくとも1つが0でなく、次数r+1のすべての小行列式0ならば、零行列ないしAの階数はrであると呼ぶ。
 \mathrm{rank}(A)=\min\{m,n\}ならば、Aは最大階数を持つという。
 行列Aの階数は基本変形

   (1) Aの行(または列)の交換
   (2) Aの行(または列)の非零定数倍
   (3) Aの行(または列)の定数倍を別の行(または列)に加算

では変化しない。


定理1.7:行列の積の階数 Am\times n行列、Bm\times m行列、Cn\times n行列とする。B,Cが正則ならば

\begin{aligned}
\mathrm{rank}(BAC)=\mathrm{rank}(BA)=\mathrm{rank}(AC)=\mathrm{rank}(A)
\end{aligned}


定理1.8:基本変形後の階数 Aが階数r\gt0m\times n行列ならば、H=BACかつA=B^{-1}HC^{-1}となる正則m\times m行列Bおよびn\times n行列Cが存在する。ここでHは以下で与えられる:

\begin{aligned}
(a)\ \ &r=m=n\Rightarrow H=I_r,\\
(b)\ \ &r=m\lt n\Rightarrow H=\begin{bmatrix}I_r&(0)\end{bmatrix},\\
(c)\ \ &r=n\lt m\Rightarrow H=\begin{bmatrix}I_r\\(0)\end{bmatrix},\\
(d)\ \ &r\lt m,r\lt n\Rightarrow H=\begin{bmatrix}I_r&(0)\\(0)&(0)\end{bmatrix}
\end{aligned}

1.7 直交行列

 \boldsymbol{p}\in\mathbb{R}^m\boldsymbol{p}^{\prime}\boldsymbol{p}=1を満たすならば、\boldsymbol{p}は正規化ベクトルと呼ぶ。\boldsymbol{p}_1,\cdots,\boldsymbol{p}_n,n\leq m\boldsymbol{p}_i \boldsymbol{p}_j=0,i\neq jならば、直交しているという。さらに\boldsymbol{p}_iそれぞれが正規化ベクトルならば、そのベクトルは正規直交であるという。
 その列が正規直交な行列P=(\boldsymbol{p}_1\cdots \boldsymbol{p}_m)を直交行列と呼び、


\begin{aligned}
P^{\prime}P=I_m
\end{aligned}

が成り立つ。両辺の行列式を取ると、


\begin{aligned}
\ &\left|P^{\prime}P\right|=\left|P^{\prime}\right|\left|P\right|=|P|^2=|I_m|=1,\\
\Leftrightarrow\ &|P|=\pm1
\end{aligned}

が成り立つから、Pは正則である。


直交行列の性質 P,Qm\times mの直交行列とし、Am\times n行列とする。このとき、
(1) |P|=\pm1
(2)|PAP^{\prime}|=|P|
(3)PQは直交行列である。

1.8 2次形式

 \boldsymbol{x}\in\mathbb{R}^m, \boldsymbol{y}\in\mathbb{R}^n, A=(a_{ij})_{m\times n}とする。このとき


\begin{aligned}
\boldsymbol{x}^{\prime}A\boldsymbol{y}=\displaystyle{\sum_{i=1}^{m}\sum_{j=1}^{n}x_i y_j a_{ij}}
\end{aligned}

で与えられる\boldsymbol{x},\boldsymbol{y}の関数を\boldsymbol{x},\boldsymbol{y}に関する層線形形式と呼び、m=n\land \boldsymbol{x}=\boldsymbol{y}が成り立つとき


\begin{aligned}
f(\boldsymbol{x})=\boldsymbol{x}^{\prime}A\boldsymbol{x}=\displaystyle{\sum_{i=1}^{m}\sum_{j=1}^{n}x_i x_j a_{ij}}
\end{aligned}

\boldsymbol{x}に関する2次形式という。Aを2次形式行列という。
 f(\boldsymbol{x})をそのままにAB=\displaystyle{\frac{A+A^{\prime}}{2}}に置き換えることができるため、Aは対称行列としてよい。
 あらゆる対称行列Aとそれに関連する2次形式は以下の5つに分類できる:

   (a) あらゆる\boldsymbol{x}\neq\boldsymbol{0}に対して\boldsymbol{x}^{\prime}A\boldsymbol{x}\gt0ならばAは正定値であるという。
   (b) あらゆる\boldsymbol{x}に対して\boldsymbol{x}^{\prime}A\boldsymbol{x}\geq0である\boldsymbol{x}\neq\boldsymbol{0}に対して\boldsymbol{x}^{\prime}A\boldsymbol{x}=0ならば、Aは半正定値であるという。
   (c) あらゆる\boldsymbol{x}\neq\boldsymbol{0}に対して\boldsymbol{x}^{\prime}A\boldsymbol{x}\lt0ならばAは負定値であるという。
   (d) あらゆる\boldsymbol{x}に対して\boldsymbol{x}^{\prime}A\boldsymbol{x}\leq0である\boldsymbol{x}\neq\boldsymbol{0}に対して\boldsymbol{x}^{\prime}A\boldsymbol{x}=0ならば、Aは半負定値であるという。
   (e) ある\boldsymbol{x}に対して\boldsymbol{x}^{\prime}A\boldsymbol{x}\gt0、別のある\boldsymbol{x}に対して\boldsymbol{x}^{\prime}A\boldsymbol{x}\lt0ならば、A不定値であるという。

なお零行列は半正定値かつ半負定値である。正定値行列および負定値行列は正則である*2
 もしA=BB^{\prime}ならばn\times n行列Bn\times n非負定値行列A平方根と呼び、B=A^{\frac{1}{2}}と書く。

1.9 複素行列

 複素数は一般にc=a+ib,\ a,b,\in\mathbb{R},\ i=\sqrt{-1}と書ける。複素数全体の集合を\mathbb{C}で書くとき、c_1=a_1+ib_1,c_2=a_2+ib_2,\ a_1,a_2,b_1,b_2\in\mathbb{R}に対して


\begin{aligned}
c_1+c_2&=(a_1+a_2)+i(b_1+b_1),\\
c_1c_2&=(a_1a_2-b_1b_2)+i(a_1b_2+a_2b_1)
\end{aligned}

で和および積を定義する。
 またc=a+ib,\ a,b\in\mathbb{R}に対して


\begin{aligned}
\bar{c}=a-ib
\end{aligned}

c複素共役という。これに対して複素数の大きさ(絶対値・モジュラス)


\begin{aligned}
\|c\|=c\bar{c}=a^2+b^2
\end{aligned}

を定義する*3
 任意の複素数は一方の軸を実軸、もう一方を虚軸とする複素平面上の1点としても表すことができる。具体的には複素数c=a+ib\in\mathbb{C},a,b,\in\mathbb{R}複素平面上の点(a,b)で表すことができる。これはまたr=\sqrt{|c|}=\sqrt{a^2+b^2}および0\leq\theta\lt2\piを用いた極座標(r,\theta)で表すことができる。すなわち


\begin{aligned}
a=r\cos\theta,\ b=r\sin\theta
\end{aligned}

とする。これはEulerの公式によりc=r e^{i\theta}と表す。


\begin{aligned}
e^{i\theta}=\cos\theta+i\sin\theta
\end{aligned}

が成り立つ。
 さて先程定義した複素数の絶対値を2つの複素数の和c_1+c_2に適用すると三角不等式を得ることが出来る。


\begin{aligned}
\left|c_1+c_2\right|^2&=(c_1+c_2)\bar{(c_1+c_2)}=(c_1+c_2)(\bar{c}_1+\bar{c}_2)\\
&=c_1\bar{c}_1+c_1\bar{c}_2+c_2\bar{c}_1+c_2\bar{c}_2\\
&\leq  |c_1|^2+2|c_1||c_2|+|c_2|^2\\
&=(|c_1|+|c_2|)^2
\end{aligned}

この結果から、|c_1|+|c_2|\leq |c_1+c_2|が得られる。
 ここまでの複素数の話を行列に応用する。すなわち複素行列を議論する。複素行列はその要素が複素数であるような行列である。複素行列は実行列と虚行列との和という形で表すことが出来る。すなわちある複素行列Cに対してすべての要素が実数であるような行列A,Bを用いて


\begin{aligned}
C=A+iB
\end{aligned}

という形で一意に表すことができる。
 これに対して複素行列の複素共役


\begin{aligned}
\bar{C}=A-iB
\end{aligned}

で定義する。Cの共役転置はC^{*}=\bar{C}^{\prime}である。複素行列Cが正方でかつC^{*}=Cであるならば、すなわち任意の(i,j)成分につきc_{ij}=\bar{c}_{ji}が成り立つとき、CはHermite行列であるという。
 更にCがHermite行列かつ実行列ならばCは対称行列である。C^{*}C=IならばCはunitary行列と呼ぶもしCが実行列であるならばC^{*}=C^{\prime}であるから、unitary行列は直交行列を複素行列へ一般化したものである。

*1:本書を引用する場合、転置は{}^{t}でなく^{\prime}とする。

*2:非特異、可逆ともいう。

*3:以降、\|\|でなく||で書くことにする。

プライバシーポリシー お問い合わせ