統計的機械学習の数理100問（01/20）

　いい加減時代の潮流に乗ろうということで機械学習を学びたいと思う。またRはともかくとしてPythonは未経験であるため、丁度良い書籍として

統計的機械学習の数理100問 with R (with R) (機械学習の数理100問シリーズ)

作者:讓, 鈴木
共立出版

Amazon

統計的機械学習の数理100問 with Python (機械学習の数理100問シリーズ)

作者:讓, 鈴木
共立出版

Amazon

を用いることにする。

　係数行列 $A\in\mathbb{R}^{m\times n}$ およびベクトル $\boldsymbol{b}\in \mathbb{R}^{m}$ から $A\boldsymbol{x}=\boldsymbol{b}$ を満たすような $\boldsymbol{x}\in \mathbb{R}^n$ を求める問題を考える。
　 $A$ または $[A|\boldsymbol{b}]$ について

ルール1：ある行全体を非零定数で割る
ルール2：ある2つの行を入れ替える
ルール3：ある行の何倍かを他の行に加える

を施すことで $A$ が $B\in\mathbb{R}^{m\times n}$ に変形できることを $A\sim B$ で表すこととする。
　すべての成分が $0$ でない行ベクトルの最初の非零成分を主成分と言い、そのうち下記の条件を満たす行列を標準形という：

[\tex:0]の行ベクトルは最下段にある
$0$ でない行ベクトルの主成分は $1$ である
各行の主成分は下の行ほどそれより上の行の主成分よりも右にある
主成分を含む列の主成分以外の成分は $0$ である

任意の行列 $A\in\mathbb{R}^{m\times n}$ に対して標準形が一意に定まる。

ルール1から3を用いて標準形を計算することを掃き出し法という。行列 $A$ の標準形の主成分の数を階数（Rank）という。定義から階数は $\min\{m,n\}$ 以下である。
　 $A$ が正方でその標準形が単位行列になるとき、「 $A$ は正則である」という。また $A\in\mathbb{R}^{m\times n}$ が正則であるとき、大きさが $n$ の単位行列 $I$ を右の列に置いた行列 $[A|I]$ の標準形を $[I|B]$ と書くとき、 $A,\ B$ を互いに逆行列であるといい、 $A^{-1}=B,\ B^{-1}=A$ と書く。

0.2　行列式

　正方行列 $A$ に対し、行列式 $\det(A)$ を以下で定義する：

　まず $A$ が正則でない場合、 $\det(A)=0$ とする。 $A$ が正則ならば、単位行列 $I$ に対して $\det(I)=1$ とし、標準形からもとの行列 $A$ を求める過程で、以下の手順を施すことで最終的に得た $\det(A)$ の値を行列式と定義する。

ある行全体を非零定数 $\alpha$ 倍するとき、 $\det(A)$ を $\alpha$ 倍する
ある2行を入れ替えるとき、 $\det(A)$ を $-1$ 倍する
ある行の $\beta$ 倍を他の行から引くときには、 $\det(A)$ の値を変えない

行列式について、以下が成り立つ：

　正方行列 $A,\ B$ について、
$\begin{aligned} \det(AB)=\det(A)\det(B),\ \det(^{t}A)=\det(A) \end{aligned}$
が成立する。

0.3　一次独立性

　 $\boldsymbol{a}_1,\cdots, \boldsymbol{a}_n\in\mathbb{R}^{m}$ を列ベクトルにもつ行列 $A\in\mathbb{R}^{m\times n}$ に対して、連立方程式 $A\boldsymbol{x}=\boldsymbol{0}$ が $\boldsymbol{x}=\boldsymbol{0}\in\mathbb{R}^{n}$ 以外の解をもたないとき、 $\boldsymbol{a}_1,\cdots, \boldsymbol{a}_n$ は一次独立であるといい、そうでない場合には一時従属であるという。
　階数は一次独立な列ベクトルの最大数と解釈できる。階数には以下が成り立つ：

　 $A\in\mathbb{R}^{m\times n}, B\in\mathbb{R}^{n\times l}$ として、以下が成り立つ：
$\begin{aligned} rank(AB)&\leq \min\{rank(A),rank(B) \}\\ rank(^{t}A)&=rank(A)\leq \min\{m,n\} \end{aligned}$

0.4　ベクトル空間とその次元

　 $x\in\mathbb{R}^n$ の部分集合で、

${\displaystyle \begin{eqnarray} \left\{ \begin{array}{l} x,y\in V\Longrightarrow x+y\in V,\\ a\in\mathbb{R}\Longrightarrow ax\in V \end{array} \right. \end{eqnarray} }$

が成立するような $V\subset\in\mathbb{R}^n$ を $\mathbb{R}^n$ の部分空間と呼ぶ。
　 $V,\ W$ をそれぞれ $\mathbb{R}^n,\ \mathbb{R}^m$ の部分空間、 $A\in\mathbb{R}^{m\times n}$ として、写像

$\begin{aligned} V\ni x \mapsto Ax\in W \end{aligned}$

を線型写像という。たとえば像 $\{Ax|x\in V\}$ および核 $\{x\in V| Ax=0\}$ は $V$ の部分空間になる。
　線型写像には以下が成り立つ：

　 $V,\ W$ をそれぞれ $\mathbb{R}^n,\ \mathbb{R}^m$ の部分空間として、行列 $A\in\mathbb{R}^{m\times n}$ による線形写像 $V\rightarrow W$ の像と核はそれぞれ $W,\ V$ の部分空間であって、それらの次元の和は $n$ である。またその像の次元は $A$ の階数に一致する。

0.5　固有値と固有ベクトル

　正方行列 $A\in\mathbb{R}^{n\times n}$ について、

$\begin{aligned} Ax=\lambda x,\ \lambda\in\mathbb{C},\ x\in\mathbb{R}^n \end{aligned}$

を考え、これについて $x\neq 0$ が成立するとき、 $x\neq 0$ を固有値 $\lambda\in\mathbb{C}$ の固有ベクトルという。
　一般に、

$\begin{aligned} (A-\lambda I)x=0の解が x=0のみ&\Leftrightarrow A-\lambda Iの各列が一次独立\\ &\Leftrightarrow A-\lambda Iが正則 \end{aligned}$

から、

$\begin{aligned} \lambdaがAの固有値である　\Leftrightarrow　\det(A-\lambda I)=0 \end{aligned}$

　一般に $A\in\mathbb{R}^{n\times n}の固有値が[tex:\lambda_1,\cdots,\lambda_n$ であれば、それらは固有方程式 $\det(A-tI)=(\lambda_1-t)\cdots(\lambda_n-t)=0$ の解であり、 $t=0$ とおけば、 $\det(A)=\lambda_1\cdots\lambda_n$ が成立する。
　正方行列 $A\in\mathbb{R}^{n\times n}$ の前後に正則行列とその逆行列を掛けると対角行列になるとき、 $A$ は対角化可能という。

0.6　正規直交基底と直交行列

　ベクトル空間 $V$ の $\boldsymbol{u},\boldsymbol{v}\in V$ の内積およびノルムをそれぞれ

$\begin{aligned} ^{t}\boldsymbol{u}\boldsymbol{v}&=\displaystyle{\sum_{i=1}^{n}u_iv_i},\\ \|\boldsymbol{u}\|&=\sqrt{^{t}\boldsymbol{u}\boldsymbol{u}} \end{aligned}$

で定義する。
　この下で $V$ の基底 $\boldsymbol{u}_1,\cdots,\boldsymbol{u}_n$ に対し

${\displaystyle \begin{eqnarray} ^{t}\boldsymbol{u}_{i}\boldsymbol{u}_{j}=\left\{ \begin{array}{l} 0,\ i\neq j,\\ 1,\ i=j \end{array} \right. \end{eqnarray} }$

であるとき、 $\boldsymbol{u}_1,\cdots,\boldsymbol{u}_n$ を $V$ の正規直交基底であるという。

正規直交基底の構成法：Gram-Schmidtの正規直交化法

　 $V$ の基底 $\boldsymbol{u}_1,\cdots,\boldsymbol{u}_n$ から正規直交基底 $\boldsymbol{v}_1,\cdots,\boldsymbol{v}_n$ を以下で構成する：

$\begin{aligned} \boldsymbol{v}_1&=\displaystyle{\frac{1}{\|\boldsymbol{u}_1\|}}\boldsymbol{u}_1,\\ \boldsymbol{v}_{k}^{\prime}&=\boldsymbol{u}_{k}-\sum_{i=1}^{k-1}(\boldsymbol{u}_{k},\boldsymbol{u}_{i})\boldsymbol{u}_{i},\ \boldsymbol{v}_{k}=\displaystyle{\frac{\boldsymbol{v}_{k}^{\prime}}{\|\boldsymbol{v}_{k}^{\prime}\|}} \end{aligned}$

　各列が直交し、大きさが $1$ であるような正方行列を直交行列という。 $U\in\mathbb{R}^{n\times n}$ を直交行列とすれば、 $^{t}UU$ が単位行列になる。したがって、

$\begin{aligned} ^{t}U=U^{-1} \end{aligned}$

が成り立つ。またこの両辺の行列式は $1$ で、また転置しても行列式の値は等しいから、 $\det(U)$ は $1$ または $-1$ である。またベクトル空間 $V\ni \boldsymbol{x}$ に直交行列 $U$ を掛ける線形写像 $V\ni x\mapsto Ux\in V$ を直交変換という。直交変換ではベクトル空間の任意の2元の間における内積を変えない。

0.7　対称行列の対角化

　 $i\gt j$ を満たすすべての $(i,j)$ 成分が $0$ であるような正方行列を上三角行列という。これに対して

　正方行列 $A\in\mathbb{R}^{n\times n}$ は適当な直交行列 $P$ を用いて $P^{-1}AP$ を上三角にすることができる。

が成り立つ。ここで $A$ が対称行列、すなわち $^{t}A=A$ ならば、

$\begin{aligned} ^{t}(P^{-1}AP)&=^{t}P ^{t}A ^{t}P^{-1}\\ &=P^{-1}AP \end{aligned}$

と、 $P^{-1}AP$ もまた対称行列である。すなわち $P$ を用いて三角化に加え対角化もできていることになる。
　対称行列では、異なる固有空間に含まれるベクトルは直交する。実際、 $\lambda,\mu\in\mathbb{R}$ を $A$ の固有値、また $x\in V_{\lambda},\ y\in V_{\mu}$ に対して

$\begin{aligned} \lambda ^{t}\boldsymbol{x}\boldsymbol{y}&=^{t}(\lambda\boldsymbol{x})\boldsymbol{y}\\ &=^{t}(A\boldsymbol{x})\boldsymbol{y}=^{t}\boldsymbol{x} ^{t}A\boldsymbol{y}\\ &=^{t}\boldsymbol{x}A\boldsymbol{y}=^{t}\boldsymbol{x}(\mu\boldsymbol{y})\\ &=\mu ^{t}\boldsymbol{x}\boldsymbol{y} \end{aligned}$

さらに $\lambda\neq\mu$ であるから、 $^{t}\boldsymbol{x}\boldsymbol{y}=0$ が成立する。また $P^{-1}AP$ が対角行列となるためには、 $P$ の各列ベクトルが一次独立な固有ベクトルであることが必要十分条件であった。したがって

同じ固有空間に含まれるベクトルを直交するように選べば、 $n$ 個のベクトルすべてがちょっこうすることになる。更に大きさをすべて $1$ に選ぶことで $P$ を直交行列にできる

ことが分かる。さらに

　大きさが $n$ の対称行列 $A$ について以下は同値である：

$A=^{t}BB$ であるような行列 $B\in\mathbb{R}^{m\times n}$ が存在する

任意の $\boldsymbol{x}\in\mathbb{R}^n$ について $^{t}\boldsymbol{x}A\boldsymbol{x}\geq0$

$A$ のすべての固有値が非負である

次回

power-of-awareness.com

「大人の教養・知識・気付き」を伸ばすブログ