いい加減時代の潮流に乗ろうということで機械学習を学びたいと思う。またRはともかくとしてPythonは未経験であるため、丁度良い書籍として
を用いることにする。
0. 線形代数
0.1 逆行列
係数行列およびベクトル
から
を満たすような
を求める問題を考える。
または
について
- ルール1:ある行全体を非零定数で割る
- ルール2:ある2つの行を入れ替える
- ルール3:ある行の何倍かを他の行に加える
を施すことでが
に変形できることを
で表すこととする。
すべての成分がでない行ベクトルの最初の非零成分を主成分と言い、そのうち下記の条件を満たす行列を標準形という:
- [\tex:0]の行ベクトルは最下段にある
でない行ベクトルの主成分は
である
- 各行の主成分は下の行ほどそれより上の行の主成分よりも右にある
- 主成分を含む列の主成分以外の成分は
である
任意の行列に対して標準形が一意に定まる。
ルール1から3を用いて標準形を計算することを掃き出し法という。行列の標準形の主成分の数を階数(Rank)という。定義から階数は
以下である。
が正方でその標準形が単位行列になるとき、「
は正則である」という。また
が正則であるとき、大きさが
の単位行列
を右の列に置いた行列
の標準形を
と書くとき、
を互いに逆行列であるといい、
と書く。
0.2 行列式
正方行列に対し、行列式
を以下で定義する:
まずが正則でない場合、
とする。
が正則ならば、単位行列
に対して
とし、標準形からもとの行列
を求める過程で、以下の手順を施すことで最終的に得た
の値を行列式と定義する。
- ある行全体を非零定数
倍するとき、
を
倍する
- ある2行を入れ替えるとき、
を
倍する
- ある行の
倍を他の行から引くときには、
の値を変えない
行列式について、以下が成り立つ:
正方行列
について、
が成立する。
0.3 一次独立性
を列ベクトルにもつ行列
に対して、連立方程式
が
以外の解をもたないとき、
は一次独立であるといい、そうでない場合には一時従属であるという。
階数は一次独立な列ベクトルの最大数と解釈できる。階数には以下が成り立つ:
として、以下が成り立つ:
0.4 ベクトル空間とその次元
の部分集合で、
が成立するようなを
の部分空間と呼ぶ。
をそれぞれ
の部分空間、
として、写像
を線型写像という。たとえば像および核
は
の部分空間になる。
線型写像には以下が成り立つ:
をそれぞれ
の部分空間として、行列
による線形写像
の像と核はそれぞれ
の部分空間であって、それらの次元の和は
である。またその像の次元は
の階数に一致する。
0.5 固有値と固有ベクトル
正方行列について、
を考え、これについてが成立するとき、
を固有値
の固有ベクトルという。
一般に、
から、
一般にであれば、それらは固有方程式
の解であり、
とおけば、
が成立する。
正方行列の前後に正則行列とその逆行列を掛けると対角行列になるとき、
は対角化可能という。
0.7 対称行列の対角化
を満たすすべての
成分が
であるような正方行列を上三角行列という。これに対して
正方行列
は適当な直交行列
を用いて
を上三角にすることができる。
が成り立つ。ここでが対称行列、すなわち
ならば、
と、もまた対称行列である。すなわち
を用いて三角化に加え対角化もできていることになる。
対称行列では、異なる固有空間に含まれるベクトルは直交する。実際、を
の固有値、また
に対して
さらにであるから、
が成立する。また
が対角行列となるためには、
の各列ベクトルが一次独立な固有ベクトルであることが必要十分条件であった。したがって
同じ固有空間に含まれるベクトルを直交するように選べば、
個のベクトルすべてがちょっこうすることになる。更に大きさをすべて
に選ぶことで
を直交行列にできる
ことが分かる。さらに
大きさが
の対称行列
について以下は同値である:
であるような行列
が存在する
- 任意の
について
のすべての固有値が非負である