統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書
を基により高等な線形代数を学ぶ。
前回
1. 線形代数の基礎
1.10 確率ベクトルと関連する統計的概念
後の章における前提として統計理論の一部を概説する。
1.10.1 期待値
1.10.2 分散
1.10.3 k次モーメント
1.10.5 特別な確率分布
- 正規分布:
- 標準正規分布:
任意のに対して
とおけば、
である点に注意すると、
と標準正規分布に帰着できる。
- 自由度
のカイ二乗分布
のとき、
である。さらに
ならば
である。
- 自由度
をもつ
分布:
が互いに独立ならば
である。
1.10.6 確率ベクトル
を確率変数としたとき、
を確率ベクトルという。
が成り立つとき、は独立であるという。
の平均ベクトル
は
で定義される。
共分散を
で定義し、以降と書くことにする。
共分散を各成分に持つ行列
を共分散行列という。
とすれば、確率変数
について
である。
またとし
ならば
一般にに対して
ならば、
である。したがって変換された確率ベクトルの平均ベクトルおよび共分散行列は
である。
間の線形関係を測る尺度として相関係数がある。
行列を相関行列と呼ぶ。
とすれば
で表される。またに対して
とおけば
である。
単位行列を
とおくと
であり
であるから、を得る。
平均や分散、共分散は通常未知であるから、標本から推定する。
いまを確率変数
から無作為に得た標本とする。このとき
で与えられる。
多変量の場合でも同様に与えることが出来る。が確率ベクトル
から無作為に得られた標本だとする。このとき標本平均ベクトルおよび標本共分散行列は
で与えられる。
この標本共分散行列を用いることで、対角行列と共に標本相関行列を
で得る。
多変量確率分布の議論で頻用されるのが、多変量正規分布である。多変量正規分布は行列およびベクトルを用いることで簡潔に表すことが出来る。とすると
と書ける。
もしで
を満たすとする。このとき
の下で
ならば、
が成り立つ。
多変量正規分布の重要な性質として、多変量正規ベクトルの線形変換は別の多変量積ベクトルを生成する。実際、ならば、
が成り立つ。
次に多変量正規分布の拡張として、球形分布および楕円分布を考える。球形分布は標準多変量正規分布の、楕円分布は多変量正規分布
の拡張版である。
すべての直交行列
について
確率ベクトル
および
が同じ分布に従うとき、
は球形分布に従うという。もし
が密度関数をもった球形分布ならば、この密度関数は
にのみ依存する。
今度は球形分布から楕円分布に拡張する。確率ベクトルが
で表現できるならば、は母数
の楕円分布に従うという。
もしが無作為に得られたものであるならば、
が球形分布に従う場合、非負の確率変数
を用いて
と書ける。これを用いると
と書ける。
回帰分析
を考える。ここで
とし、観測値に対して
とする。
このモデルが成り立つならば、
を得る。
を推定する方法の1つに最小二乗法がある。これは
が与える誤差の平方和(残差平方和)を最小化するようなを得る。それは正規方程式
として表される。
もしが最大列階数をもつ、すなわち
ならば、
が存在する。したがって
の最小二乗推定量は一意に定まり
を得る。