「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。

MENU

【ベイズ統計学】入門 ベイズ統計学(01/X)

 ベイズ統計学

を主に参照しつつ学んでいく。

1 ベイズ分析とは何か?

 これまでは古典的統計学と呼ばれる枠組みによって行われてきた:

  1. 分析対象となる母集団から、
  2. 繰り返し一定の大きさの標本(サンプル)を無作為(ランダム)に抽出し、
  3. 標本を用いて未知の母集団の性質を統計的に推測する。

この母集団の性質を決める変数を母数(パラメータ)という。
 これとは異なる発想から成り立つデータ分析の手法としてベイズ分析(ベイズ統計学が興隆しつつある。


図表1 古典統計学ベイズ統計学の発想の違い

古典統計学
パラメータの扱い 真の値は未知だが固定された変数と想定する。 パラメータ自体を確率変数と見なす。
パラメータの推測方法 定量という統計量(標本の関数)から推論する。 パラメータの確率分布から推論する。
不確実性の源泉 標本およびそこから推論される推定量*1 パラメータ*2

 そもそも統計モデルとは、「複雑な様相を呈する現実の社会現象・自然現象等を簡略化して表現したもの*3である。数学的には標本空間上で定義される確率分布族として定義され、パラメトリックな確率分布族は\{f(\boldsymbol{x}|\boldsymbol{\theta})|\boldsymbol{\theta}\in\Theta\}と表記される。ここでf(\boldsymbol{x}|\boldsymbol{\theta})はある確率密度関数\boldsymbol{\theta}は同確率密度関数に含まれるパラメータを意味し、\Theta\boldsymbol{\theta}の動く範囲を規定し母数空間という。このような統計モデルを構築する過程を総称して統計的モデリングという。
 統計的モデリングを概念的に説明する。まず観測データ\boldsymbol{X}_n=(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_n)を得る。目的に応じて真のモデルg(\boldsymbol{x})を含むか否かは分かれるが、\{f(\boldsymbol{x}|\boldsymbol{\theta})|\boldsymbol{\theta}\in\Theta\}を想定する。すなわち「考慮している統計モデルf(\boldsymbol{x}|\boldsymbol{\theta})は真のモデルを完璧には記述できないが、統計的モデリングを上手くおこなうことで、真のモデルを精度よく近似しよう」*4と考える。そしてあるモデル推定法を用いて統計モデルf(\boldsymbol{x}|\boldsymbol{\theta})に含まれるパラメータを推定した\hat{\boldsymbol{\theta}}を得、その推定値を統計モデルのパラメータとして用いる。これを真のモデルと比べて評価し、そのモデルの良さを考える。すなわち

  1. 観測データ\boldsymbol{X}_n=\{\boldsymbol{x}_1,\cdots,\boldsymbol{x}_n\}に対して、ある統計モデルf(\boldsymbol{x}|\boldsymbol{\theta})を設定する。
  2. あるモデル推定法(例えば、最尤推定法、一般化モーメント法、罰則付き最尤推定法、ロバスト推定法など)により、統計モデルf(\boldsymbol{x}|\boldsymbol{\theta})に含まれるパラメータを推定し、得られた推定値\hat{\boldsymbol{\theta}}を統計モデルのパラメータに利用する。
  3. 構成された統計モデルの良さをなんらかのモデル評価基準(例えば、AIC)により評価する。構成された統計モデルが十分満足するものであればそれを利用し、逆に、統計モデルのさらなる改善が必要な場合などは、それを反映させて最初に戻り、この手順を繰り返す。*5

 ベイズ的統計モデリングでは、上述のモデリングよりも複雑になる。ベイズ的統計モデリングの枠組みでは、パラメータ\boldsymbol{\theta}も確率変数とみなし、観測データ\boldsymbol{X}_nに対してのみならず、パラメータ\boldsymbol{\theta}に対しても確率分布\pi(\boldsymbol{\theta})を設定する。この\pi(\boldsymbol{\theta})モデリングをする前(観測データを得る前)に予め有していた(主観的な)情報やそれ以前の情報などを織り込ませたものである*6。そこに観測データ\boldsymbol{X}_nの情報を加えてパラメータの確率分布を改めて構成(観測データを用いて事前分布を修正)して新たなパラメータの確率分布を得る。この分布を事後分布という。要約すれば

  1. 観測データ\boldsymbol{X}_n=\{\boldsymbol{x}_1,\cdots,\boldsymbol{x}_n\}に対して、ある統計モデルf(\boldsymbol{x}|\boldsymbol{\theta})を設定し、先験的情報を事前分布により表現する(例えば、パラメータ\boldsymbol{\theta}には事前分布[tex:\pi(\boldsymbol{\theta})を設定する。)
  2. 未知の量についてのベイズ推定を、その事後分布によりおこなう(例えば、パラメータ\boldsymbol{\theta}ベイズ推定には、事後分布[tex:\pi(\boldsymbol{\theta}|\boldsymbol{X}_n)を利用する)。
  3. ステップ2で構成された統計モデルの良さをなんらかのモデル評価基準により評価する。構成された統計モデルが十分満足するものであればそれを利用し、逆に、統計モデルのさらなる改善をしたい場合などは、それを反映させてステップ1に戻り、これを繰り返す。*7

 この事後分布構成の妥当性を裏付けるとともにその具体的な構成方法を与えるのがBayesの定理であり、それを模式図的に説明すれば


\begin{aligned}
事後分布&=補正項\times事前分布,\\
補正項&=\displaystyle{\frac{真の値の候補が正しいときにデータが実現する確率(密度)}{事前分布で平均したデータが実現する確率(密度)}}
\end{aligned}

となる。2つ目の式の右辺の分子は、ある真の値の候補が仮に正しいとしたときに観測されたデータが実現する確率を表し、それを尤度(ゆうど)という。同分母は事前分布で評価したデータの実現確率の期待値を表し、周辺尤度と呼ぶ。周辺尤度は「事前情報で真の値の可能性が高いパラメータの値に対応する尤度には高い確率を重みとしてかけ、真の値の可能性が低いパラメータの値に対応する尤度には低い確率を重みとしてかけて加重平均したものと解釈」*8できる。周辺尤度で割ることでこの補正項の大きさは規格化され、事後分布もまた確率分布になることが保障される。また分母は期待値であるからパラメータに依存せずにデータのみに依存し分子もまたデータの実現確率であるから、補正項はデータに依存する定数である。以上をことばで表現すれば、Bayesの定理は、パラメータの不確実性を事前に有している情報をもとに(仮置きして)事前分布として、それを実際のデータに基づいたときに実際に実現した蓋然性の大きい確率をより大きくする一方で実現した蓋然性の小さい確率はより小さくするという調整を与えたものを事後分布とするという主張である。

 Bayes分析には古典的統計学に基づく分析に比べ、いくつか利点がある。

  • データの数が少ない場合も多い場合も同一の枠組みで利用できる:古典的統計学ではデータ数の大小に応じて適用可能な理論が異なる。
  • データ以外の主観的情報を活用できる:古典的統計学ではデータしか情報を与えるものは(ほぼ)存在しない。ただし科学的な分析のための客観性は多少喪失する場合がある。
  • 未知パラメータがデータ数よりも多くても分析できる:古典的統計学では特に推定方法によっては推定精度が悪い以前にそもそも推定が不可能な場合がある。
  • 人間の不確実化における意思決定に自然に結びついている:不確実下において合理的な行動を考える場合、事前に与えられた情報を制約としつつ得たデータを基に最良な打ち手を考えるというのはまさにBayes分析と同様の枠組みである

*1:定量は確率変数の関数である一方で、他方で、実際の観測値を推定量に代入して得た具体的な値は推定値と呼ぶ。これは既に不確実性は消えている。この相違に注意せよ。

*2:逆に言えば、観測する値自体は確率変数とは見なさない。

*3:安道知寛(2010)「ベイズ統計モデリング」朝倉書店 P.1参照。

*4:同前掲書 P.4参照。

*5:同前掲書 P.8参照。

*6:こうした反映できる情報をまとめて事前情報と呼ぶ。簡単のためにパラメータ空間が一次元である特定値以下の正の実数、すなわち\Theta=(0,a],a\in\mathbb{R},a\gt0と考えれば、もし何も情報を有していないのであれば、どの値が出やすいかについて自分は公平な立場であるから、想定すべき確率分布は一様分布であろう。他方で、ある特定の値が出やすいということを認識しているのであれば、そこを補正したものを事前分布に用いることになる。

*7:同前掲書 P.10参照。

*8:中妻照雄(2007)「入門ベイズ統計学」朝倉書店 P.9参照。

プライバシーポリシー お問い合わせ