「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。現在、コンサルタントの雛になるべく、少しずつ勉強中です(※2024年12月10日改訂)。

MENU

0からやり直すベイズ統計学(1/X)

はじめに

 P・D・ホフ「標準ベイズ統計学

を基にベイズ統計学を学んでいく。

1. 導入と例

1.1 導入

  • 確率は、未知の量について人が持つ情報や信念を表すのに用いる。確率と情報には関係があり、ベイズルールにより新たな情報が信念を更新する合理的な手段を提供する。

1.2 なぜベイズ

  • \mathrm{Cox}(1946)などが示すように、p(\theta)p(y\left|\right.\theta)が合理的な個人の信念を表すならば、新たな情報yに基づいて当人の\thetaに関する信念を更新する方法として最適なものはベイズルールである。

1.3 ベイズアプローチが供される目的

  • 合理的な量的学習に対するモデル
  • 標本サイズの大小によらずに機能する推定量
  • 複雑な問題における統計分析の手段を生成する方法

2. 信念、確率、交換可能性

 信念関数を導入し、合理的なそれが持つべき性質を議論する。

2.1 信念関数と確率

 信念関数\mathrm{Be}(\cdot)は、信念の度合いの強さを表すように事象に数値を割り当てる関数である。3つの事象F,G,Hを考えたとき、信念関数には、以下の性質を持たせたい:

  • もしGが真であることよりもFが真であることの方が確からしいとの確信があるならば、Be(F)\gt Be(G)
  • Be\left(F\left|\right.H\right)\gtBe\left(G\left|\right.H\right)は、もしHが真だと分かっているときにGが真であることよりもFが真であることの方が確からしいとの確信があることを表す。
  • Be\left(F\left|\right.G\right)\gtBe\left(F\left|\right.H\right)は、もしFが真だと思っているときに、Hが真であるという条件の下よりもGが真であるという条件の下での方が確信度合いが強いことを表す。

2.2 事象・分割・ベイズルール


定義1(分割) 集合族\left\{H_1,\cdots,H_K\right\}が、集合\mathcal{H}の分割であるとは、以下の2つが成り立つことをいう。

  1. H_i\cap H_j=\emptyset for {}^{\forall}i,{}^{\forall}j s.t. i\neq j
  2. \displaystyle{\bigcup_{i=1}^{K}H_i}=\mathcal{H}

 何らかの事象のうちどれかが真であるという文脈では、\mathcal{H}はすべてのあり得る真実の集合であり、その分割\left\{H_1,\cdots,H_K\right\}のうち1つのみに真実が含まれている。


確率に関する3つの法則 全事象\mathcal{H}\mathcal{H}の分割\left\{H_1,\cdots,H_K\right\}(\displaystyle{\bigcup_{i=1}^{K}H_i}=\mathcal{H},H_i\cap H_j=\emptyset(i\neq j)),およびある事象Eについて、以下が成り立つ。

  • 全確率の法則:\displaystyle{\sum_{i=1}^{K}P(H_i)}=1
  • 周辺確率の法則:P(E)=\displaystyle{\sum_{i=1}^{K}}P\left(H_i\right)P\left(E\left|\right.H_i\right)
  • ベイズルール:P\left(H_j\left|\right.E\right)=\displaystyle{\frac{P(H_j)P\left(E\left|\right.H_j\right)}{\displaystyle{\sum_{i=1}^{K}P(H_i)P\left(E\left|\right. H_i\right) }}}

 全事象\mathcal{H}に対する確率は、その定義から


\begin{aligned}
P\left(\mathcal{H}\right)=1
\end{aligned}

であり、分割の定義から


\begin{aligned}
P\left(\mathcal{H}\right)=P\left(\displaystyle{\bigcup_{i=1}^{K}H_i}\right)=\displaystyle{\sum_{i=1}^{K}P(H_i)}=1
\end{aligned}

を得る。
 次に、


\begin{aligned}
P\left(E\right)&=P\left(\mathcal{H}\cap E\right)\\
                      &=P\left(\left(\displaystyle{\bigcup_{i=1}^{K}H_i}\right)\cap E\right)\\
                      &=\displaystyle{\sum_{i=1}^{K}P\left(H_i\cap E\right)}\\
                      &=\displaystyle{\sum_{i=1}^{K}P(H_i)P\left(E\left|\right.H_i\right)}
\end{aligned}

である。
 最後に、


\begin{aligned}
P\left(H_j\left|\right.E\right)&=\displaystyle{\frac{P\left(E\cap H_j\right)}{P\left(E\right)}}\\
                                            &=\displaystyle{\frac{P(H_j)P\left(E\left|\right.H_j\right)}{\displaystyle{\sum_{i=1}^{K}P(H_i)P\left(E\left|\right.H_i\right)}}}
\end{aligned}

を得る。

プライバシーポリシー お問い合わせ