「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。データ分析・語学に力点を置いています。 →現在、コンサルタントの雛になるべく、少しずつ勉強中です(※2024年1月21日改訂)。

MENU

本気で学ぶ統計学(24/31)

 統計学を真剣に学ぶ人のために、個人的にまとめているノートを公開する。
 底本として

を用いる。

8. 統計的仮説検定

8.3 良い検定手法の定義:一様最強力検定・不偏検定・尤度比検定

 「“良い”検定」とは何か。伝統的な検定手法に立脚すれば、前述のとおり第1種の過誤を犯す確率を有意水準\alphaに抑えたうえで対立仮説のもとでの検出力を最大にする(第2種の過誤を犯す確率を最小化する)ものである。こうしたものを与える条件を具体的に考えるために有用な概念が「(一様)最強力検定」「不偏検定」「尤度比検定」である。
 「(一様)最強力検定」とは検出力の高い検定の方が“良い”検定であるという、言ってみれば当たり前の条件を明言化するための考えである。しかしそれはすべての検定において常に存在するというわけではない。そこでもし(一様)最強力検定が存在しないのであれば、(一様)最強力検定が存在するように検定族を制約する「条件」を加えることを考えればよく、そのための条件が検定における「不偏性」である。

8.3.2 単調尤度比と不偏検定

 対立仮説が単純仮説でないより複雑な状況であっても\mathrm{Neyman}-\mathrm{Pearson}補題を適用することで一様最強力検定の存在を示すことができる場合がある。それは尤度比が「単調性」を満たし、更に考えている検定問題が片側検定の場合である。
 仮説検定


\begin{aligned}
H_0:\theta\leq\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\geq\theta_0
\end{aligned}

を考える。\theta_1\lt\theta_2を満たす\theta=\theta_1,\theta_2を固定して尤度比


\begin{aligned}
L(\boldsymbol{x};\theta_1,\theta_2)=\displaystyle{\frac{f(\boldsymbol{x},\theta_2)}{f(\boldsymbol{x},\theta_1}}
\end{aligned}

を考える。このときにある統計量T(\boldsymbol{x})を用いて尤度比L(\boldsymbol{x};\theta_1,\theta_2)


\begin{aligned}
L(\boldsymbol{x};\theta_1,\theta_2)=\displaystyle{\frac{f(\boldsymbol{x},\theta_2)}{f(\boldsymbol{x},\theta_1}}=g(T(\boldsymbol{x}),\theta_1,\theta_2)
\end{aligned}

Tの関数として書けると仮定する*1
 もし尤度比L(\boldsymbol{x};\theta_1,\theta_2)が統計量T(\boldsymbol{x})の関数に書け、さらに{}^{\forall}\theta_1,{}^{\forall}\theta_2に対して単調増加関数ならば、f(\boldsymbol{x};\theta)T(\boldsymbol{x})に関して単調尤度比を持つという。



単調尤度比 確率分布P_{\theta}確率密度関数f(x,\theta)に関する仮説検定

\begin{aligned}
H_0:\theta\leq\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\geq\theta_0
\end{aligned}

を考える。
 f(x,\theta)の尤度比


\begin{aligned}
L(\boldsymbol{x};\theta_1,\theta_2)=\displaystyle{\frac{f(\boldsymbol{x},\theta_2)}{f(\boldsymbol{x},\theta_1}}=g(T(\boldsymbol{x}),\theta_1,\theta_2)
\end{aligned}

がある統計量T(\boldsymbol{x})を用いて


\begin{aligned}
L(\boldsymbol{x};\theta_1,\theta_2)=g(T(\boldsymbol{x}),\theta_1,\theta_2)
\end{aligned}

と書け、さらに{}^{\forall}\theta_1,{}^{\forall}\theta_2に対してg(T(\boldsymbol{x}),\theta_1,\theta_2)\boldsymbol{x})に関して単調増加ならば、確率密度関数f(x,\theta)T(\boldsymbol{x})に関して単調尤度比を持つという。

 もし密度関数が単調尤度比を持つならば、一様最強力検定の存在を証明することができる。



単調尤度比を持つ場合の一様最強力検定の存在性 確率分布P_{\theta}確率密度関数f(x,\theta)が1次元の母数をもつものとし、統計量T(\boldsymbol{x})に関して単調尤度比を持つとして、仮説検定

\begin{aligned}
H_0:\theta\leq\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\geq\theta_0
\end{aligned}

を考える。このとき任意の0\leq\alpha\leq1に対して-\infty\leq c\leq\infty,0\leq r\leq1が存在し、検定関数


\begin{aligned}
\delta_{c,r}(\boldsymbol{x})=\begin{cases}
1,&T(\boldsymbol{x})\gt c,\\
r,&T(\boldsymbol{x})= c,\\
0,&T(\boldsymbol{x})\lt c,\\
\end{cases}
\end{aligned}

有意水準\alphaの検定において一様最強力検定になる。

(\because 簡単のため、尤度比L(\boldsymbol{x};\theta_1,\theta_2)=g(T(\boldsymbol{x}),\theta_1,\theta_2){}^{\forall}\theta_1,{}^{\forall}\theta_2に対して狭義単調増加だと仮定する。そうでない場合も同様に示すことができる。
 いま\theta_1\gt\theta_0を任意に固定し、制限された仮説検定


\begin{aligned}
H_0:\theta=\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta=\theta_1
\end{aligned}

を考える。この問題には\mathrm{Neyman}-\mathrm{Pearson}補題が適用でき、有意水準\alphaとしたとき、その最強力検定は


\begin{aligned}
\delta_{c,r}(\boldsymbol{x})=\begin{cases}
1,&T(\boldsymbol{x})\gt c,\\
r,&T(\boldsymbol{x})= c,\\
0,&T(\boldsymbol{x})\lt c,\\
\end{cases}
\end{aligned}

で与えられる。このc,r\alphaに依存し、\theta_1には依存しない。したがって\delta_{c,r}は仮説検定


\begin{aligned}
H_0:\theta=\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\gt\theta_1
\end{aligned}

の一様最強力検定でもある。
 次にT(\boldsymbol{x})に関する単調尤度比が存在する場合を考える。T(\boldsymbol{x})の単調増加関数g( T(\boldsymbol{x}) ),h( T(\boldsymbol{x}) )に関して、\displaystyle{\int_{-\infty}^{\infty}g(T(\boldsymbol{x}) )f(x)}dx,\displaystyle{\int_{-\infty}^{\infty}h(T(\boldsymbol{x}) )f(x)}dxが存在するという前提の下で


\begin{aligned}
\left(\displaystyle{\int_{-\infty}^{\infty}g(T(\boldsymbol{x}) )f(x)}dx\right)
\left(\displaystyle{\int_{-\infty}^{\infty}h(T(\boldsymbol{x}) )f(x)}dx\right)\leq
\displaystyle{\int_{-\infty}^{\infty}g(T(\boldsymbol{x}) )h(T(\boldsymbol{x}) )f(x)}dx
\end{aligned}

が成り立つ。
 実際、T(x)=xのとき*2m=\displaystyle{\int g(x)f(x)dx}とおくこのときf(x)は密度関数だから、


\begin{aligned}
0=\displaystyle{\int(g(x)-m)f(x)}dx
\end{aligned}

である。ここでg(x)-mは単調増加関数であるから、この式が成り立つにはあるt\in\mathbb{R}に対してx\leq t\Rightarrow g(x)-m\leq0,x\geq t\Rightarrow g(x)-m\geq0とならなければならない。
 ここでhが単調増加であることから、


\begin{aligned}
{}^{\forall}x\in\mathbb{R}\left( (g(x)-m)(h(x)-h(t) )\geq0\right)
\end{aligned}

が成り立つ。したがって


\begin{aligned}
0&\leq\displaystyle{\int(g(x)-m)(h(x)-h(t) )f(x)}dx\\
&=\displaystyle{\int(g(x)-m)h(x)f(x)}dx\\
&=\displaystyle{\int g(x)h(x)f(x)}dx-\left(\displaystyle{\int g(x)f(x)}dx\right)\left(\displaystyle{\int h(x)f(x)}dx\right)
\end{aligned}

を得る。 
 さてここでf(x)=f(\boldsymbol{x},\theta),g(T(\boldsymbol{x}) )=\displaystyle{\frac{f(x,\theta_1)}{f(x,\theta)}},h(T(\boldsymbol{x}) )=\delta_{c,r}(\boldsymbol{x})とおけば、g(T(\boldsymbol{x}) ),h(T(\boldsymbol{x}) )はいずれも単調増加であるから、


\begin{aligned}
&\left(\displaystyle{\int_{-\infty}^{\infty}g(T(\boldsymbol{x}) )f(x)}dx\right)\left(\displaystyle{\int_{-\infty}^{\infty}\delta_{c,r}(\boldsymbol{x})f(x)}dx\right)\leq
\displaystyle{\int_{-\infty}^{\infty}\frac{f(x,\theta_1)}{f(x,\theta)}\delta_{c,r}(\boldsymbol{x})f(x)}dx\\
\Leftrightarrow&\left(\displaystyle{\int_{-\infty}^{\infty}f(x,\theta_1)}dx\right)\left(\displaystyle{\int_{-\infty}^{\infty}\delta_{c,r}(\boldsymbol{x})f(x)}dx\right)\leq
\displaystyle{\int_{-\infty}^{\infty}\delta_{c,r}(\boldsymbol{x})f(x,\theta_1)}dx\\
\Leftrightarrow&\displaystyle{\int_{-\infty}^{\infty}\delta_{c,r}(\boldsymbol{x})f(x)}dx\leq\displaystyle{\int_{-\infty}^{\infty}\delta_{c,r}(\boldsymbol{x})f(x,\theta_1)}dx\\
\Leftrightarrow&E_{\theta}\left[\delta_{c,r}(\boldsymbol{x})\right]\leq\left[\delta_{c,r}(\boldsymbol{x})\right]=\alpha
\end{aligned}

を得る。これは\delta_{c,r}(\boldsymbol{x})有意水準\alphaの一様最強力検定であることに他ならない。 \blacksquare)

8.3.3 不偏検定

 両側検定に対しては、ここまでの議論のように一様最強力検定が直ちに構築できるわけではない。そこで不偏検定という概念を導入し、それを満たすような検定における一様最強力検定の有無を議論することにしよう*3。不偏検定の概念は、両側検定において片側検定で定式化した議論を行うと対立仮説が正しいときの方が, 帰無仮説が正しいときよりも帰無仮説を棄却しにくいことになることを受けて、上側確率と下側確率を“公平”に評価することを定式化するための概念である。


検定の不偏性 確率分布P_{\theta}の確率(密度)関数をf(x,\theta)とし、母数\thetaに関する仮説検定

\begin{aligned}
H_0:\theta\in\Theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\in\Theta_1
\end{aligned}

に対する有意水準\alphaの検定が不偏であるとは、


\begin{aligned}
{}^{\forall}\theta\in\Theta_1\left(\beta_{\delta}(\theta)=E_{\theta}\left[\delta(\boldsymbol{X})\right]\geq\alpha\right)
\end{aligned}

が成り立つことをいう。

 これは任意の対立仮説のもとでの検出力が有意水準以上になる検定を不偏だと呼ぶことを意味する。

 不偏な検定の中ですべての対立仮説について検出力を最大にする検定方式があれば、それを一様最強力不偏検定という。


一様最強力不偏検定 確率分布P_{\theta}の確率(密度)関数をf(x,\theta)とし、母数\thetaに関する仮説検定

\begin{aligned}
H_0:\theta\in\Theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\in\Theta_1
\end{aligned}

に対する有意水準\alphaであるような任意の不偏検定\deltaにおいて、


\begin{aligned}
{}^{\forall}\theta\in\Theta_1\left(\beta_{\delta^{*}}(\theta)\geq\beta_{\delta}(\theta)\right)
\end{aligned}

を満たすような\delta^{*}が存在するとき、\delta^{*}を一様最強力不偏検定と呼ぶ。

 複合仮説の場合、一般には一様最強力検定は存在しない。しかし一様最強力不偏検定は存在する場合がある。たとえば指数分布族では一様最強力不偏検定が存在することが知られている:


指数分布族における一様最強力不偏検定 確率変数\boldsymbol{X}=(X_1,\cdots,X_n)\theta\in\mathbb{R}を母数とする確率(密度)関数f(\boldsymbol{x};\theta)

\begin{aligned}
f(\boldsymbol{x};\theta)=C(\theta)e^{\theta\cdot T(\boldsymbol{x})}h(\boldsymbol{x})
\end{aligned}

と表されるとする*4。このとき両側検定、すなわち仮説検定


\begin{aligned}
H_0:\theta\in[\theta_1,\theta_2]\ \ \mathrm{v.s.}\ \ H_1:\theta\in\left(-\infty,\theta_1\right)\cup\left(\theta_2,\infty\right)
\end{aligned}

または


\begin{aligned}
H_0:\theta=\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\neq\theta_0
\end{aligned}

において、c,rが与えられたとき、検定関数


\begin{aligned}
\delta_{0}(\boldsymbol{x})=\begin{cases}
1,&T(\boldsymbol{x})\lt c_1\lor T(\boldsymbol{x})\gt c_2,\\
r_i,&T(\boldsymbol{x})=c_i ,i=1,2,\\
0,&c_1\lt T(\boldsymbol{x})\lt c_2
\end{cases}
\end{aligned}

有意水準\alphaの一様最強力不偏検定である。ここでr_i,c_i,i=1,2は両側検定のうち前者の形態では


\begin{aligned}
\beta_{\delta_{0}}(\theta_1)=\beta_{\delta_{0}}(\theta_2)=\alpha
\end{aligned}

で、後者の形態では


\begin{aligned}
\beta_{\delta_{0}}(\theta_0)=\alpha
\end{aligned}

で定まる定数である。

参考文献

  • Lehmann, E.L., Casella, George(1998), "Theory of Point Estimation, Second Edition", (Springer)
  • Lehmann, E.L., Romano, Joseph P.(2005), "Testing Statistical Hypotheses, Third Edition", (Springer)
  • Sturges, Herbert A.,(1926), "The Choice of a Class Interval", (Journal of the American Statistical Association, Vol. 21, No. 153 (Mar., 1926)), pp. 65-66
  • Wald, A.,(1950), "Statistical Decision Functions", John Wiley and Sons, New York; Chapman and Hall, London
  • 上田拓治(2009)「44の例題で学ぶ統計的検定と推定の解き方」(オーム社)
  • 大田春外(2000)「はじめよう位相空間」(日本評論社)
  • 小西貞則(2010)「多変量解析入門――線形から非線形へ――」(岩波書店)
  • 小西貞則,北川源四郎(2004)「シリーズ予測と発見の科学2 情報量基準」(朝倉書店)
  • 小西貞則,越智義道,大森裕浩(2008)「シリーズ予測と発見の科学5 計算統計学の方法」(朝倉書店)
  • 佐和隆光(1979)「統計ライブラリー 回帰分析」(朝倉書店)
  • 清水泰隆(2019)「統計学への確率論,その先へ ―ゼロからの速度論的理解と漸近理論への架け橋」(内田老鶴圃)
  • 鈴木 武, 山田 作太郎(1996)「数理統計学 基礎から学ぶデータ解析」(内田老鶴圃)
  • 竹内啓・編代表(1989)「統計学辞典」(東洋経済新報社)
  • 竹村彰通(1991)「現代数理統計学」(創文社)
  • 竹村彰通(2020)「新装改訂版 現代数理統計学」(学術図書出版社)
  • 東京大学教養学部統計学教室編(1991)「基礎統計学Ⅰ 基礎統計学」(東京大学出版会)
  • 東京大学教養学部統計学教室編(1994)「基礎統計学Ⅱ 人文・社会科学の統計学」(東京大学出版会)
  • 東京大学教養学部統計学教室編(1992)「基礎統計学Ⅲ 自然科学の統計学」(東京大学出版会)
  • 豊田秀樹(2020)「瀕死の統計学を救え! ―有意性検定から「仮説が正しい確率」へ―」(朝倉書店)
  • 永田靖(2003)「サンプルサイズの決め方」(朝倉書店)
  • 柳川堯(2018)「P値 その正しい理解と適用」(近代科学社)

*1:たとえばT(\boldsymbol{x})が十分統計量ならば、分解定理によりこの形で書くことができる。

*2:そうでない場合も同様に示すことができるが、簡便のためこの場合のみ扱う。

*3:攪乱母数が存在する場合にも不偏検定の概念が必要になる。

*4:このような形の確率(密度)関数を持つ分布族を指数分布族という。

プライバシーポリシー お問い合わせ