本気で学ぶ統計学(24/31) - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学を真剣に学ぶ人のために、個人的にまとめているノートを公開する。
　底本として

新装改訂版現代数理統計学

作者:彰通, 竹村
学術図書出版社

Amazon

を用いる。

前回
8.　統計的仮説検定
- 8.3　良い検定手法の定義：一様最強力検定・不偏検定・尤度比検定
  - 8.3.2　単調尤度比と不偏検定
  - 8.3.3　不偏検定
参考文献

前回

power-of-awareness.com

8.　統計的仮説検定

8.3　良い検定手法の定義：一様最強力検定・不偏検定・尤度比検定

　「“良い”検定」とは何か。伝統的な検定手法に立脚すれば、前述のとおり第1種の過誤を犯す確率を有意水準 $\alpha$ に抑えたうえで対立仮説のもとでの検出力を最大にする（第2種の過誤を犯す確率を最小化する）ものである。こうしたものを与える条件を具体的に考えるために有用な概念が「（一様）最強力検定」「不偏検定」「尤度比検定」である。
　「（一様）最強力検定」とは検出力の高い検定の方が“良い”検定であるという、言ってみれば当たり前の条件を明言化するための考えである。しかしそれはすべての検定において常に存在するというわけではない。そこでもし（一様）最強力検定が存在しないのであれば、（一様）最強力検定が存在するように検定族を制約する「条件」を加えることを考えればよく、そのための条件が検定における「不偏性」である。

8.3.2　単調尤度比と不偏検定

　対立仮説が単純仮説でないより複雑な状況であっても $\mathrm{Neyman}$ - $\mathrm{Pearson}$ の補題を適用することで一様最強力検定の存在を示すことができる場合がある。それは尤度比が「単調性」を満たし、更に考えている検定問題が片側検定の場合である。
　仮説検定

$\begin{aligned} H_0:\theta\leq\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\geq\theta_0 \end{aligned}$

を考える。 $\theta_1\lt\theta_2$ を満たす $\theta=\theta_1,\theta_2$ を固定して尤度比

$\begin{aligned} L(\boldsymbol{x};\theta_1,\theta_2)=\displaystyle{\frac{f(\boldsymbol{x},\theta_2)}{f(\boldsymbol{x},\theta_1}} \end{aligned}$

を考える。このときにある統計量 $T(\boldsymbol{x})$ を用いて尤度比 $L(\boldsymbol{x};\theta_1,\theta_2)$ が

$\begin{aligned} L(\boldsymbol{x};\theta_1,\theta_2)=\displaystyle{\frac{f(\boldsymbol{x},\theta_2)}{f(\boldsymbol{x},\theta_1}}=g(T(\boldsymbol{x}),\theta_1,\theta_2) \end{aligned}$

と $T$ の関数として書けると仮定する*1。
　もし尤度比 $L(\boldsymbol{x};\theta_1,\theta_2)$ が統計量 $T(\boldsymbol{x})$ の関数に書け、さらに ${}^{\forall}\theta_1,{}^{\forall}\theta_2$ に対して単調増加関数ならば、 $f(\boldsymbol{x};\theta)$ は $T(\boldsymbol{x})$ に関して単調尤度比を持つという。

単調尤度比　確率分布 $P_{\theta}$ の確率密度関数 $f(x,\theta)$ に関する仮説検定

$\begin{aligned} H_0:\theta\leq\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\geq\theta_0 \end{aligned}$

を考える。
　 $f(x,\theta)$ の尤度比

$\begin{aligned} L(\boldsymbol{x};\theta_1,\theta_2)=\displaystyle{\frac{f(\boldsymbol{x},\theta_2)}{f(\boldsymbol{x},\theta_1}}=g(T(\boldsymbol{x}),\theta_1,\theta_2) \end{aligned}$

がある統計量 $T(\boldsymbol{x})$ を用いて

$\begin{aligned} L(\boldsymbol{x};\theta_1,\theta_2)=g(T(\boldsymbol{x}),\theta_1,\theta_2) \end{aligned}$

と書け、さらに ${}^{\forall}\theta_1,{}^{\forall}\theta_2$ に対して $g(T(\boldsymbol{x}),\theta_1,\theta_2)$ が $\boldsymbol{x})$ に関して単調増加ならば、確率密度関数 $f(x,\theta)$ は $T(\boldsymbol{x})$ に関して単調尤度比を持つという。

　もし密度関数が単調尤度比を持つならば、一様最強力検定の存在を証明することができる。

単調尤度比を持つ場合の一様最強力検定の存在性　確率分布 $P_{\theta}$ の確率密度関数 $f(x,\theta)$ が1次元の母数をもつものとし、統計量 $T(\boldsymbol{x})$ に関して単調尤度比を持つとして、仮説検定

$\begin{aligned} H_0:\theta\leq\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\geq\theta_0 \end{aligned}$

を考える。このとき任意の $0\leq\alpha\leq1$ に対して $-\infty\leq c\leq\infty,0\leq r\leq1$ が存在し、検定関数

$\begin{aligned} \delta_{c,r}(\boldsymbol{x})=\begin{cases} 1,&T(\boldsymbol{x})\gt c,\\ r,&T(\boldsymbol{x})= c,\\ 0,&T(\boldsymbol{x})\lt c,\\ \end{cases} \end{aligned}$

が有意水準 $\alpha$ の検定において一様最強力検定になる。

( $\because$ 　簡単のため、尤度比 $L(\boldsymbol{x};\theta_1,\theta_2)=g(T(\boldsymbol{x}),\theta_1,\theta_2)$ が ${}^{\forall}\theta_1,{}^{\forall}\theta_2$ に対して狭義単調増加だと仮定する。そうでない場合も同様に示すことができる。
　いま $\theta_1\gt\theta_0$ を任意に固定し、制限された仮説検定
$\begin{aligned} H_0:\theta=\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta=\theta_1 \end{aligned}$
を考える。この問題には $\mathrm{Neyman}$ - $\mathrm{Pearson}$ の補題が適用でき、有意水準を $\alpha$ としたとき、その最強力検定は
$\begin{aligned} \delta_{c,r}(\boldsymbol{x})=\begin{cases} 1,&T(\boldsymbol{x})\gt c,\\ r,&T(\boldsymbol{x})= c,\\ 0,&T(\boldsymbol{x})\lt c,\\ \end{cases} \end{aligned}$
で与えられる。この $c,r$ は $\alpha$ に依存し、 $\theta_1$ には依存しない。したがって $\delta_{c,r}$ は仮説検定
$\begin{aligned} H_0:\theta=\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\gt\theta_1 \end{aligned}$
の一様最強力検定でもある。
　次に $T(\boldsymbol{x})$ に関する単調尤度比が存在する場合を考える。 $T(\boldsymbol{x})$ の単調増加関数 $g( T(\boldsymbol{x}) ),h( T(\boldsymbol{x}) )$ に関して、 $\displaystyle{\int_{-\infty}^{\infty}g(T(\boldsymbol{x}) )f(x)}dx,\displaystyle{\int_{-\infty}^{\infty}h(T(\boldsymbol{x}) )f(x)}dx$ が存在するという前提の下で
$\begin{aligned} \left(\displaystyle{\int_{-\infty}^{\infty}g(T(\boldsymbol{x}) )f(x)}dx\right) \left(\displaystyle{\int_{-\infty}^{\infty}h(T(\boldsymbol{x}) )f(x)}dx\right)\leq \displaystyle{\int_{-\infty}^{\infty}g(T(\boldsymbol{x}) )h(T(\boldsymbol{x}) )f(x)}dx \end{aligned}$
が成り立つ。
　実際、 $T(x)=x$ のとき*2、 $m=\displaystyle{\int g(x)f(x)dx}$ とおくこのとき $f(x)$ は密度関数だから、
$\begin{aligned} 0=\displaystyle{\int(g(x)-m)f(x)}dx \end{aligned}$
である。ここで $g(x)-m$ は単調増加関数であるから、この式が成り立つにはある $t\in\mathbb{R}$ に対して $x\leq t\Rightarrow g(x)-m\leq0,$ $x\geq t\Rightarrow g(x)-m\geq0$ とならなければならない。
　ここで $h$ が単調増加であることから、
$\begin{aligned} {}^{\forall}x\in\mathbb{R}\left( (g(x)-m)(h(x)-h(t) )\geq0\right) \end{aligned}$
が成り立つ。したがって
$\begin{aligned} 0&\leq\displaystyle{\int(g(x)-m)(h(x)-h(t) )f(x)}dx\\ &=\displaystyle{\int(g(x)-m)h(x)f(x)}dx\\ &=\displaystyle{\int g(x)h(x)f(x)}dx-\left(\displaystyle{\int g(x)f(x)}dx\right)\left(\displaystyle{\int h(x)f(x)}dx\right) \end{aligned}$
を得る。　
　さてここで $f(x)=f(\boldsymbol{x},\theta),g(T(\boldsymbol{x}) )=\displaystyle{\frac{f(x,\theta_1)}{f(x,\theta)}},h(T(\boldsymbol{x}) )=\delta_{c,r}(\boldsymbol{x})$ とおけば、 $g(T(\boldsymbol{x}) ),h(T(\boldsymbol{x}) )$ はいずれも単調増加であるから、
$\begin{aligned} &\left(\displaystyle{\int_{-\infty}^{\infty}g(T(\boldsymbol{x}) )f(x)}dx\right)\left(\displaystyle{\int_{-\infty}^{\infty}\delta_{c,r}(\boldsymbol{x})f(x)}dx\right)\leq \displaystyle{\int_{-\infty}^{\infty}\frac{f(x,\theta_1)}{f(x,\theta)}\delta_{c,r}(\boldsymbol{x})f(x)}dx\\ \Leftrightarrow&\left(\displaystyle{\int_{-\infty}^{\infty}f(x,\theta_1)}dx\right)\left(\displaystyle{\int_{-\infty}^{\infty}\delta_{c,r}(\boldsymbol{x})f(x)}dx\right)\leq \displaystyle{\int_{-\infty}^{\infty}\delta_{c,r}(\boldsymbol{x})f(x,\theta_1)}dx\\ \Leftrightarrow&\displaystyle{\int_{-\infty}^{\infty}\delta_{c,r}(\boldsymbol{x})f(x)}dx\leq\displaystyle{\int_{-\infty}^{\infty}\delta_{c,r}(\boldsymbol{x})f(x,\theta_1)}dx\\ \Leftrightarrow&E_{\theta}\left[\delta_{c,r}(\boldsymbol{x})\right]\leq\left[\delta_{c,r}(\boldsymbol{x})\right]=\alpha \end{aligned}$
を得る。これは $\delta_{c,r}(\boldsymbol{x})$ が有意水準 $\alpha$ の一様最強力検定であることに他ならない。　 $\blacksquare$ )

8.3.3　不偏検定

　両側検定に対しては、ここまでの議論のように一様最強力検定が直ちに構築できるわけではない。そこで不偏検定という概念を導入し、それを満たすような検定における一様最強力検定の有無を議論することにしよう*3。不偏検定の概念は、両側検定において片側検定で定式化した議論を行うと対立仮説が正しいときの方が, 帰無仮説が正しいときよりも帰無仮説を棄却しにくいことになることを受けて、上側確率と下側確率を“公平”に評価することを定式化するための概念である。

検定の不偏性　確率分布 $P_{\theta}$ の確率(密度)関数を $f(x,\theta)$ とし、母数 $\theta$ に関する仮説検定

$\begin{aligned} H_0:\theta\in\Theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\in\Theta_1 \end{aligned}$

に対する有意水準 $\alpha$ の検定が不偏であるとは、

$\begin{aligned} {}^{\forall}\theta\in\Theta_1\left(\beta_{\delta}(\theta)=E_{\theta}\left[\delta(\boldsymbol{X})\right]\geq\alpha\right) \end{aligned}$

が成り立つことをいう。

　これは任意の対立仮説のもとでの検出力が有意水準以上になる検定を不偏だと呼ぶことを意味する。

　不偏な検定の中ですべての対立仮説について検出力を最大にする検定方式があれば、それを一様最強力不偏検定という。

一様最強力不偏検定　確率分布 $P_{\theta}$ の確率(密度)関数を $f(x,\theta)$ とし、母数 $\theta$ に関する仮説検定

$\begin{aligned} H_0:\theta\in\Theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\in\Theta_1 \end{aligned}$

に対する有意水準が $\alpha$ であるような任意の不偏検定 $\delta$ において、

$\begin{aligned} {}^{\forall}\theta\in\Theta_1\left(\beta_{\delta^{*}}(\theta)\geq\beta_{\delta}(\theta)\right) \end{aligned}$

を満たすような $\delta^{*}$ が存在するとき、 $\delta^{*}$ を一様最強力不偏検定と呼ぶ。

　複合仮説の場合、一般には一様最強力検定は存在しない。しかし一様最強力不偏検定は存在する場合がある。たとえば指数分布族では一様最強力不偏検定が存在することが知られている：

指数分布族における一様最強力不偏検定　確率変数 $\boldsymbol{X}=(X_1,\cdots,X_n)$ の $\theta\in\mathbb{R}$ を母数とする確率(密度)関数 $f(\boldsymbol{x};\theta)$ が

$\begin{aligned} f(\boldsymbol{x};\theta)=C(\theta)e^{\theta\cdot T(\boldsymbol{x})}h(\boldsymbol{x}) \end{aligned}$

と表されるとする*4。このとき両側検定、すなわち仮説検定

$\begin{aligned} H_0:\theta\in[\theta_1,\theta_2]\ \ \mathrm{v.s.}\ \ H_1:\theta\in\left(-\infty,\theta_1\right)\cup\left(\theta_2,\infty\right) \end{aligned}$

または

$\begin{aligned} H_0:\theta=\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\neq\theta_0 \end{aligned}$

において、 $c,r$ が与えられたとき、検定関数

$\begin{aligned} \delta_{0}(\boldsymbol{x})=\begin{cases} 1,&T(\boldsymbol{x})\lt c_1\lor T(\boldsymbol{x})\gt c_2,\\ r_i,&T(\boldsymbol{x})=c_i ,i=1,2,\\ 0,&c_1\lt T(\boldsymbol{x})\lt c_2 \end{cases} \end{aligned}$

は有意水準 $\alpha$ の一様最強力不偏検定である。ここで $r_i,c_i,i=1,2$ は両側検定のうち前者の形態では

$\begin{aligned} \beta_{\delta_{0}}(\theta_1)=\beta_{\delta_{0}}(\theta_2)=\alpha \end{aligned}$

で、後者の形態では

$\begin{aligned} \beta_{\delta_{0}}(\theta_0)=\alpha \end{aligned}$

で定まる定数である。

参考文献

Lehmann, E.L., Casella, George(1998), "Theory of Point Estimation, Second Edition", (Springer)
Lehmann, E.L., Romano, Joseph P.(2005), "Testing Statistical Hypotheses, Third Edition", (Springer)
Sturges, Herbert A.,(1926), "The Choice of a Class Interval", (Journal of the American Statistical Association, Vol. 21, No. 153 (Mar., 1926)), pp. 65-66
Wald, A.,(1950), "Statistical Decision Functions", John Wiley and Sons, New York; Chapman and Hall, London
上田拓治（2009）「44の例題で学ぶ統計的検定と推定の解き方」(オーム社)
大田春外（2000）「はじめよう位相空間」(日本評論社)
小西貞則（2010）「多変量解析入門――線形から非線形へ――」(岩波書店)
小西貞則,北川源四郎（2004）「シリーズ予測と発見の科学2　情報量基準」(朝倉書店)
小西貞則,越智義道,大森裕浩（2008）「シリーズ予測と発見の科学5　計算統計学の方法」(朝倉書店)
佐和隆光（1979）「統計ライブラリー　回帰分析」(朝倉書店)
清水泰隆（2019）「統計学への確率論,その先へ　―ゼロからの速度論的理解と漸近理論への架け橋」(内田老鶴圃)
鈴木武, 山田作太郎（1996）「数理統計学　基礎から学ぶデータ解析」(内田老鶴圃)
竹内啓・編代表（1989）「統計学辞典」(東洋経済新報社)
竹村彰通（1991）「現代数理統計学」(創文社)
竹村彰通（2020）「新装改訂版　現代数理統計学」(学術図書出版社)
東京大学教養学部統計学教室編（1991）「基礎統計学Ⅰ　基礎統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1994）「基礎統計学Ⅱ　人文・社会科学の統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1992）「基礎統計学Ⅲ　自然科学の統計学」(東京大学出版会)
豊田秀樹（2020）「瀕死の統計学を救え！ ―有意性検定から「仮説が正しい確率」へ―」(朝倉書店)
永田靖（2003）「サンプルサイズの決め方」(朝倉書店)
柳川堯（2018）「Ｐ値　その正しい理解と適用」(近代科学社)

*1:たとえば $T(\boldsymbol{x})$ が十分統計量ならば、分解定理によりこの形で書くことができる。

*2:そうでない場合も同様に示すことができるが、簡便のためこの場合のみ扱う。

*3:攪乱母数が存在する場合にも不偏検定の概念が必要になる。

*4:このような形の確率(密度)関数を持つ分布族を指数分布族という。

前回

8. 統計的仮説検定

8.3 良い検定手法の定義：一様最強力検定・不偏検定・尤度比検定

8.3.2 単調尤度比と不偏検定

8.3.3 不偏検定

参考文献

8.　統計的仮説検定

8.3　良い検定手法の定義：一様最強力検定・不偏検定・尤度比検定

8.3.2　単調尤度比と不偏検定

8.3.3　不偏検定