本気で学ぶ統計学(23/31) - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学を真剣に学ぶ人のために、個人的にまとめているノートを公開する。
　底本として

新装改訂版現代数理統計学

作者:彰通, 竹村
学術図書出版社

Amazon

を用いる。

前回
8.　統計的仮説検定
- 8.3　良い検定手法の定義：一様最強力検定・不偏検定・尤度比検定
  - 8.3.1　最強力検定
参考文献

前回

power-of-awareness.com

8.　統計的仮説検定

8.3　良い検定手法の定義：一様最強力検定・不偏検定・尤度比検定

　「“良い”検定」とは何か。伝統的な検定手法に立脚すれば、前述のとおり第1種の過誤を犯す確率を有意水準 $\alpha$ に抑えたうえで対立仮説のもとでの検出力を最大にする（第2種の過誤を犯す確率を最小化する）ものである。こうしたものを与える条件を具体的に考えるために有用な概念が「（一様）最強力検定」「不偏検定」「尤度比検定」である。
　「（一様）最強力検定」とは検出力の高い検定の方が“良い”検定であるという、言ってみれば当たり前の条件を明言化するための考えである。しかしそれはすべての検定において常に存在するというわけではない。そこでもし（一様）最強力検定が存在しないのであれば、（一様）最強力検定が存在するように検定族を制約する「条件」を加えることを考えればよく、そのための条件が検定における「不偏性」である。

8.3.1　最強力検定

　ある仮説検定

$\begin{aligned} H_0:\theta\in\Theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\in\Theta_1 \end{aligned}$

を考える。前述した考えを前提とすれば、その検定において最も望ましいものは第1種の過誤を起こす確率を有意水準 $\alpha$ 以下に抑えつつ、対立仮説のもとでの検出力を最大にするような検定である。このような検定を一様最強力検定という。すなわち有意水準 $\alpha$ を与えたときに想定し得るすべての検定の集合を $\Delta_{\alpha}$ とおくとき、 ${}^{\forall}\theta\in\Theta_0\left(\beta_{\delta}(\theta)\leq\alpha\right)$ が成り立つことに注意すれば、ある $\delta^{*}\in\Delta_{\alpha}$ の検出力がほかのすべての検定 $\delta\in\Delta_{\alpha}$ よりも検出力が高いとき、 $\delta^{*}$ を一様最強力検定( $\mathrm{UMP}$ 検定)という。

一様最強力検定　仮説検定

$\begin{aligned} H_0:\theta\in\Theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\in\Theta_1 \end{aligned}$

において

$\begin{aligned} \delta^{*}\in\Delta_{\alpha}\ \ \mathrm{s.t.}\ \ {}^{\forall}\theta\in\Theta_1\left(\beta_{\delta^{*}}(\theta)\geq \beta_{\theta}(\theta)\right) \end{aligned}$

を一様最強力検定という。ここで $\Delta_{\alpha}$ は有意水準 $\alpha$ を与えたときに想定し得るすべての検定の集合である。

　ここで“一様”とはすべての対立仮説について同時に検出力を最大にするからで、もし対立仮説が単純( $\Theta_1=\{\theta_1\}$ )ならば $\delta^{*}$ は単に最強力検定という。
　問題は一様最強力検定の存在性だが、一般には常に一様最強力検定が存在するとは限らない。ただし任意に対立仮説 $\theta_1\in\Theta_1$ を固定することで対立仮説を単純仮説 $\theta=\theta_1$ と制限したときに、もし最強力検定 $\delta_{\theta_1}$ が存在し更にそれが $\theta_1$ に依存しなければ、この最強力検定 $\delta_{\theta_1}$ は固定する前の検定問題における“一様”最強力検定でもある。そこで一様最強力検定の存在性は、対立仮説が単純仮説である場合に最強力検定が存在するかを議論すればよい。
　帰無仮説が複合仮説である場合については何とも言えないものの、帰無仮説もまた単純仮説である場合、以下の $\mathrm{Neyman}$ - $\mathrm{Pearson}$ の補題から、明示的に最強力検定を構成する方法が存在することが示される。

$\mathrm{Neyman}$ - $\mathrm{Pearson}$ の補題(不完全版)　ある確率分布 $P_{\theta}$ の確率(密度)関数 $f(\boldsymbol{x};\theta)$ に対して仮説検定

$\begin{aligned} H_0:\theta=\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta=\theta_1 \end{aligned}$

を考える。このとき $c\geq0,r\in[0,1]$ を所与として検定関数 $\delta_{c,r}$ を

$\begin{aligned} \delta_{c,r}(\boldsymbol{x})=\begin{cases} 1,&f(\boldsymbol{x};\theta_1)\gt c f(\boldsymbol{x};\theta_0),\\ r,&f(\boldsymbol{x};\theta_1)= c f(\boldsymbol{x};\theta_0),\\ 0,&f(\boldsymbol{x};\theta_1)\lt c f(\boldsymbol{x};\theta_0),\\ \end{cases} \end{aligned}$

と定義する。 $\delta_{c,r}$ のサイズ $E_{\theta_0}[\delta_{c,r}(\boldsymbol{X})]=\alpha$ とおくとき、有意水準 $\alpha$ の検定において $\delta_{c,r}$ は最強力検定になる。

( $\because$ 　標本空間を $\mathcal{X}$ とするとき、

$\begin{aligned} \mathcal{X}_1&=\left\{\boldsymbol{x}\in\mathcal{X};f(\boldsymbol{x};\theta_1)\gt c f(\boldsymbol{x};\theta_0)\right\},\\ \mathcal{X}_2&=\left\{\boldsymbol{x}\in\mathcal{X};f(\boldsymbol{x};\theta_1)= c f(\boldsymbol{x};\theta_0)\right\},\\ \mathcal{X}_3&=\left\{\boldsymbol{x}\in\mathcal{X};f(\boldsymbol{x};\theta_1)\lt c f(\boldsymbol{x};\theta_0)\right\},\\ \end{aligned}$

とおく。定義から明らかに $\mathcal{X}_i\cap\mathcal{X}_j=\emptyset(i\neq j,i,j=1,2,3)$ であり、また $\mathcal{X}=\mathcal{X}_1\cup\mathcal{X}_2\cup\mathcal{X}_3$ である。
　仮説検定

$\begin{aligned} H_0:\theta=\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta=\theta_1 \end{aligned}$

を考え、これの有意水準 $\alpha$ の検定関数を $\delta(\boldsymbol{X})$ とおく。このとき定義から

$\begin{aligned} E_{\theta_0}\left[\delta(\boldsymbol{X})\right]\leq\alpha \end{aligned}$

が成り立つ。
　 $\delta_{c,r}$ の検出力 $\beta_{\delta_{c,r}}(\theta_1)$ および有意水準 $\alpha$ の任意の検定 $\delta$ を考えると、

$\begin{aligned} \beta_{\delta_{c,r}}(\theta_1)-\beta_{\delta}(\theta_1)=&E_{\theta_1}\left[\delta_{c,r}(\boldsymbol{X})\right]-E_{\theta_1}\left[\delta(\boldsymbol{X})\right]\\ =&\displaystyle{\int_{\mathcal{X}}\delta_{c,r}(\boldsymbol{X})f(\boldsymbol{x};\theta_1)}d\boldsymbol{x}-\displaystyle{\int_{\mathcal{X}}\delta(\boldsymbol{X})f(\boldsymbol{x};\theta_1)}d\boldsymbol{x}\\ =&\displaystyle{\int_{\mathcal{X}}(\delta_{c,r}(\boldsymbol{X})-\delta(\boldsymbol{X}) )f(\boldsymbol{x};\theta_1)}d\boldsymbol{x}\\ =&\displaystyle{\int_{\mathcal{X}_1}(\delta_{c,r}(\boldsymbol{X})-\delta(\boldsymbol{X}) )f(\boldsymbol{x};\theta_1)}d\boldsymbol{x}\\&+\displaystyle{\int_{\mathcal{X}_2}(\delta_{c,r}(\boldsymbol{X})-\delta(\boldsymbol{X}) )f(\boldsymbol{x};\theta_1)}d\boldsymbol{x}\\&+\displaystyle{\int_{\mathcal{X}_3}(\delta_{c,r}(\boldsymbol{X})-\delta(\boldsymbol{X}) )f(\boldsymbol{x};\theta_1)}d\boldsymbol{x}\\ =&\displaystyle{\int_{\mathcal{X}_1}(1-\delta(\boldsymbol{X}) )f(\boldsymbol{x};\theta_0)}d\boldsymbol{x}\\&+\displaystyle{\int_{\mathcal{X}_2}(r\delta(\boldsymbol{X}) )f(\boldsymbol{x};\theta_1)}d\boldsymbol{x}\\&+\displaystyle{\int_{\mathcal{X}_3}(-\delta(\boldsymbol{X}) )f(\boldsymbol{x};\theta_1)}d\boldsymbol{x}\\ \geq&\displaystyle{\int_{\mathcal{X}_1}(1-\delta(\boldsymbol{X}) )cf(\boldsymbol{x};\theta_0)}d\boldsymbol{x}\\&+\displaystyle{\int_{\mathcal{X}_2}(r\delta(\boldsymbol{X}) )cf(\boldsymbol{x};\theta_1)}d\boldsymbol{x}\\&+\displaystyle{\int_{\mathcal{X}_3}(-\delta(\boldsymbol{X}) )cf(\boldsymbol{x};\theta_1)}d\boldsymbol{x}\\ =&c\left(\displaystyle{\int_{\mathcal{X}_1}(1-\delta(\boldsymbol{X}) )f(\boldsymbol{x};\theta_0)}d\boldsymbol{x}\right.\\&+\displaystyle{\int_{\mathcal{X}_2}(r\delta(\boldsymbol{X}) )f(\boldsymbol{x};\theta_1)}d\boldsymbol{x}\\&+\left.\displaystyle{\int_{\mathcal{X}_3}(-\delta(\boldsymbol{X}) )f(\boldsymbol{x};\theta_1)}d\boldsymbol{x}\right)\\ =&c\displaystyle{\int_{\mathcal{X}}(\delta_{c,r}(\boldsymbol{X})-\delta(\boldsymbol{X}) )f(\boldsymbol{x};\theta_0)}d\boldsymbol{x}\\ =&c\left(E_{\theta_0}\left[\delta_{c,r}(\boldsymbol{X})\right]-E_{\theta_0}\left[\delta(\boldsymbol{X})\right]\right)\\ =&c\left(\alpha-E_{\theta_0}\left[\delta(\boldsymbol{X})\right]\right)\\ \geq&0 \end{aligned}$

検定 $\delta$ は任意に取っていたから、これは $\delta_{c,r}$ が最強力検定であることに他ならない。　 $\blacksquare$ )

　連続確率変数ではある1点を取る確率密度関数の値は $0$ であり、 $\delta_{c,r}(\boldsymbol{x})=r,f(\boldsymbol{x};\theta_1)= c f(\boldsymbol{x};\theta_0)$ は離散確率変数において有意水準を調整するためのものである。
　実用上は本来 $c,r$ を与えてから他の値を決めるのではなく、まず $\alpha$ を与える。そして $\alpha=\alpha(c,r)$ が成り立つように $c,r$ を選ぶ。
　また $\mathrm{Neyman}$ - $\mathrm{Pearson}$ の補題で構成した最強力検定の一意性を考える。もし $\delta$ も有意水準 $\alpha=\alpha(c,r)$ の最強力検定だとすると、検出力の差分 $\beta_{\delta_{c,r}}(\theta_1)-\beta_{\delta}(\theta_1)=0$ である。したがって $\delta_{c,r}$ と同一の $c$ について

$\begin{aligned} \delta(\boldsymbol{x})=\begin{cases} 1,&f(\boldsymbol{x};\theta_1)\gt c f(\boldsymbol{x};\theta_0),\\ 0,&f(\boldsymbol{x};\theta_1)\lt c f(\boldsymbol{x};\theta_0) \end{cases} \end{aligned}$

が成り立たなければならない。このため、 $\delta_{c,r}$ の一意性のためには $c$ は一意に定まらなければならない。
　以上を踏まえて $\mathrm{Neyman}$ - $\mathrm{Pearson}$ の補題を再整理するとこうなる：

$\mathrm{Neyman}$ - $\mathrm{Pearson}$ の補題　ある確率分布 $P_{\theta}$ の確率(密度)関数 $f(\boldsymbol{x};\theta)$ に対して仮説検定

$\begin{aligned} H_0:\theta=\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta=\theta_1 \end{aligned}$

を考える。このとき任意に与えられた $0\leq\alpha\leq1$ に対して検定関数 $\delta_{c,r}$ を

と定義すと、有意水準 $\alpha$ の検定において $\delta_{c,r}$ は最強力検定になる。また任意のほかの有意水準 $\alpha$ の最強力検定 $\delta$ は同じ $c$ について上記形態を満たさなければならない。

　ここで検定関数 $\delta_{c,r}$ の場合分けにおいて $\displaystyle{\frac{f(\boldsymbol{x};\theta_1)}{f(\boldsymbol{x};\theta_0)}}$ を考えることもでき、これを尤度比という。これはすなわち $\mathrm{Neyman}$ - $\mathrm{Pearson}$ の補題は尤度比に基づく検定が最強力検定を構築することを意味する。

例：正規分布の平均の検定
　 $X_1,\cdots,X_n\sim N(\mu,1),i.i.d.$ とし $\mu_0,\mu_1\in\mathbb{R},\mu_0\lt\mu_1$ を固定する。このとき仮説検定
$\begin{aligned} H_0:\theta=\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta=\theta_1 \end{aligned}$
を考える。この尤度比を計算すると
$\begin{aligned} \displaystyle{\frac{f(\boldsymbol{x};\mu_1)}{f(\boldsymbol{x};\mu_0)}}=\exp\left(\displaystyle{(\mu_1-\mu_0)\sum_{i=1}^{n}X_i-\frac{n}{2}(\mu_1^2-\mu_0^2)}\right) \end{aligned}$
である。したがってある値 $c$ を取り不等式 $\displaystyle{\frac{f(\boldsymbol{x};\mu_1)}{f(\boldsymbol{x};\mu_0)}}\gt c$ を考えれば
$\begin{aligned} \displaystyle{\frac{f(\boldsymbol{x};\mu_1)}{f(\boldsymbol{x};\mu_0)}}\gt c&\Leftrightarrow \displaystyle{(\mu_1-\mu_0)\sum_{i=1}^{n}X_i}\gt\displaystyle{\log{c}+\frac{n}{2}(\mu_1^2-\mu_0^2)}\\ &\Leftrightarrow \bar{X}:=\displaystyle{\frac{1}{n}\sum_{i=1}^{n}X_i}\gt\displaystyle{\frac{2\log{c}+n(\mu_1^2-\mu_0^2)}{2n(\mu_1-\mu_0)}}:=c^{\prime} \end{aligned}$
が得られる。
　 $\mathrm{Neyman}$ - $\mathrm{Pearson}$ の補題より、 $\bar{X}\gt c^{\prime}\Rightarrow$ 棄却が最強力検定になる。
　有意水準 $\alpha$ を与えたときの $c^{\prime}$ を具体的に求める。
$\begin{aligned} P_{\mu_0}\{\bar{X}\gt c^{\prime}\}=P_{\mu_0}\left\{\sqrt{n}(\bar{X}-\mu_0)\gt\sqrt{n}(c^{\prime}-\mu_0)\right\} \end{aligned}$
は $\sqrt{n}(\bar{X}-\mu_0)\sim N(0,1)$ に注意すれば、 $z_{\alpha}$ を標準正規分布の上側 $\alpha$ 点として、
$\begin{aligned} z_{\alpha}&=\sqrt{n}(c^{\prime}-\mu_0),\\ c^{\prime}&=\mu_0+\displaystyle{\frac{1}{\sqrt{n}}z_{\alpha}} \end{aligned}$
とすればよい。
　以上をまとめると、仮説検定
$\begin{aligned} H_0:\theta=\theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta=\theta_1 \end{aligned}$
に対する有意水準 $\alpha$ の最強力検定は
$\begin{aligned} \bar{X}\gt\mu_0+\displaystyle{\frac{1}{\sqrt{n}}z_{\alpha}}\Rightarrow 棄却 \end{aligned}$
で与えられる。

参考文献

Lehmann, E.L., Casella, George(1998), "Theory of Point Estimation, Second Edition", (Springer)
Lehmann, E.L., Romano, Joseph P.(2005), "Testing Statistical Hypotheses, Third Edition", (Springer)
Sturges, Herbert A.,(1926), "The Choice of a Class Interval", (Journal of the American Statistical Association, Vol. 21, No. 153 (Mar., 1926)), pp. 65-66
Wald, A.,(1950), "Statistical Decision Functions", John Wiley and Sons, New York; Chapman and Hall, London
上田拓治（2009）「44の例題で学ぶ統計的検定と推定の解き方」(オーム社)
大田春外（2000）「はじめよう位相空間」(日本評論社)
小西貞則（2010）「多変量解析入門――線形から非線形へ――」(岩波書店)
小西貞則,北川源四郎（2004）「シリーズ予測と発見の科学2　情報量基準」(朝倉書店)
小西貞則,越智義道,大森裕浩（2008）「シリーズ予測と発見の科学5　計算統計学の方法」(朝倉書店)
佐和隆光（1979）「統計ライブラリー　回帰分析」(朝倉書店)
清水泰隆（2019）「統計学への確率論,その先へ　―ゼロからの速度論的理解と漸近理論への架け橋」(内田老鶴圃)
鈴木武, 山田作太郎（1996）「数理統計学　基礎から学ぶデータ解析」(内田老鶴圃)
竹内啓・編代表（1989）「統計学辞典」(東洋経済新報社)
竹村彰通（1991）「現代数理統計学」(創文社)
竹村彰通（2020）「新装改訂版　現代数理統計学」(学術図書出版社)
東京大学教養学部統計学教室編（1991）「基礎統計学Ⅰ　基礎統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1994）「基礎統計学Ⅱ　人文・社会科学の統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1992）「基礎統計学Ⅲ　自然科学の統計学」(東京大学出版会)
豊田秀樹（2020）「瀕死の統計学を救え！ ―有意性検定から「仮説が正しい確率」へ―」(朝倉書店)
永田靖（2003）「サンプルサイズの決め方」(朝倉書店)
柳川堯（2018）「Ｐ値　その正しい理解と適用」(近代科学社)

前回

8. 統計的仮説検定

8.3 良い検定手法の定義：一様最強力検定・不偏検定・尤度比検定

8.3.1 最強力検定

参考文献

8.　統計的仮説検定

8.3　良い検定手法の定義：一様最強力検定・不偏検定・尤度比検定

8.3.1　最強力検定