本気で学ぶ統計学(22/31) - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学を真剣に学ぶ人のために、個人的にまとめているノートを公開する。
　底本として

新装改訂版現代数理統計学

作者:彰通, 竹村
学術図書出版社

Amazon

を用いる。

前回

power-of-awareness.com

前回
8.　統計的仮説検定
- 8.1　統計的決定論に基づく検定の定式化
- 8.2　検定統計量に基づく検定方式の定式化
ここまでのまとめ
次回
参考文献

8.　統計的仮説検定

　ここまでデータが与えられたときにそのデータが従うと思われる確率的な規則性を推測する方法を議論してきた。他方で「データに基づき何らかの科学的根拠を踏まえつつ合理的に判定を下したい」状況が存在する。これを数学的に定式化すると、母集団 $(\Omega,\mathcal{A},P_{\theta})$ からの1組の観測値 $X_1,\cdots,X_n$ が与えられたとき、これらの観測値がある特定の分布 $P_{\theta_0}$ に従うとみなしてよいかどうかを知りたい場合があるということになる。このときの判定法として、

観測値が分布 $P_{\theta_0}$ のもとでの平均的な状況から著しくズレており、 $P_{\theta_0}$ を仮定するとそのようなことが起こる確率が非常に小さいならば、分布が $P_{\theta_0}$ と考えるのは誤りであると見なした方がよいと考える

という方法がある。ここに $P_{\theta_0}$ が正しくない場合に分布がどうなっているかを想定することもセットとして考える方法が一般的になった。
　この考え方を数学的に定式化してみよう。ある確率変数 $X$ の実現値 $x_1,\cdots,x_n$ が観測されており、それが従う確率分布の母数空間 $\Theta$ が互いに排反な2つの部分集合 $\Theta_0,\Theta_1$ に分割されているとして*1、

	帰無仮説 $H_0$	未知母数 $\theta$ が $\Theta_0$ に属しているとする仮説
	対立仮説 $H_1$	未知母数 $\theta$ が $\Theta_1$ に属しているとする仮説

とする。これを

$\begin{aligned} H_0:\theta\in\Theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\in\Theta_1 \end{aligned}$

と書く*2。これが統計的仮説検定である。
　ここまででひとまず問題設定が完了した。とはいえ、これでは具体的な議論な進まないため、まずはこの仮説検定の定式化をより詳しく議論していく。その後、ここからどのように判断を下すか(すなわち帰無仮説と対立仮説のうちどちらが正しいと判断するか)、そのような方法が(一意的に)存在するのか、複数存在するならば何を以て“良い検定方法”を決めればよいのかといった更なる課題設定を考える。

　ここで、まずは検定に関する各用語を紹介しておく。

（1）母数空間に関するもの

　　・帰無仮説に対応する母数空間 $\Theta_0$ が1点からなる場合：単純帰無仮説

　　・対立仮説に対応する母数空間 $\Theta_1$ が1点からなる場合：単純対立仮説

　　・単純仮説でない場合：複合仮説

（2）両側検定・片側検定

　　・両側検定： $H_0:\theta=\Theta_0\ \ \mathrm{vs.}\ \ H_1:\theta\neq \Theta_0$

　　・片側検定： $H_0:\theta\leq \Theta_0\ \ \mathrm{vs.}\ \ H_1:\theta\gt\Theta_0$ *3

（3）局外母数・攪乱母数：母数が多次元のときに検定問題で興味のない母数

　　　例：正規分布に従う確率変数の平均に関する検定における分散

（4）受容・棄却

　　　データ $\boldsymbol{X}$ に基づいて統計家が取る決定 $d=\{H_0が正しいと判断する,H_1 が正しいと判断する\}$ に対し

　　・帰無仮説 $H_0$ を受容する： $H_0$ が正しいと判断すること

　　・帰無仮説 $H_0$ を棄却する： $H_1$ が正しいと判断すること

（5）決定における誤り

　　・第1種の過誤：「帰無仮説が正しい $(\theta\in\Theta_0)$ 」にも拘わらず「帰無仮説を棄却する( $d=1$ )」誤り

　　・第2種の過誤：「対立仮説が正しい $(\theta\in\Theta_1)$ 」にも拘わらず「帰無仮説を受容する( $d=0$ )」誤り

8.1　統計的決定論に基づく検定の定式化

　まずは統計的決定論に基づいて、統計的仮説検定を定式化していく。
　仮説検定

$\begin{aligned} H_0:\theta\in \Theta_0\ \ \mathrm{v.s.}\ \ H_1:\theta\in \Theta_1 \end{aligned}$

において、標本 $X_1,\cdots,X_n\in\mathcal{X}$ に基づいて統計家が取る決定 $d=\left\{H_0 が正しいと判断する,\right.$ $\left.H_1が正しいと判断する\right\}$ に対して、 $d$ を損失関数と見なすこととする。具体的には $0$ - $1$ 損失関数、すなわち $d\in D=\{0,1\}$ を

$\begin{aligned} \begin{cases} d=0,&帰無仮説H_0 を受容する,\\ d=1,&帰無仮説H_0 を棄却する \end{cases} \end{aligned}$

としたときに、

$\begin{aligned} L(\theta,0)&:=\begin{cases} 0,&\theta\in \Theta_0,\\ 1,&\theta\in \Theta_1, \end{cases}\\ L(\theta,1)&=1-L(\theta,0) \end{aligned}$

とおく。
　ここで関数 $\delta:\mathcal{X}\rightarrow D,\delta:X\rightarrow d$ 、すなわちデータ(標本) $X$ から決定 $d$ を下す関数を決定関数(検定関数)と定義する。
　このとき検定関数のリスク関数

$\begin{aligned} R(\theta,\delta):=E_{\theta}\left[L\left(\delta(X_1,\cdots,X_n)\right)\right] \end{aligned}$

は $E_{\theta}\left[L\left(\delta(X_1,\cdots,X_n)\right)\right]=0\cdot P_{\theta}\left\{L=0\right\}+1\cdot P_{\theta}\left\{L=1\right\}=P_{\theta}\left\{L=1\right\}$ を満たす。したがって検定問題におけるリスク関数は

$\begin{aligned} R(\theta,\delta)=\begin{cases} P_{\theta}\left\{d=1\right\},&\theta\in\Theta_0,\\ P_{\theta}\left\{d=0\right\},&\theta\in\Theta_1, \end{cases} \end{aligned}$

すなわち

$\begin{aligned} R(\theta,\delta)=\begin{cases} 第1種の過誤を犯す確率,&\theta\in\Theta_0,\\ 第2種の過誤を犯す確率,&\theta\in\Theta_1 \end{cases} \end{aligned}$

となるのであって、検定問題の具体的な設定は「第1種の過誤を犯す確率および第2種の過誤を犯す確率をバランスさせつつ最小化するような検定関数を見つけること」に帰着する。
　伝統的な検定論では、第1種の過誤を重視し「第1種の誤りを犯す確率を与えられた限界 $\alpha$ に抑えつつ第2種の過誤を犯す確率を最小化させる」。この限界 $\alpha$ を有意水準という*4。大抵の場合、第1種の過誤と第2種の過誤はトレード・オフであるため、有意水準を小さく設定した場合、帰無仮説を受容してもそれは帰無仮説が正しいというよりは帰無仮説を暫定的に受け入れることを意味すると解釈すべきである。
　 $\beta_{\delta}(\theta):=E_{\theta}\left[\delta(X_1,\cdots,X_n)\right]=P_{\theta}\left\{\delta(X_1,\cdots,X_n )=1\right\}$ と定義すると

$\begin{aligned} R(\theta,\delta)=\begin{cases} \beta_{\delta}(\theta),&\theta\in\Theta_0,\\ 1-\beta_{\delta}(\theta),&\theta\in \Theta_1 \end{cases} \end{aligned}$

とすっきりと書ける。このとき $\beta_{\delta}(\theta)$ は対立仮説が正しいという状況下において帰無仮説が誤りであることを“検出する”確率を意味するため、 $\beta_{\delta}(\theta)$ を検出力関数と呼び、その具体的な値を検出力という。また $\displaystyle{\sup_{\theta\in\Theta_0}\beta_{\delta}(\theta)}$ を検定 $\delta$ のサイズと呼ぶ。

8.2　検定統計量に基づく検定方式の定式化

　ここまででは検定関数を用いた検定方式を議論してきた。他方でこれ以外の検定の定式が存在し、具体的に検定を行う際にはそちらの方が便利な場合がある。そこで別の検定の定式化、すなわち検定関数 $\delta$ が与えられたときに標本空間を $\delta(X_1,\cdots,X_n)$ の値に応じて分割することを考える。
　受容域 $A=\left\{x|\delta(x)=0\right\}$ 、棄却域 $R=\left\{x|\delta(x)=1\right\}$ とおき、検出力関数 $\beta_{\delta}(\theta)=P_{\theta}\{X\in R\}$ と表現する。こうした分割において境界となる値を特定の検定量 $T(X_1,\cdots,X_n)$ で与え

$\begin{aligned} \mathcal{X}_1&=\left\{x|T(X_1,\cdots,X_n)\gt c\right\},\\ \mathcal{X}_0&=\left\{x|T(X_1,\cdots,X_n)\leq c\right\} \end{aligned}$

と定義する。このとき $T(X_1,\cdots,X_n)$ を検定統計量、 $c$ を棄却点(または棄却限界)と呼ぶ。もし $T(X_1,\cdots,X_n)\gt c$ となり帰無仮説を棄却する場合には「 $T(X_1,\cdots,X_n)$ は有意である」という。
　 $T(X_1,\cdots,X_n)$ が棄却点から離れていればいる程、帰無仮説はデータからの矛盾度合いがより強いと考えられる。そこで帰無仮説が棄却されたかどうかのみを表示するのではなく、新たに観測された $X_1,\cdots,X_n$ があったとしてそこから計算された $T(X_1,\cdots,X_n)$ について棄却点がちょうど特定値を取るような検定のサイズを表示することが考えられる。すなわち検定方式が $T(X_1,\cdots,X_n)$ を用いて

$\begin{aligned} T(X_1,\cdots,X_n)\gt c\Rightarrow棄却 \end{aligned}$

という形式で与えられているとする。このとき帰無仮説の下での $T$ の分布の上側確率を

$\begin{aligned} P_{\theta}\left\{T(X_1,\cdots,X_n)\geq t\right\}=Q(t,\theta),\ \theta\in\Theta_0 \end{aligned}$

とおくとき、

$\begin{aligned} p=\displaystyle{\sup_{\theta\in\Theta_0} Q(T(X_1,\cdots,\theta))} \end{aligned}$

を $p$ 値という。こうすると

$\begin{aligned} p\leq \alpha\Rightarrow棄却 \end{aligned}$

という検定方式は有意水準 $\alpha$ の検定方式となる。
( $\because$ 　 $p$ 値を

$\begin{aligned} P_{\theta}\left\{T(X_1,\cdots,X_n)\geq t\right\}=F_{\theta}(t)(=Q(t,\theta)) \end{aligned}$

と定義する。
　まず帰無仮説が単純仮説 $\Theta_0=\{\theta_0\}$ である場合を考える。このとき $p=F_{\theta_0}(t)$ である。ここで示すべきは

$\begin{aligned} P_{\theta_0}\left\{F_{\theta_0}(t)\leq\alpha\right\}\leq\alpha \end{aligned}$

である。 $F_{\theta_0}(\cdot)$ の逆関数を $F_L^{-1}(\cdot)$ とおき、また $U\sim U(0,1)$ とする。このとき

$\begin{aligned} F_L^{-1}(u)=\displaystyle{\inf\{t|F_{\theta_0}(x)\geq u\}} \end{aligned}$

という定義から、

$\begin{aligned} \tilde{U}=F_{\theta_0}(F_L^{-1}(U) )\geq U \end{aligned}$

が成り立つ。したがって $\tilde{U}\geq\alpha\Rightarrow U\geq\alpha$ が成り立ち、そのため

$\begin{aligned} P_{\theta_0}\left\{\tilde{U}\leq\alpha\right\}=P_{\theta_0}\left\{F_{\theta_0}(F_L^{-1}(U) )\leq\alpha\right\}\leq P_{\theta_0}\left\{U\leq\alpha\right\}=\alpha \end{aligned}$

を得る。 $F_L^{-1}(U)\sim F_{\theta_0}$ であるから、 $P_{\theta_0}\left\{F_{\theta_0}(t)\leq\alpha\right\}\leq\alpha$ であり、これは示すべき不等式である。
　次に帰無仮説が複合仮説である場合、

$\begin{aligned} {}^{\forall}\theta_0\in\Theta_0\left(P_{\theta_0}\left\{\displaystyle{\sup_{\theta\in\Theta_0}F_{\theta}(t)\leq\alpha}\right\}\leq\alpha\right) \end{aligned}$

を示せばよい。 ${}^{\forall}\theta_0\in\Theta_0$ に対して

$\begin{aligned} \displaystyle{\sup_{\theta\in\Theta_0}F_{\theta}(t)}\geq F_{\theta_0}(t) \end{aligned}$

が成り立つから、 $\displaystyle{\sup_{\theta\in\Theta_0}F_{\theta}(t)}\geq\alpha\Rightarrow F_{\theta_0}(t)\geq\alpha$ が成り立つ。この右辺は既に示したとおり $\alpha$ 以下である。　 $\blacksquare$ )

例： $X_1,\cdots,X_n\sim N(\mu,\sigma^2 ),i.i.d.$ として検定問題
$\begin{aligned} H_0:\mu=0\ \ \mathrm{v.s.}\ \ H_1:\mu\neq0 \end{aligned}$
を考え、 $|\bar{X}|\gt c$ で帰無仮説を棄却する検定方式を用いることとする。このとき

検定統計量： $T(X)=|\bar{X}|$

棄却点： $c$

検定方式： $\delta：|\bar{X}|\gt c\rightarrow$ 棄却

検出力： $\beta_{\delta}(\theta)=P_{\theta}\{T(X)\gt c\}$

サイズ： $\displaystyle{\sup_{\theta\in\Theta_0}\beta_{\delta}(\theta)}$

また帰無仮説を棄却する場合、「 $T(X_1,\cdots,X_n)$ は有意である」と呼ぶ。
　さて $\bar{X}\sim N\left(\mu,\displaystyle{\frac{\sigma^2}{n}}\right)$ であるから検出力関数は
$\begin{aligned} \beta_{\delta}(\theta)&=1-P_{\theta}\left\{\left|T(X_1,\cdots,X_n)\right|\leq c\right\}\\ &=1-\Phi\left(\displaystyle{\frac{\sqrt{n}(c-\mu}{\sigma}}\right)+\Phi\left(-\displaystyle{\frac{\sqrt{n}(c+\mu)}{\sigma}}\right) \end{aligned}$
でありサイズは
$\begin{aligned} \displaystyle{\sup_{\theta\in\Theta_0}\beta_{\delta}(\theta)}=\displaystyle{\sup_{\theta\in\Theta_0}\left( 1-\Phi\left\{\displaystyle{\frac{\sqrt{n}(c-\mu}{\sigma}}\right)+\Phi\left(-\displaystyle{\frac{\sqrt{n}(c+\mu)}{\sigma}}\right) \right\}} \end{aligned}$
である。
　ここで $z_{\frac{\alpha}{2}}$ を標準正規分布の両側 $\alpha$ 点とし $c:=\displaystyle{\frac{\sigma}{\sqrt{n}}z_{\frac{\alpha}{2}}}$ とおけば有意水準 $\alpha$ の検定が得られる。

ここまでのまとめ

データに基づき何らかの科学的根拠を踏まえつつ合理的に判定を下すための統計的な枠組みが統計的仮説検定である。

それに当たり、「観測値が分布 $P_{\theta_0}$ のもとでの平均的な状況から著しくズレており、 $P_{\theta_0}$ を仮定するとそのようなことが起こる確率が非常に小さいならば、分布が $P_{\theta_0}$ と考えるのは誤りであると見なした方がよい」と考える。

ある確率変数の実現値が観測されており、それが従う確率分布の母数空間 $\Theta$ が互いに排反な2つの部分集合 $\Theta_0,\Theta_1$ に分割されているとして、2つの命題
$\begin{aligned}H_0:\theta\in\Theta_0\ \ \mathrm{vs.}\ \ H_1:\theta\in\Theta_1\end{aligned}$
の真偽を判断するのが統計的仮説検定の数学的な定式化である。

帰無仮説が正しいときにデータから対立仮説が正しいと判断した場合、または対立仮説が正しいときにデータから帰無仮説を採用した場合に $1$ (それ以外は $0$ )となるような損失を考え、データから採用する仮説を決定する関数(検定関数)のリスク関数（損失の期待値）は、第1種の過誤または第2種の過誤を起こす確率に等しい。したがって良い検定は第1種の過誤および第2種の過誤を両方とも小さくするような検定関数である。ただし両者はトレードオフの関係にあるため、第1種の過誤を事前に与えた有意水準に抑えつつ、第2種の過誤を犯す確率をなるべく小さくする検定関数が“良い”検定であるとする。

ある母数を与えたときの検定関数のリスク関数は帰無仮説を誤りだと検出する確率と言え、検出力関数と呼ぶ。

統計的仮説検定は想定した分布の母数の値に関する議論とは別に、検定関数が与えられたときに標本空間を分割することでも定式化することができる。更に検定統計量が特定の値よりも大きくなるか否かによって定式化することができ、このとき検定統計量がある値を上回れば帰無仮説を棄却するとすると、帰無仮説の下での検定統計量の上側確率の上限をp値と呼び、そのp値が有意水準 $\alpha$ 以下であれば帰無仮説を棄却するものとも定式化できる。

次回

power-of-awareness.com

参考文献

Lehmann, E.L., Casella, George(1998), "Theory of Point Estimation, Second Edition", (Springer)
Lehmann, E.L., Romano, Joseph P.(2005), "Testing Statistical Hypotheses, Third Edition", (Springer)
Sturges, Herbert A.,(1926), "The Choice of a Class Interval", (Journal of the American Statistical Association, Vol. 21, No. 153 (Mar., 1926)), pp. 65-66
Wald,A.,(1950), "Statistical Decision Functions", John Wiley and Sons, New York; Chapman and Hall, London
上田拓治（2009）「44の例題で学ぶ統計的検定と推定の解き方」(オーム社)
大田春外（2000）「はじめよう位相空間」(日本評論社)
小西貞則（2010）「多変量解析入門――線形から非線形へ――」(岩波書店)
小西貞則,北川源四郎（2004）「シリーズ予測と発見の科学2　情報量基準」(朝倉書店)
小西貞則,越智義道,大森裕浩（2008）「シリーズ予測と発見の科学5　計算統計学の方法」(朝倉書店)
佐和隆光（1979）「統計ライブラリー　回帰分析」(朝倉書店)
清水泰隆（2019）「統計学への確率論,その先へ　―ゼロからの速度論的理解と漸近理論への架け橋」(内田老鶴圃)
鈴木武, 山田作太郎（1996）「数理統計学　基礎から学ぶデータ解析」(内田老鶴圃)
竹内啓・編代表（1989）「統計学辞典」(東洋経済新報社)
竹村彰通（1991）「現代数理統計学」(創文社)
竹村彰通（2020）「新装改訂版　現代数理統計学」(学術図書出版社)
東京大学教養学部統計学教室編（1991）「基礎統計学Ⅰ　基礎統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1994）「基礎統計学Ⅱ　人文・社会科学の統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1992）「基礎統計学Ⅲ　自然科学の統計学」(東京大学出版会)
豊田秀樹（2020）「瀕死の統計学を救え！ ―有意性検定から「仮説が正しい確率」へ―」(朝倉書店)
永田靖（2003）「サンプルサイズの決め方」(朝倉書店)
柳川堯（2018）「Ｐ値　その正しい理解と適用」(近代科学社)

*1:問題設定する際にどちらを $\Theta_0,\Theta_1$ にするかは数学的に決まった規則があるわけではなく、慣習的に定めるものである。

*2:母数ベクトルを考えることは無論可能だが、ここでは利便性を優先し母数を1次元として議論する。

*3:不等号の向きが相違するものも含む

*4:有意水準は確率ではない。

（1）	母数空間に関するもの
	・帰無仮説に対応する母数空間 $\Theta_0$ が1点からなる場合：単純帰無仮説
	・対立仮説に対応する母数空間 $\Theta_1$ が1点からなる場合：単純対立仮説
	・単純仮説でない場合：複合仮説
（2）	両側検定・片側検定
	・両側検定： $H_0:\theta=\Theta_0\ \ \mathrm{vs.}\ \ H_1:\theta\neq \Theta_0$
	・片側検定： $H_0:\theta\leq \Theta_0\ \ \mathrm{vs.}\ \ H_1:\theta\gt\Theta_0$ *3
（3）	局外母数・攪乱母数：母数が多次元のときに検定問題で興味のない母数
	例：正規分布に従う確率変数の平均に関する検定における分散
（4）	受容・棄却
	データ $\boldsymbol{X}$ に基づいて統計家が取る決定 $d=\{H_0が正しいと判断する,H_1 が正しいと判断する\}$ に対し
	・帰無仮説 $H_0$ を受容する： $H_0$ が正しいと判断すること
	・帰無仮説 $H_0$ を棄却する： $H_1$ が正しいと判断すること
（5）	決定における誤り
	・第1種の過誤：「帰無仮説が正しい $(\theta\in\Theta_0)$ 」にも拘わらず「帰無仮説を棄却する( $d=1$ )」誤り
	・第2種の過誤：「対立仮説が正しい $(\theta\in\Theta_1)$ 」にも拘わらず「帰無仮説を受容する( $d=0$ )」誤り

前回

8. 統計的仮説検定

8.1 統計的決定論に基づく検定の定式化

8.2 検定統計量に基づく検定方式の定式化

ここまでのまとめ

次回

参考文献

8.　統計的仮説検定

8.1　統計的決定論に基づく検定の定式化

8.2　検定統計量に基づく検定方式の定式化