本気で学ぶ統計学(30/31) - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学を真剣に学ぶ人のために、個人的にまとめているノートを公開する。
　底本として

新装改訂版現代数理統計学

作者:彰通, 竹村
学術図書出版社

Amazon

を用いる。

前回

power-of-awareness.com

前回
8.　統計的仮説検定
- 8.4　具体的な検定問題
参考文献

8.　統計的仮説検定

8.4　具体的な検定問題

　今までで仮説検定の理論的な背景について議論してきた。ここからは詳細な問題設定を与えた上で具体的な検定手法を導出していくことにする。
　その前にここまでの議論をシステマティックに考え方を整理しておこう。

	(1)帰無仮説 $H_0$ の設定	棄却されることを前提とした仮説を立てる。
	(2)対立仮説 $H_1$ の設定	採択されることを前提とした仮説を立てる。
	(3)標本の確認	得た標本から標本統計量および標本サイズを確認する。
	(4)検定統計量 $T$ の計算	条件に合った検定統計量 $T$ を計算する。
	(5)棄却域 $R$ の決定	有意水準、両側検定か片側検定か否か、自由度などから棄却域を決定する。
	(6)検定統計量 $T$ と棄却域 $R$ の比較	$T\geq R$ ならば帰無仮説 $H_0$ を棄却する。そうでなければ棄却しない。
	(7)結論を述べる	以上を受けて結論付ける。

　まず自分が示したい仮説を否定するような、すなわち棄却されることを前提とした仮説を立てて、それを帰無仮説 $H_0$ と設定する。次に本来自分が示したかった仮説を対立仮説 $H_1$ として設定する。
　次にいくつかの検討事項、すなわち

	(1)「パラメトリック検定」か「ノンパラメトリック検定」か否か
	(2)検定の目的
	(3)標本サイズ
	(4)分散(標準偏差)が既知か否か
	(5)「対応のあるデータ」か「対応の無いデータ」か否か*1

を考慮して適切な検定統計量 $T$ を決定する。
　検定統計量 $T$ の分布および有意水準に基づき、棄却域と採択域とに分布を区分けすることができる。あらためて整理しておくと、対立仮説を前提としたときに観測した標本から計算した標本統計量の推定値が得られるが、その標本統計量の分布からその推定値以下(以上)の値を取る確率が計算できる。その計算した確率が有意水準よりも小さいということは、対立仮説の下で標本統計量の推定値を得るような確率*2がまずあり得ない程に低いということだから、対立仮説が正しいという仮定に疑問を呈するべきだと考え、帰無仮説を棄却しない(=示したかった仮説があやまりだろうと考える。)。
　上記では有意水準と確率とを比較したが、これは標本統計量の①推定値自体とその標本統計量の分布の下において有意水準を与えるような値(棄却限界値という。)とを比較することとやっていることは等しい。そこで標本統計量の推定値と棄却限界値(棄却域)とを比較することで仮説の棄却について検討する。
　棄却限界値および棄却域を決めるためには、両側検定をするのか、片側検定をするのかが決まっていないといけない。両側検定を用いるべきときと片側検定を用いるべきときはそれぞれ以下のような場合である：

	両側検定を用いるべきとき：
	(1)分析者が両側の偏りに興味を持つとき
	(2)調査結果(標本)の方向性が想定できないとき
	(3)具体的に特定の値を取るか否かを検討するとき
	片側検定を用いるべきとき：
	(1)分析者が特定の方向に関心があるとき
	(2)具体的に特定の値よりも大きい(小さい)を検討するとき

特段指定が無いのであれば、両側検定をしておくことが望ましい。
　仮説の真偽を検討する際には、第1種の誤りおよび第2種の誤りの発生を検討することになる。

	検定で帰無仮説を採択するか	検定で帰無仮説を棄却するか
仮説の真偽	$H_0$ を採択	$H_0$ を棄却
$H_0$ は真	①正しい判定(確率 $1-\alpha$ )	③第1種の誤り(確率 $\alpha$ )
$H_0$ は偽	②第2種の誤り(確率 $\beta$ )	④正しい判定(確率 $1-\beta$ )

　最も問題になるのは、③帰無仮説 $H_0$ が偽であるのにその帰無仮説 $H_0$ を採択してしまうことで、この第2種の誤りは確率 $\beta$ で生じ、またこれはコントロールできない。

　標本サイズは明確な区分けがあるわけではないが、 $t$ 分布が標準正規分布にほぼ近似できるという観点から、1つの目安として標本サイズが $30$ 以上か否かで判断することがある。より堅確にするには $100$ 以上あるか否かを見るとよい。以下では左記の条件を満たす程大きい標本サイズを持つときを大標本、そうでない場合を小標本と呼ぶこととする。

8.4.1　仮説検定法の分類一覧

	パラメトリック検定	検定内容
	母平均	母平均の比較値との差の $z$ 検定
		母平均の比較値との差の $t$ 検定
		対応の無い2つの母平均の差の $z$ 検定
		対応の無い2つの母平均の差の $t$ 検定
		2つの母平均の差の $\mathrm{Welch}$ の $t$ 検定
		2つの母平均の差の $z$ 検定
		2つの母平均の差の $t$ 検定
	母分散	母分散の比較値との差の $\chi^2$ 検定
		母分散の比の $F$ 検定
		分散分析表の分散比の $F$ 検定
	相関係数・回帰係数	$\mathrm{Pearson}$ の積率相関係数の無相関の $t$ 検定
		母相関係数の比較値との差の $z$ 検定
		偏相関係数の無相関の $t$ 検定
		単回帰における回帰係数の $t$ 検定
	ノンパラメトリック検定	検定内容
	母比率	母比率の比較値との差の $z$ 検定
		母比率の比較値との差の $F$ 検定
		2つの母比率の差の $z$ 検定(対応のないデータ)
		2つの母比率の差の $z$ 検定(対応のある排反データ)
		2つの母比率の差の $z$ 検定(対応のある重複データ)
		比率の差の「 $\mathrm{McNemar}$ 検定」
		比率の差の「 $\mathrm{Cochran}$ の $Q$ 検定」
	適合度	適合度の $\chi^2$ 検定
		1標本 $\mathrm{Kolmogorov}$ - $\mathrm{Smirnov}$ 検定
	独立性	独立性の $\chi^2$ 検定( $m\times n$ 表)
		独立性の $\chi^2$ 検定( $2\times2$ 分割表)
	対応の無い2標本	代表値の差の $\mathrm{Mann}$ - $\mathrm{Whitney}$ の $U$ 検定
		代表値の差の2標本 $\mathrm{Kolmogorov}$ - $\mathrm{Smirnov}$ 検定
	対応のある2標本	代表値の差の $\mathrm{Wilcoxon}$ の符号付順位和検定
	対応の無い $k$ 標本	代表値の差の $\mathrm{Kraskal}$ - $\mathrm{Wallis}$ 検定
	対応のある $k$ 標本	代表値の差の $\mathrm{Friedman}$ 検定
	順位相関係数	$\mathrm{Spearman}$ の順位相関係数の検定
		$\mathrm{Kendall}$ の順位相関係数の検定

8.5.9　1標本Kolmogorov-Smirnov検定

　真の分布 $F$ に従う標本 $X_1,\cdots,X_n$ があるときに、経験分布

$\begin{aligned} F_n(x)=\displaystyle{\frac{1}{n}\sum_{i=1}^{n}\chi_{\{X_i\leq x\}}(X_i)} \end{aligned}$

を考える。ここで集合 $\{X_i\leq x\}$ に対して

$\begin{aligned} \chi_{\{X_i\leq x\}}(X_i)=\begin{cases} 1,&X_i\leq x\\ 0,&X_i\gt x \end{cases} \end{aligned}$

と定義する。
　ある確率分布 $G$ に対して、検定

帰無仮説 $H_0$ ： $F=G$
対立仮説 $H_1$ ： $F\neq G$

を考える。このとき検定統計量

$\begin{aligned} D_n=\displaystyle{\sup_{x\in\mathbb{R}}|F_n(x)-F(x)|} \end{aligned}$

を与えると、 $n$ が充分に大きいとき、

$\begin{aligned} P\left\{\sqrt{n} D_n\leq x\right\}=1-2\displaystyle{\sum_{i=1}^{\infty}(-1)^{i-1}e^{-2i^2x^2} } \end{aligned}$

に従うことが知られている。これを活用することで未知の分布に従う標本があるとき、その分布がある特定の分布であるか否かを検定することができる。

8.5.10　独立性のカイ二乗検定(m×n表)

　2つのカテゴリ $A,B$ について $m\times n$ の度数分布表が得られたとする。

	カテゴリ $B$	$1$	$\cdots$	$n$
カテゴリ $A$	$1$	$n_{11}$	$\cdots$	$n_{1n}$	$n_{1\cdot}$
	$\vdots$	$\vdots$	$\ddots$	$\vdots$	$\vdots$
	$m$	$n_{m1}$	$\cdots$	$n_{mn}$	$n_{m\cdot}$
	計	$n_{\cdot1}$	$\cdots$	$n_{\cdots n}$	$n$

これらのカテゴリに対して仮説検定

帰無仮説 $H_0$ ：カテゴリ $A$ とカテゴリ $B$ は独立である
対立仮説 $H_1$ ：カテゴリ $A$ とカテゴリ $B$ は独立であるとは言えない

を考える。このとき検定統計量

$\begin{aligned} T&=\displaystyle{\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{(n_{ij}-E_{ij})^2}{E_{ij}}},\\ E_{ij}&=\displaystyle{\frac{n_{i\cdot}n_{\cdot j}}{n}} \end{aligned}$

は近似的に自由度 $f=(m-1)(n-1)$ のカイ二乗分布に従うことが知られている。そこでそこで自由度 $f=(m-1)(n-1)$ のカイ二乗分布の片側 $100\alpha$ %点を $\chi^2(f,\alpha)$ とおくとき、 $T\gt \chi^2(f,\alpha)$ であれば帰無仮説を棄却する。

8.5.11　独立性のカイ二乗検定(2×2分割表)

　2つのカテゴリ $A,B$ について $2\times 2$ の度数分布表*3が得られたとする。

	カテゴリ $B$	$1$	$0$
カテゴリ $A$	$1$	$a$	$b$	$a+b$
	$0$	$c$	$d$	$c+d$
	計	$a+c$	$b+d$	$a+b+c+d$

これらのカテゴリに対して仮説検定

帰無仮説 $H_0$ ：カテゴリ $A$ とカテゴリ $B$ は独立である
対立仮説 $H_1$ ：カテゴリ $A$ とカテゴリ $B$ は独立であるとは言えない

を考える。このとき検定統計量

$\begin{aligned} T&=\displaystyle{\frac{n(ad-bc)^2}{efgh}},\\ n&=a+b+c+d,\\ e&=a+c,\\ f&=b+d,\\ g&=a+b,\\ h&=c+d \end{aligned}$

は近似的に自由度 $f=1$ のカイ二乗分布に従うことが知られている。そこでそこで自由度 $f=(m-1)(n-1)$ のカイ二乗分布の片側 $100\alpha$ %点を $\chi^2(f,\alpha)$ とおくとき、 $T\gt \chi^2(f,\alpha)$ であれば帰無仮説を棄却する。
　なお $a,b,c,d$ の少なくとも1つが $4$ 以下の場合は誤差が大きすぎるため、検定統計量として代わりに

$\begin{aligned} T=\displaystyle{\frac{n\left(\left|ad-bc\right|-\displaystyle{\frac{n}{2}}\right)^2}{efgh}} \end{aligned}$

を用いる。

8.5.12　代表値の差のMann-WhitneyのU検定

　対応の無い独立した2つの群の母代表値に差があるかどうかを知りたいとする。一方の群の各標本値を $X_1,X_2,\cdots,X_{n_1}$ 、もう一方の群の各標本値を $Y_1,$ $Y_2,$ $\cdots,$ $Y_{n_2}$ として、これらをまとめて順位に変換する。すなわち変換後の値をそれぞれ $X_1=r_{1,1},\cdots,X_{n_1}=r_{1,n_1},$ $Y_1=r_{2,1},\cdots,Y_{n_2}=r_{2,n_2}$ とするとき、

$\begin{aligned} R_1&=\displaystyle{\sum_{i=1}^{n_1}r_{1,i}},\\ R_2&=\displaystyle{\sum_{i=1}^{n_2}r_{2,i}} \end{aligned}$

とおく。
　このとき検定統計量 $U$

$\begin{aligned} U&=\displaystyle{\max(U_1,U_2)},\\ U_1&=n_1n_2+\displaystyle{\frac{n_1(n_1+1)}{2}}-R_1,\\ U_2&=n_1n_2+\displaystyle{\frac{n_2(n_2+1)}{2}}-R_2 \end{aligned}$

を考えると、 $U$ は近似的に正規分布 $N\left(\displaystyle{\frac{n_1n_2}{2}},\displaystyle{\frac{n_1n_2(n_1+n_2+1)}{12}}\right)$ に従うことが知られている。そこで

$\begin{aligned} T=\displaystyle{\frac{|U-E[U]|}{\sqrt{V[U]}}} \end{aligned}$

として $z$ 検定を行う。ただし $r_{1,1},\cdots,r_{1,n_1},r_{2,1},\cdots,r_{2,n_2}$ の中に同順位のものが存在する場合、 $U$ の分散を

$\begin{aligned} V[U]=\displaystyle{\frac{n_1n_2}{12(n^2-n)}\left\{n^3-n-\sum_{i=1}^{m}(t_i^3-t_i)\right\}} \end{aligned}$

と計算する。ここで $n=n_1+n_2$ で、 $m$ は同順位が存在する順位の数で、 $t_i$ は同順位が存在する順位を昇順で見たときに第 $i$ 番目の同順位の標本の数である。

8.5.13　代表値の差の2標本Kolmogorov-Smirnov検定

　真の分布 $F$ に従う標本 $X_1,\cdots,X_m$ および真の分布 $G$ に従う標本 $Y_1,\cdots,Y_n$ があるときに、経験分布

$\begin{aligned} F_m(x)&=\displaystyle{\frac{1}{m}\sum_{i=1}^{m}\chi_{\{X_i\leq x\}}(X_i)},\\ G_n(y)&=\displaystyle{\frac{1}{n}\sum_{j=1}^{n}\chi_{\{Y_i\leq y\}}(Y_i)} \end{aligned}$

を考える。
　これらに対して検定

帰無仮説 $H_0$ ： $F=G$
対立仮説 $H_1$ ： $F\neq G$

を考える。このとき検定統計量

$\begin{aligned} D_{m,n}=\displaystyle{\sup_{x\in\mathbb{R}}|F_m(x)-G_n(x)|} \end{aligned}$

を与えると、 $m,n$ が充分に大きいとき、特定の分布に従うことが知られており、その棄却限界値は

$\begin{aligned} D_{m,n}&\gt c(\alpha)\sqrt{\displaystyle{\frac{m+n}{mn}}},\\ c(\alpha)&=\sqrt{-\displaystyle{\frac{1}{2}}\log\left(\displaystyle{\frac{\alpha}{2}}\right)} \end{aligned}$

で与えられる。

参考文献

Lehmann, E.L., Casella, George(1998), "Theory of Point Estimation, Second Edition", (Springer)
Lehmann, E.L., Romano, Joseph P.(2005), "Testing Statistical Hypotheses, Third Edition", (Springer)
Sturges, Herbert A.,(1926), "The Choice of a Class Interval", (Journal of the American Statistical Association, Vol. 21, No. 153 (Mar., 1926)), pp. 65-66
Wald, A.,(1950), "Statistical Decision Functions", John Wiley and Sons, New York; Chapman and Hall, London
上田拓治（2009）「44の例題で学ぶ統計的検定と推定の解き方」(オーム社)
大田春外（2000）「はじめよう位相空間」(日本評論社)
小西貞則（2010）「多変量解析入門――線形から非線形へ――」(岩波書店)
小西貞則,北川源四郎（2004）「シリーズ予測と発見の科学2　情報量基準」(朝倉書店)
小西貞則,越智義道,大森裕浩（2008）「シリーズ予測と発見の科学5　計算統計学の方法」(朝倉書店)
佐和隆光（1979）「統計ライブラリー　回帰分析」(朝倉書店)
清水泰隆（2019）「統計学への確率論,その先へ　―ゼロからの速度論的理解と漸近理論への架け橋」(内田老鶴圃)
鈴木武, 山田作太郎（1996）「数理統計学　基礎から学ぶデータ解析」(内田老鶴圃)
竹内啓・編代表（1989）「統計学辞典」(東洋経済新報社)
竹村彰通（1991）「現代数理統計学」(創文社)
竹村彰通（2020）「新装改訂版　現代数理統計学」(学術図書出版社)
東京大学教養学部統計学教室編（1991）「基礎統計学Ⅰ　基礎統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1994）「基礎統計学Ⅱ　人文・社会科学の統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1992）「基礎統計学Ⅲ　自然科学の統計学」(東京大学出版会)
豊田秀樹（2020）「瀕死の統計学を救え！ ―有意性検定から「仮説が正しい確率」へ―」(朝倉書店)
永田靖（2003）「サンプルサイズの決め方」(朝倉書店)
柳川堯（2018）「Ｐ値　その正しい理解と適用」(近代科学社)

*1:同一の母集団から得た異なるデータセットを比較する場合を対応のあるデータと呼び、各データセットが独立した場合が対応の無いデータと呼ぶ。

*2:このような言い回しは、今は連続値を前提としていて、そのために理論的には誤りだが、分かりやすさのために敢えてこのような言い合わしをする。

*3:たとえば互いに $0,1$ のダミー変数を取る場合を指す。

前回

8. 統計的仮説検定

8.4 具体的な検定問題

8.4.1 仮説検定法の分類一覧

8.5.9 1標本Kolmogorov-Smirnov検定

8.5.10 独立性のカイ二乗検定(m×n表)

8.5.11 独立性のカイ二乗検定(2×2分割表)

8.5.12 代表値の差のMann-WhitneyのU検定

8.5.13 代表値の差の2標本Kolmogorov-Smirnov検定

参考文献

8.　統計的仮説検定

8.4　具体的な検定問題

8.4.1　仮説検定法の分類一覧

8.5.9　1標本Kolmogorov-Smirnov検定

8.5.10　独立性のカイ二乗検定(m×n表)

8.5.11　独立性のカイ二乗検定(2×2分割表)

8.5.12　代表値の差のMann-WhitneyのU検定

8.5.13　代表値の差の2標本Kolmogorov-Smirnov検定