本気で学ぶ統計学(31/31) - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学を真剣に学ぶ人のために、個人的にまとめているノートを公開する。
　底本として

新装改訂版現代数理統計学

作者:彰通, 竹村
学術図書出版社

Amazon

を用いる。

前回

https://power-of-awareness.com/entry/2022/09/20/050000power-of-awareness.com

前回
8.　統計的仮説検定
- 8.4　具体的な検定問題
おわりに
参考文献

8.　統計的仮説検定

8.4　具体的な検定問題

　今までで仮説検定の理論的な背景について議論してきた。ここからは詳細な問題設定を与えた上で具体的な検定手法を導出していくことにする。
　その前にここまでの議論をシステマティックに考え方を整理しておこう。

	(1)帰無仮説 $H_0$ の設定	棄却されることを前提とした仮説を立てる。
	(2)対立仮説 $H_1$ の設定	採択されることを前提とした仮説を立てる。
	(3)標本の確認	得た標本から標本統計量および標本サイズを確認する。
	(4)検定統計量 $T$ の計算	条件に合った検定統計量 $T$ を計算する。
	(5)棄却域 $R$ の決定	有意水準、両側検定か片側検定か否か、自由度などから棄却域を決定する。
	(6)検定統計量 $T$ と棄却域 $R$ の比較	$T\geq R$ ならば帰無仮説 $H_0$ を棄却する。そうでなければ棄却しない。
	(7)結論を述べる	以上を受けて結論付ける。

　まず自分が示したい仮説を否定するような、すなわち棄却されることを前提とした仮説を立てて、それを帰無仮説 $H_0$ と設定する。次に本来自分が示したかった仮説を対立仮説 $H_1$ として設定する。
　次にいくつかの検討事項、すなわち

	(1)「パラメトリック検定」か「ノンパラメトリック検定」か否か
	(2)検定の目的
	(3)標本サイズ
	(4)分散(標準偏差)が既知か否か
	(5)「対応のあるデータ」か「対応の無いデータ」か否か*1

を考慮して適切な検定統計量 $T$ を決定する。
　検定統計量 $T$ の分布および有意水準に基づき、棄却域と採択域とに分布を区分けすることができる。あらためて整理しておくと、対立仮説を前提としたときに観測した標本から計算した標本統計量の推定値が得られるが、その標本統計量の分布からその推定値以下(以上)の値を取る確率が計算できる。その計算した確率が有意水準よりも小さいということは、対立仮説の下で標本統計量の推定値を得るような確率*2がまずあり得ない程に低いということだから、対立仮説が正しいという仮定に疑問を呈するべきだと考え、帰無仮説を棄却しない(=示したかった仮説があやまりだろうと考える。)。
　上記では有意水準と確率とを比較したが、これは標本統計量の①推定値自体とその標本統計量の分布の下において有意水準を与えるような値(棄却限界値という。)とを比較することとやっていることは等しい。そこで標本統計量の推定値と棄却限界値(棄却域)とを比較することで仮説の棄却について検討する。
　棄却限界値および棄却域を決めるためには、両側検定をするのか、片側検定をするのかが決まっていないといけない。両側検定を用いるべきときと片側検定を用いるべきときはそれぞれ以下のような場合である：

	両側検定を用いるべきとき：
	(1)分析者が両側の偏りに興味を持つとき
	(2)調査結果(標本)の方向性が想定できないとき
	(3)具体的に特定の値を取るか否かを検討するとき
	片側検定を用いるべきとき：
	(1)分析者が特定の方向に関心があるとき
	(2)具体的に特定の値よりも大きい(小さい)を検討するとき

特段指定が無いのであれば、両側検定をしておくことが望ましい。
　仮説の真偽を検討する際には、第1種の誤りおよび第2種の誤りの発生を検討することになる。

	検定で帰無仮説を採択するか	検定で帰無仮説を棄却するか
仮説の真偽	$H_0$ を採択	$H_0$ を棄却
$H_0$ は真	①正しい判定(確率 $1-\alpha$ )	③第1種の誤り(確率 $\alpha$ )
$H_0$ は偽	②第2種の誤り(確率 $\beta$ )	④正しい判定(確率 $1-\beta$ )

　最も問題になるのは、③帰無仮説 $H_0$ が偽であるのにその帰無仮説 $H_0$ を採択してしまうことで、この第2種の誤りは確率 $\beta$ で生じ、またこれはコントロールできない。

　標本サイズは明確な区分けがあるわけではないが、 $t$ 分布が標準正規分布にほぼ近似できるという観点から、1つの目安として標本サイズが $30$ 以上か否かで判断することがある。より堅確にするには $100$ 以上あるか否かを見るとよい。以下では左記の条件を満たす程大きい標本サイズを持つときを大標本、そうでない場合を小標本と呼ぶこととする。

8.4.1　仮説検定法の分類一覧

	パラメトリック検定	検定内容
	母平均	母平均の比較値との差の $z$ 検定
		母平均の比較値との差の $t$ 検定
		対応の無い2つの母平均の差の $z$ 検定
		対応の無い2つの母平均の差の $t$ 検定
		2つの母平均の差の $\mathrm{Welch}$ の $t$ 検定
		2つの母平均の差の $z$ 検定
		2つの母平均の差の $t$ 検定
	母分散	母分散の比較値との差の $\chi^2$ 検定
		母分散の比の $F$ 検定
		分散分析表の分散比の $F$ 検定
	相関係数・回帰係数	$\mathrm{Pearson}$ の積率相関係数の無相関の $t$ 検定
		母相関係数の比較値との差の $z$ 検定
		偏相関係数の無相関の $t$ 検定
		単回帰における回帰係数の $t$ 検定
	ノンパラメトリック検定	検定内容
	母比率	母比率の比較値との差の $z$ 検定
		母比率の比較値との差の $F$ 検定
		2つの母比率の差の $z$ 検定(対応のないデータ)
		2つの母比率の差の $z$ 検定(対応のある排反データ)
		2つの母比率の差の $z$ 検定(対応のある重複データ)
		比率の差の「 $\mathrm{McNemar}$ 検定」
		比率の差の「 $\mathrm{Cochran}$ の $Q$ 検定」
	適合度	適合度の $\chi^2$ 検定
		1標本 $\mathrm{Kolmogorov}$ - $\mathrm{Smirnov}$ 検定
	独立性	独立性の $\chi^2$ 検定( $m\times n$ 表)
		独立性の $\chi^2$ 検定( $2\times2$ 分割表)
	対応の無い2標本	代表値の差の $\mathrm{Mann}$ - $\mathrm{Whitney}$ の $U$ 検定
		代表値の差の2標本 $\mathrm{Kolmogorov}$ - $\mathrm{Smirnov}$ 検定
	対応のある2標本	代表値の差の $\mathrm{Wilcoxon}$ の符号付順位和検定
	対応の無い $k$ 標本	代表値の差の $\mathrm{Kruskal}$ - $\mathrm{Wallis}$ 検定
	対応のある $k$ 標本	代表値の差の $\mathrm{Friedman}$ 検定
	順位相関係数	$\mathrm{Spearman}$ の順位相関係数の検定
		$\mathrm{Kendall}$ の順位相関係数の検定

8.5.14　代表値の差のWilcoxonの符号付順位和検定

　対応のある2標本の母代表値に興味がある場合を考える。すなわち対象 $i,i=1,2,\cdots,n$ それぞれに対して1対の観測値 $(X_i,Y_i),i=1,\cdots,n$ を得たとする。このときこれら $X_i,Y_i$ の母代表値に差があるか否かを知りたいとする。またこの2変数の値の差分を数値として定義でき、更にその差を順位付けできるものと仮定する。
　その母代表値をそれぞれ $\mu_1,\mu_2$ *3とするとき、仮説検定

$\begin{aligned} H_0:&\mu_1=\mu_2\\ H_1:&\mu_1\neq\mu_2 \end{aligned}$

を考える。
　 $|X_i-Y_i|,i=1,2,\cdots,n$ を用いて $i,i=1,2,\cdots,n$ に対し昇順に順位を与える。ここで $X_i=Y_i$ である場合はその標本(の順位)を除外する。また同順位には平均順位、すなわち第 $k$ 位のデータが $l$ 組ある場合、それら同順位の $l$ 組に対して一律で

$\begin{aligned} \displaystyle{\frac{1}{l}\sum_{j=0}^{l-1}(k+j)} \end{aligned}$

を与える。
　こうして与えた順位を $r_1,\cdots,r_n$ とするとき検定統計量

$\begin{aligned} T=\displaystyle{\min\left(\sum_{i=1}^{n}\boldsymbol{1}_{\{X_i\gt Y_i\}}r_i,\sum_{i=1}^{n}\boldsymbol{1}_{\{X_i\lt Y_i\}}r_i\right)} \end{aligned}$

を考える。これは順位分布の数表を用いる、もしくは $n$ が充分に大きい場合は、 $T\sim N\left(\displaystyle{\frac{n(n+1)}{4}},\displaystyle{\frac{n(n+1)(2n+1)}{24}}\right)$ が近似的に成り立つことを用いて検定を行う。

8.5.15　代表値の差のKruskal-Wallis検定

　対応の無い $k$ 群の母集団値に差があるか否かを判定したいとする。 $k$ 群にそれぞれ $n_j,j=1,\cdots,k$ だけ標本が存在するとし $\displaystyle{\sum_{j=1}^{k}n_j}=n$ とおく。
　その母代表値をそれぞれ $\mu_1,\cdots,\mu_k$ *4とするとき、仮説検定

$\begin{aligned} H_0:&\mu_1=\mu_2=\cdots=\mu_k\\ H_1:&{}^{\exists}i,{}^{\exists}j\in\{1,\cdots,k\}\left(\mu_i\neq\mu_j\right) \end{aligned}$

を考える。このとき検定統計量

$\begin{aligned} T=\displaystyle{\frac{12\displaystyle{\sum_{j=1}^{k}\frac{R_j^2}{n_j}}}{n(n+1)}}-3(n+1) \end{aligned}$

を考えると、これは近似的に自由度 $f=k-1$ のカイ二乗分布に従う。自由度 $k-1$ のカイ二乗分布 $\chi^{2}(k-1)$ の下側 $100\alpha$ %点を $\chi_{\alpha}^{2}(k-1)$ と $T$ とを比較し、

$\begin{aligned} T\gt\chi_{\frac{\alpha}{2}}^{2}(k-1)&\lor T\lt\chi_{1-\frac{\alpha}{2}}^{2}(k-1) \end{aligned}$

であれば帰無仮説を棄却する。
　なお同順位がある場合、

$\begin{aligned} T^{*}&=\displaystyle{\frac{T}{C}},\\ C&=1-\displaystyle{\frac{\displaystyle{\sum_{j=1}^{m}(t_j^3-t_j)}}{n(n^2-1)}} \end{aligned}$

で $T$ を補正する。

8.5.16　代表値の差のFriedman検定

　対応のある $n$ 群の母集団値に差があるか否かを判定したいとする。すなわち対象 $i,i=1,2,\cdots,n$ それぞれに対して $k$ 個の観測値 $(X_{i,1},\cdots,X_{i,k}),i=1,\cdots,n$ を得たとする。
　各観測値の従う確率変数の母代表値をそれぞれ $\mu_1,\cdots,\mu_k$ *5とするとき、仮説検定

$\begin{aligned} H_0:&\mu_1=\mu_2=\cdots=\mu_k\\ H_1:&{}^{\exists}i,{}^{\exists}j\in\{1,\cdots,k\}\left(\mu_i\neq\mu_j\right) \end{aligned}$

を考える。このとき検定統計量

$\begin{aligned} T=\displaystyle{\frac{12}{nk(k+1)}\sum_{j=1}^{c}R_j^2-3n(k+1)} \end{aligned}$

を考えると、これは近似的に自由度 $f=k-1$ のカイ二乗分布に従うことが知られている。

8.5.17　Spearmanの順位相関係数の検定

　ある確率変数の組 $(X,Y)$ について標本 $(X_1,Y_1),\cdots,(X_n,Y_n)$ が得られているものとする。この確率変数ペアの母相関係数を検定する。すなわち母相関係数を $\rho$ とするとき、仮説検定

$\begin{aligned} H_0:&\rho=0\\ H_1:&\rho\neq0 \end{aligned}$

を考える。
　そのために標本を用いた $\mathrm{Spearman}$ の順位相関係数

$\begin{aligned} \hat{\rho}=1-\displaystyle{\frac{6\displaystyle{\sum_{i=1}^{n}d_i^2}}{n^3-n}} \end{aligned}$

を計算する。ここで $d_i$ は $X_i,$ および $Y_i$ をそれぞれ昇順で順位付けした $x_i,y_i$ を用いて $d_i=x_i-y_i$ で求める。
　このとき検定統計量

$\begin{aligned} T=\displaystyle{\frac{|\hat{\rho}|\sqrt{n-2}}{\sqrt{(1-\hat{\rho}^2)^2}}} \end{aligned}$

を考えると、これは近似的に自由度 $f=n-2$ の $t$ 分布に従う。
　なお同順位の標本が存在する場合、確率変数 $X_i,Y_i$ における同順位の標本が存在する値の個数をそれぞれ $n_X,n_Y$ 、昇順で $i=1,\cdots,n_X$ 番目の同順位および $j=1,\cdots,n_Y$ 番目の同順位の順位を $t_{X,i},t_{Y,j}$ として、

$\begin{aligned} \hat{\rho}&=\displaystyle{\frac{T_X+T_Y-\displaystyle{\sum_{i=1}{n}d_i^2}}{2\sqrt{T_X T_Y}}},\\ T_X&=\displaystyle{\frac{(n^3-n)-\displaystyle{\sum_{i=1}^{n_X}(t_{X,i}^3-t_{X,i}) }}{12}},\\ T_Y&=\displaystyle{\frac{(n^3-n)-\displaystyle{\sum_{j=1}^{n_Y}(t_{Y,j}^3-t_{Y,j}) }}{12}} \end{aligned}$

と置き換える。

8.5.18　Kendallの順位相関係数の検定

$\begin{aligned} H_0:&\rho=0\\ H_1:&\rho\neq0 \end{aligned}$

を考える。
　そのために標本を用いた $\mathrm{Kendall}$ の順位相関係数

$\begin{aligned} \hat{\tau}=\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}P_i-\sum_{i=1}^{n}Q_i}}{\displaystyle{\frac{n(n-1)}{2}}}} \end{aligned}$

を計算する。
　ここで $P_i,Q_i$ は以下の手順で求める。

	(1)	$X_1,\cdots,X_n$ を昇順で順位に変換し $r_{X,1},\cdots,r_{X,n}$ とおくとき、 $Y_{r_{X,1}},\cdots,Y_{r_{X,n}}$ $r_{Y,r_{X,1}},\cdots,r_{Y,r_{X,n}}$ とおく。
	(2)	$i\in\{1,\cdots,r_{X,n}-1\},$ $j\in\{1,\cdots,n\}$ に対して $\begin{aligned}P_i&=\displaystyle{\sum_{j=i+1}^{r_{X,n}}\boldsymbol{1}_{\{Y_i\lt Y_j\}}},\\Q_i&=\displaystyle{\sum_{j=i+1}^{r_{X,n}}\boldsymbol{1}_{\{Y_i\gt Y_j\}}}\end{aligned}$ とする。

　このとき検定統計量

$\begin{aligned} T=\displaystyle{\frac{|\hat{\tau}|}{\displaystyle{\frac{4n+10}{9n(n-1)}}}} \end{aligned}$

を考えると、これは近似的に標準正規分布に従うので、これを活用すればよい。
　なお同順位がある場合、確率変数 $X_i,Y_i$ における同順位の標本が存在する値の個数をそれぞれ $n_X,n_Y$ 、昇順で $i=1,\cdots,n_X$ 番目の同順位および $j=1,\cdots,n_Y$ 番目の同順位の順位を $t_{X,i},t_{Y,j}$ として、

$\begin{aligned} \hat{\tau}&=\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}P_i}-\displaystyle{\sum_{i=1}^{n}Q_i}}{\left(\sqrt{\displaystyle{\frac{n(n-1)}{2}}-T_X}\right)\left(\sqrt{\displaystyle{\frac{n(n-1)}{2}}-T_Y}\right)}},\\ T_X&=\displaystyle{\sum_{i=1}^{n_X}\frac{t_{X,i}(t_{X,i}-1)}{2}},\\ T_Y&=\displaystyle{\sum_{j=1}^{n_Y}\frac{t_{Y,j}(t_{Y,j}-1)}{2}} \end{aligned}$

とする。

おわりに

　普通、数理統計学のノートでは線形モデルを扱うことが多いが、それは別タイトルで扱うことにし、以上で数理統計学ノートは終わりとする。

参考文献

Lehmann, E.L., Casella, George(1998), "Theory of Point Estimation, Second Edition", (Springer)
Lehmann, E.L., Romano, Joseph P.(2005), "Testing Statistical Hypotheses, Third Edition", (Springer)
Sturges, Herbert A.,(1926), "The Choice of a Class Interval", (Journal of the American Statistical Association, Vol. 21, No. 153 (Mar., 1926)), pp. 65-66
Wald, A.,(1950), "Statistical Decision Functions", John Wiley and Sons, New York; Chapman and Hall, London
上田拓治（2009）「44の例題で学ぶ統計的検定と推定の解き方」(オーム社)
大田春外（2000）「はじめよう位相空間」(日本評論社)
小西貞則（2010）「多変量解析入門――線形から非線形へ――」(岩波書店)
小西貞則,北川源四郎（2004）「シリーズ予測と発見の科学2　情報量基準」(朝倉書店)
小西貞則,越智義道,大森裕浩（2008）「シリーズ予測と発見の科学5　計算統計学の方法」(朝倉書店)
佐和隆光（1979）「統計ライブラリー　回帰分析」(朝倉書店)
清水泰隆（2019）「統計学への確率論,その先へ　―ゼロからの速度論的理解と漸近理論への架け橋」(内田老鶴圃)
鈴木武, 山田作太郎（1996）「数理統計学　基礎から学ぶデータ解析」(内田老鶴圃)
竹内啓・編代表（1989）「統計学辞典」(東洋経済新報社)
竹村彰通（1991）「現代数理統計学」(創文社)
竹村彰通（2020）「新装改訂版　現代数理統計学」(学術図書出版社)
東京大学教養学部統計学教室編（1991）「基礎統計学Ⅰ　基礎統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1994）「基礎統計学Ⅱ　人文・社会科学の統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1992）「基礎統計学Ⅲ　自然科学の統計学」(東京大学出版会)
豊田秀樹（2020）「瀕死の統計学を救え！ ―有意性検定から「仮説が正しい確率」へ―」(朝倉書店)
永田靖（2003）「サンプルサイズの決め方」(朝倉書店)
柳川堯（2018）「Ｐ値　その正しい理解と適用」(近代科学社)

*1:同一の母集団から得た異なるデータセットを比較する場合を対応のあるデータと呼び、各データセットが独立した場合が対応の無いデータと呼ぶ。

*2:このような言い回しは、今は連続値を前提としていて、そのために理論的には誤りだが、分かりやすさのために敢えてこのような言い合わしをする。

*3:平均とは限らない。

*4:平均とは限らない。

*5:平均とは限らない。

前回

8. 統計的仮説検定

8.4 具体的な検定問題

8.4.1 仮説検定法の分類一覧

8.5.14 代表値の差のWilcoxonの符号付順位和検定

8.5.15 代表値の差のKruskal-Wallis検定

8.5.16 代表値の差のFriedman検定

8.5.17 Spearmanの順位相関係数の検定

8.5.18 Kendallの順位相関係数の検定