本気で学ぶ統計学(28/31) - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学を真剣に学ぶ人のために、個人的にまとめているノートを公開する。
　底本として

新装改訂版現代数理統計学

作者:彰通, 竹村
学術図書出版社

Amazon

を用いる。

前回

power-of-awareness.com

前回
8.　統計的仮説検定
- 8.4　具体的な検定問題
参考文献

8.　統計的仮説検定

8.4　具体的な検定問題

　今までで仮説検定の理論的な背景について議論してきた。ここからは詳細な問題設定を与えた上で具体的な検定手法を導出していくことにする。
　その前にここまでの議論をシステマティックに考え方を整理しておこう。

	(1)帰無仮説 $H_0$ の設定	棄却されることを前提とした仮説を立てる。
	(2)対立仮説 $H_1$ の設定	採択されることを前提とした仮説を立てる。
	(3)標本の確認	得た標本から標本統計量および標本サイズを確認する。
	(4)検定統計量 $T$ の計算	条件に合った検定統計量 $T$ を計算する。
	(5)棄却域 $R$ の決定	有意水準、両側検定か片側検定か否か、自由度などから棄却域を決定する。
	(6)検定統計量 $T$ と棄却域 $R$ の比較	$T\geq R$ ならば帰無仮説 $H_0$ を棄却する。そうでなければ棄却しない。
	(7)結論を述べる	以上を受けて結論付ける。

　まず自分が示したい仮説を否定するような、すなわち棄却されることを前提とした仮説を立てて、それを帰無仮説 $H_0$ と設定する。次に本来自分が示したかった仮説を対立仮説 $H_1$ として設定する。
　次にいくつかの検討事項、すなわち

	(1)「パラメトリック検定」か「ノンパラメトリック検定」か否か
	(2)検定の目的
	(3)標本サイズ
	(4)分散(標準偏差)が既知か否か
	(5)「対応のあるデータ」か「対応の無いデータ」か否か*1

を考慮して適切な検定統計量 $T$ を決定する。
　検定統計量 $T$ の分布および有意水準に基づき、棄却域と採択域とに分布を区分けすることができる。あらためて整理しておくと、対立仮説を前提としたときに観測した標本から計算した標本統計量の推定値が得られるが、その標本統計量の分布からその推定値以下(以上)の値を取る確率が計算できる。その計算した確率が有意水準よりも小さいということは、対立仮説の下で標本統計量の推定値を得るような確率*2がまずあり得ない程に低いということだから、対立仮説が正しいという仮定に疑問を呈するべきだと考え、帰無仮説を棄却しない(=示したかった仮説があやまりだろうと考える。)。
　上記では有意水準と確率とを比較したが、これは標本統計量の①推定値自体とその標本統計量の分布の下において有意水準を与えるような値(棄却限界値という。)とを比較することとやっていることは等しい。そこで標本統計量の推定値と棄却限界値(棄却域)とを比較することで仮説の棄却について検討する。
　棄却限界値および棄却域を決めるためには、両側検定をするのか、片側検定をするのかが決まっていないといけない。両側検定を用いるべきときと片側検定を用いるべきときはそれぞれ以下のような場合である：

	両側検定を用いるべきとき：
	(1)分析者が両側の偏りに興味を持つとき
	(2)調査結果(標本)の方向性が想定できないとき
	(3)具体的に特定の値を取るか否かを検討するとき
	片側検定を用いるべきとき：
	(1)分析者が特定の方向に関心があるとき
	(2)具体的に特定の値よりも大きい(小さい)を検討するとき

特段指定が無いのであれば、両側検定をしておくことが望ましい。
　仮説の真偽を検討する際には、第1種の誤りおよび第2種の誤りの発生を検討することになる。

	検定で帰無仮説を採択するか	検定で帰無仮説を棄却するか
仮説の真偽	$H_0$ を採択	$H_0$ を棄却
$H_0$ は真	①正しい判定(確率 $1-\alpha$ )	③第1種の誤り(確率 $\alpha$ )
$H_0$ は偽	②第2種の誤り(確率 $\beta$ )	④正しい判定(確率 $1-\beta$ )

　最も問題になるのは、③帰無仮説 $H_0$ が偽であるのにその帰無仮説 $H_0$ を採択してしまうことで、この第2種の誤りは確率 $\beta$ で生じ、またこれはコントロールできない。

　標本サイズは明確な区分けがあるわけではないが、 $t$ 分布が標準正規分布にほぼ近似できるという観点から、1つの目安として標本サイズが $30$ 以上か否かで判断することがある。より堅確にするには $100$ 以上あるか否かを見るとよい。以下では左記の条件を満たす程大きい標本サイズを持つときを大標本、そうでない場合を小標本と呼ぶこととする。

8.4.1　仮説検定法の分類一覧

	パラメトリック検定	検定内容
	母平均	母平均の比較値との差の $z$ 検定
		母平均の比較値との差の $t$ 検定
		対応の無い2つの母平均の差の $z$ 検定
		対応の無い2つの母平均の差の $t$ 検定
		2つの母平均の差の $\mathrm{Welch}$ の $t$ 検定
		2つの母平均の差の $z$ 検定
		2つの母平均の差の $t$ 検定
	母分散	母分散の比較値との差の $\chi^2$ 検定
		母分散の比の $F$ 検定
		分散分析表の分散比の $F$ 検定
	相関係数・回帰係数	$\mathrm{Pearson}$ の積率相関係数の無相関の $t$ 検定
		母相関係数の比較値との差の $z$ 検定
		偏相関係数の無相関の $t$ 検定
		単回帰における回帰係数の $t$ 検定
	ノンパラメトリック検定	検定内容
	母比率	母比率の比較値との差の $z$ 検定
		母比率の比較値との差の $F$ 検定
		2つの母比率の差の $z$ 検定(対応のないデータ)
		2つの母比率の差の $z$ 検定(対応のある排反データ)
		2つの母比率の差の $z$ 検定(対応のある重複データ)
		比率の差の「 $\mathrm{McNemar}$ 検定」
		比率の差の「 $\mathrm{Cochran}$ の $Q$ 検定」
	適合度	適合度の $\chi^2$ 検定
		1標本 $\mathrm{Kolmogorov}$ - $\mathrm{Smirnov}$ 検定
	独立性	独立性の $\chi^2$ 検定( $m\times n$ 表)
		独立性の $\chi^2$ 検定( $2\times2$ 分割表)
	対応の無い2標本	代表値の差の $\mathrm{Mann}$ - $\mathrm{Whitney}$ の $U$ 検定
		代表値の差の2標本 $\mathrm{Kolmogorov}$ - $\mathrm{Smirnov}$ 検定
	対応のある2標本	代表値の差の $\mathrm{Wilcoxon}$ の符号付順位和検定
	対応の無い $k$ 標本	代表値の差の $\mathrm{Kraskal}$ - $\mathrm{Wallis}$ 検定
	対応のある $k$ 標本	代表値の差の $\mathrm{Friedman}$ 検定
	順位相関係数	$\mathrm{Spearman}$ の順位相関係数の検定
		$\mathrm{Kendall}$ の順位相関係数の検定

8.4.9　母分散の比較値との差の $\chi^2$ 検定

　標本分散が母分散と有意に等しいかを検定する。標本サイズを $n$ であるような標本 $X_1,\cdots,X_n$ について、その母分散を $\sigma^2,\sigma\gt0$ として、それがある水準 $\sigma_0^2$ について

帰無仮説 $H_0$ ： $\sigma^2=\sigma_0^2$
対立仮説 $H_1$ ： $\sigma^2\neq\sigma_0^2$

を考える。ここで母平均は未知だとする。このとき検定統計量 $T$

$\begin{aligned} T=\displaystyle{\frac{S}{\sigma_0^2}},\ S=\displaystyle{\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2},\ \bar{X}=\displaystyle{\frac{1}{n}\sum_{i=1}^{n}X_i} \end{aligned}$

は、近似的に自由度 $n-1$ のカイ二乗分布 $\chi^{2}(n-1)$ に従うことが知られている。自由度 $n-1$ のカイ二乗分布 $\chi^{2}(n-1)$ の下側 $100\alpha$ %点を $\chi_{\alpha}^{2}(n-1)$ と $T$ とを比較し、

$\begin{aligned} T\gt\chi_{\frac{\alpha}{2}}^{2}(n-1)&\lor T\lt\chi_{1-\frac{\alpha}{2}}^{2}(n-1) \end{aligned}$

であれば帰無仮説を棄却する。

8.4.10　母分散の比の $F$ 検定

　同じ標本サイズ $n$ を持つ2つの標本 $A,B$ について、標本分散 $s_A^2,s_B^2$ が得られたとする。これらの母分散をそれぞれ $\sigma_A^2,\sigma_B^2,\sigma_A\gt0,\sigma_B\gt0$ とするとき、仮説検定

帰無仮説 $H_0$ ： $\sigma_A^2=\sigma_B^2$
対立仮説 $H_1$ ： $\sigma_A^2\neq\sigma_B^2$

を考える*3。このとき検定統計量 $T$

$\begin{aligned} T=\displaystyle{\frac{s_A^2}{s_B^2}} \end{aligned}$

は、自由度 $n-1,n-1$ の $F$ 分布に従うことが知られている。そこで自由度 $n-1,n-1$ の $F$ 分布の $100\alpha$ %点を $F(n-1,n-1;\alpha)$ とおくとき、 $T\gt F\left(n-1,n-1;\displaystyle{\frac{\alpha}{2}}\right)$ であれば帰無仮説を棄却する。

8.4.11　分散分析表の分散比のF検定

　分散分析( $\mathrm{ANOVA}$ )とは、観測標本における変動を誤差変動および各要因、更にそれらの交互作用による変動に分解することによって、要因および交互作用の効果を判定する統計的仮説検定の一手法である*4。ここでは目的値 $x$ をそれぞれ $A_1,\cdots,A_m,B_1,\cdots,B_n$ を構成要素とする2つの要因 $A,B$ について分析するものとする。標本サイズを $k$ として、以下のように各要因の各標本についてデータ $x=x_{ij,l},i\in\{1,2,\cdots,m\},j\in\{1,2,\cdots,n\},$ $l\in\{1,2,\cdots,k\}$ が得られたとする。また総平均を $\mu$ とする。

		$A_1$		$\cdots$		$A_m$
標本サイズ	$B_1$	$\cdots$	$B_n$	$\cdots$	$B_1$	$\cdots$	$B_n$
$1$	$x_{11,1}$	$\cdots$	$x_{1n,1}$	$\cdots$	$x_{m1,1}$	$\cdots$	$x_{mn,1}$
$2$	$x_{11,2}$	$\cdots$	$x_{1n,2}$	$\cdots$	$x_{m1,2}$	$\cdots$	$x_{mn,2}$
$\vdots$
$k$	$x_{11,k}$	$\cdots$	$x_{1n,k}$	$\cdots$	$x_{m1,k}$	$\cdots$	$x_{mn,k}$
平均	$\mu_{11}$	$\cdots$	$\mu_{1n}$	$\cdots$	$\mu_{m1}$	$\cdots$	$\mu_{mn}$

これを分散分析表にまとめる(具体的に以下が得られたとする。)。

要因	平方和	自由度	平均平方	検定統計量 $T$
要因 $A$	$SS_A$	$m-1$	$\displaystyle{\frac{SS_A}{m-1}}=$ ①	①÷④
要因 $B$	$SS_B$	$n-1$	$\displaystyle{\frac{SS_B}{n-1}}=$ ②	②÷④
交互作用 $A\times B$	$SS_{AB}$	$(m-1)(n-1)$	$\displaystyle{\frac{SS_{AB}}{(m-1)(n-1)}}=$ ③	③÷④
残差	$SS_E$	$mn(k-1)$	$\displaystyle{\frac{SS_E}{mn(k-1)}}=$ ④
計	$SS_T$	$mnk-1$

ここで

$\begin{aligned} SS_T&=\displaystyle{\sum_{i=1}^{m}\sum_{j=1}^{n}\sum_{l=1}^{k}(x_{ij,l}-\mu)^2},\\ SS_A&=nk\displaystyle{\sum_{i=1}^{m}\left(\displaystyle{\frac{1}{n}\sum_{j=1}^{n}\mu_{ij}}-\mu\right)^2},\\ SS_B&=mk\displaystyle{\sum_{j=1}^{n}\left(\displaystyle{\frac{1}{m}\sum_{i=1}^{m}\mu_{ij}}-\mu\right)^2},\\ SS_{AB}&=k\displaystyle{\sum_{l=1}^{k}\left(x_{ij,k}-\displaystyle{\frac{1}{n}\sum_{j=1}^{n}\mu_{ij}}-\displaystyle{\frac{1}{m}\sum_{i=1}^{m}\mu_{ij}}+\mu\right)^2},\\ SS_E&=SS_T-SS_A-SS_B-SS_{AB} \end{aligned}$

である。このとき各 $SS_A,SS_B,SS_{AB}$ はそれぞれ自由度 $(m-1,mn(k-1) ),$ $(n-1,mn(k-1) ),$ $( (m-1)(n-1),mn(k-1) )$ の $F$ 分布に従う。有意水準 $\alpha$ に対して各検定統計量と対応する $F$ 分布の下側 $100\alpha$ %点とを比較し、検定統計量の方が大きければ要因 $A,B$ またはその交互作用 $A\times B$ によって $X$ の水準に差があると判断できる。

8.4.12　Pearsonの積率相関係数の無相関のt検定

　確率変数 $\boldsymbol{X}$ について、標本サイズが $n$ であるような標本 $\boldsymbol{X}_1=(X_1,Y_1),\cdots,\boldsymbol{X}_n=(X_n,Y_n)$ が得られたとするとき、これらの変数に相関があるか否かを検定する。すなわち確率変数 $\boldsymbol{X}$ の母相関係数 $\rho$ の仮説検定

帰無仮説 $H_0$ ： $\rho=0$
対立仮説 $H_1$ ： $\rho\neq0$

を考える。このとき検定統計量

$\begin{aligned} T&=\displaystyle{\frac{|r|\sqrt{n-2}}{\sqrt{1-r^2}}},\\ r&=\displaystyle{\frac{\displaystyle{\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})}}{\sqrt{\displaystyle{\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2}}\sqrt{\displaystyle{\frac{1}{n-1}\sum_{i=1}^{n}(Y_i-\bar{Y})^2}}}},\\ \bar{X}&=\displaystyle{\frac{1}{n}X_i},\\ \bar{Y}&=\displaystyle{\frac{1}{n}Y_i} \end{aligned}$

を考えると、近似的に $T\sim t(n-2)$ であることが知られている。そこで自由度 $n-2$ の $t$ 分布の $100\alpha$ %点を $t(n-2;\alpha)$ とおくとき、 $T\gt t\left(n-2;\displaystyle{\frac{\alpha}{2}}\right)$ であれば帰無仮説を棄却する。

8.4.13　母相関係数の比較値との差のz検定

　確率変数 $\boldsymbol{X}$ について、標本サイズが $n$ であるような標本 $\boldsymbol{X}_1=(X_1,Y_1),\cdots,\boldsymbol{X}_n=(X_n,Y_n)$ が得られたとするとき、母相関係数がある値であるか否かを検定する。すなわち $\rho_0\in[-1,1]$ に対して、確率変数 $\boldsymbol{X}$ の母相関係数 $\rho$ の仮説検定

帰無仮説 $H_0$ ： $\rho=\rho_0$
対立仮説 $H_1$ ： $\rho\neq\rho_0$

を考える。このとき検定統計量

$\begin{aligned} T=\sqrt{n-3}\left(\displaystyle{\frac{1}{2}\log\frac{1+r}{1-r}-\frac{1}{2}\log\frac{1+\rho_0}{1-\rho_0}}\right) \end{aligned}$

を考えると、近似的に $T\sim N(0,1)$ であることが知られている。そこで標準正規分布の両側 $100\alpha$ %点を $z_{\frac{\alpha}{2}}$ とおくとき、 $T\gt z_{\frac{\alpha}{2}}$ であれば帰無仮説を棄却する。

8.4.14　偏相関係数の無相関のt検定

　確率ベクトル $\boldsymbol{X}=(X_1,X_2,\cdots,X_m)$ について、標本サイズが $n$ であるような標本が得られたとする。固定する変数の数を $q$ とするとき、ある変数ペアに関する偏相関係数が零であるか否かを検定する。すなわち母偏相関係数 $\rho_{xy}$ について、

帰無仮説 $H_0$ ： $\rho_{xy}=0$
対立仮説 $H_1$ ： $\rho_{xy}\neq0$

を考える。このとき固定する変数の個数を $q$ としたときの変数 $x,y$ 間の偏相関係数を $r_{xy}^q$ として、検定統計量

$\begin{aligned} T=\displaystyle{\frac{|r_{xy}^q|\sqrt{n-q-2}}{\sqrt{1-r_{xy}^q^2}}} \end{aligned}$

を考えると、近似的に $T\sim t(n-q-2)$ であることが知られている。そこで自由度 $n-q-2$ の $t$ 分布の $100\alpha$ %点を $t(n-q-2;\alpha)$ とおくとき、 $T\gt t\left(n-q-2;\displaystyle{\frac{\alpha}{2}}\right)$ であれば帰無仮説を棄却する。

8.4.15　単回帰における回帰係数のt検定

　2つの確率変数 $X,Y$ を考え、それらの標本 $(X_1,Y_1),\cdots,(X_n,Y_n)$ が得られているものとする。このとき $Y$ を $X$ に回帰したモデル

$\begin{aligned} Y=\beta X+\alpha+\varepsilon \end{aligned}$

を検討し、このとき回帰係数 $\beta$ が $0$ であるか否かを検定する。すなわち仮説検定

帰無仮説 $H_0$ ： $\beta=0$
対立仮説 $H_1$ ： $\beta\neq0$

を考える。回帰係数 $\beta$ を平均二乗法で推定する、すなわち

$\begin{aligned} \hat{\beta}&=\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})}}{\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})^2}}},\\ \bar{X}&=\displaystyle{\frac{1}{n}\sum_{i=1}^{n}X_i}\\ \bar{Y}&=\displaystyle{\frac{1}{n}\sum_{i=1}^{n}Y_i} \end{aligned}$

を推定量とするとき、残差誤差 $\hat{\sigma}_e$ が

$\begin{aligned} \hat{\sigma}_e=\sqrt{\displaystyle{\frac{1}{n-2}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2}} \end{aligned}$

で与えられることに注意すれば、検定統計量

$\begin{aligned} T=\displaystyle{\frac{\hat{\beta}\sqrt{\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})}}}{\hat{\sigma}_e}} \end{aligned}$

参考文献

Lehmann, E.L., Casella, George(1998), "Theory of Point Estimation, Second Edition", (Springer)
Lehmann, E.L., Romano, Joseph P.(2005), "Testing Statistical Hypotheses, Third Edition", (Springer)
Sturges, Herbert A.,(1926), "The Choice of a Class Interval", (Journal of the American Statistical Association, Vol. 21, No. 153 (Mar., 1926)), pp. 65-66
Wald, A.,(1950), "Statistical Decision Functions", John Wiley and Sons, New York; Chapman and Hall, London
上田拓治（2009）「44の例題で学ぶ統計的検定と推定の解き方」(オーム社)
大田春外（2000）「はじめよう位相空間」(日本評論社)
小西貞則（2010）「多変量解析入門――線形から非線形へ――」(岩波書店)
小西貞則,北川源四郎（2004）「シリーズ予測と発見の科学2　情報量基準」(朝倉書店)
小西貞則,越智義道,大森裕浩（2008）「シリーズ予測と発見の科学5　計算統計学の方法」(朝倉書店)
佐和隆光（1979）「統計ライブラリー　回帰分析」(朝倉書店)
清水泰隆（2019）「統計学への確率論,その先へ　―ゼロからの速度論的理解と漸近理論への架け橋」(内田老鶴圃)
鈴木武, 山田作太郎（1996）「数理統計学　基礎から学ぶデータ解析」(内田老鶴圃)
竹内啓・編代表（1989）「統計学辞典」(東洋経済新報社)
竹村彰通（1991）「現代数理統計学」(創文社)
竹村彰通（2020）「新装改訂版　現代数理統計学」(学術図書出版社)
東京大学教養学部統計学教室編（1991）「基礎統計学Ⅰ　基礎統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1994）「基礎統計学Ⅱ　人文・社会科学の統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1992）「基礎統計学Ⅲ　自然科学の統計学」(東京大学出版会)
豊田秀樹（2020）「瀕死の統計学を救え！ ―有意性検定から「仮説が正しい確率」へ―」(朝倉書店)
永田靖（2003）「サンプルサイズの決め方」(朝倉書店)
柳川堯（2018）「Ｐ値　その正しい理解と適用」(近代科学社)

*1:同一の母集団から得た異なるデータセットを比較する場合を対応のあるデータと呼び、各データセットが独立した場合が対応の無いデータと呼ぶ。

*2:このような言い回しは、今は連続値を前提としていて、そのために理論的には誤りだが、分かりやすさのために敢えてこのような言い合わしをする。

*3:たいていの問題設定では $A,B$ の順番に本質的な相違は無い。その順番をもし決める必要がある場合、 $F$ 分布表(しかも数値が $1$ 以上の場合)を参照しなければならないのであれば、値の大きい方を $A$ にするとよい。

*4:次章以降で扱う予定である。

前回

8. 統計的仮説検定

8.4 具体的な検定問題

8.4.1 仮説検定法の分類一覧

8.4.9 母分散の比較値との差の検定

8.4.10 母分散の比の検定

8.4.11 分散分析表の分散比のF検定

8.4.12 Pearsonの積率相関係数の無相関のt検定

8.4.13 母相関係数の比較値との差のz検定

8.4.14 偏相関係数の無相関のt検定

8.4.15 単回帰における回帰係数のt検定