「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。データ分析・語学に力点を置いています。 →現在、コンサルタントの雛になるべく、少しずつ勉強中です(※2024年1月21日改訂)。

MENU

本気で学ぶ統計学(29/31)

 統計学を真剣に学ぶ人のために、個人的にまとめているノートを公開する。
 底本として

を用いる。

8. 統計的仮説検定

8.4 具体的な検定問題

 今までで仮説検定の理論的な背景について議論してきた。ここからは詳細な問題設定を与えた上で具体的な検定手法を導出していくことにする。
 その前にここまでの議論をシステマティックに考え方を整理しておこう。

  (1)帰無仮説H_0の設定 棄却されることを前提とした仮説を立てる。
  (2)対立仮説H_1の設定 採択されることを前提とした仮説を立てる。
  (3)標本の確認 得た標本から標本統計量および標本サイズを確認する。
  (4)検定統計量Tの計算 条件に合った検定統計量Tを計算する。
  (5)棄却域Rの決定 有意水準、両側検定か片側検定か否か、自由度などから棄却域を決定する。
  (6)検定統計量Tと棄却域Rの比較 T\geq Rならば帰無仮説H_0を棄却する。そうでなければ棄却しない。
  (7)結論を述べる 以上を受けて結論付ける。

 まず自分が示したい仮説を否定するような、すなわち棄却されることを前提とした仮説を立てて、それを帰無仮説H_0と設定する。次に本来自分が示したかった仮説を対立仮説H_1として設定する。
 次にいくつかの検討事項、すなわち

    (1)「パラメトリック検定」か「ノンパラメトリック検定」か否か
    (2)検定の目的
    (3)標本サイズ
    (4)分散(標準偏差)が既知か否か
    (5)「対応のあるデータ」か「対応の無いデータ」か否か*1

を考慮して適切な検定統計量Tを決定する。
 検定統計量Tの分布および有意水準に基づき、棄却域と採択域とに分布を区分けすることができる。あらためて整理しておくと、対立仮説を前提としたときに観測した標本から計算した標本統計量の推定値が得られるが、その標本統計量の分布からその推定値以下(以上)の値を取る確率が計算できる。その計算した確率が有意水準よりも小さいということは、対立仮説の下で標本統計量の推定値を得るような確率*2がまずあり得ない程に低いということだから、対立仮説が正しいという仮定に疑問を呈するべきだと考え、帰無仮説を棄却しない(=示したかった仮説があやまりだろうと考える。)。
 上記では有意水準と確率とを比較したが、これは標本統計量の①推定値自体とその標本統計量の分布の下において有意水準を与えるような値(棄却限界値という。)とを比較することとやっていることは等しい。そこで標本統計量の推定値と棄却限界値(棄却域)とを比較することで仮説の棄却について検討する。
 棄却限界値および棄却域を決めるためには、両側検定をするのか、片側検定をするのかが決まっていないといけない。両側検定を用いるべきときと片側検定を用いるべきときはそれぞれ以下のような場合である:

    両側検定を用いるべきとき:
    (1)分析者が両側の偏りに興味を持つとき
    (2)調査結果(標本)の方向性が想定できないとき
    (3)具体的に特定の値を取るか否かを検討するとき
    片側検定を用いるべきとき:
    (1)分析者が特定の方向に関心があるとき
    (2)具体的に特定の値よりも大きい(小さい)を検討するとき

特段指定が無いのであれば、両側検定をしておくことが望ましい。
 仮説の真偽を検討する際には、第1種の誤りおよび第2種の誤りの発生を検討することになる。

   
検定で帰無仮説を採択するか
検定で帰無仮説を棄却するか
   
仮説の真偽
H_0を採択
H_0を棄却
    H_0は真 ①正しい判定(確率1-\alpha) ③第1種の誤り(確率\alpha)
    H_0は偽 ②第2種の誤り(確率\beta) ④正しい判定(確率1-\beta)


 最も問題になるのは、③帰無仮説H_0が偽であるのにその帰無仮説H_0を採択してしまうことで、この第2種の誤りは確率\betaで生じ、またこれはコントロールできない。

 標本サイズは明確な区分けがあるわけではないが、t分布が標準正規分布にほぼ近似できるという観点から、1つの目安として標本サイズが30以上か否かで判断することがある。より堅確にするには100以上あるか否かを見るとよい。以下では左記の条件を満たす程大きい標本サイズを持つときを大標本、そうでない場合を小標本と呼ぶこととする。

8.4.1 仮説検定法の分類一覧
 
検定内容
 
母平均
母平均の比較値との差のz検定
  母平均の比較値との差のt検定
  対応の無い2つの母平均の差のz検定
  対応の無い2つの母平均の差のt検定
  2つの母平均の差の\mathrm{Welch}t検定
  2つの母平均の差のz検定
  2つの母平均の差のt検定
 
母分散
母分散の比較値との差の\chi^2検定
  母分散の比のF検定
  分散分析表の分散比のF検定
 
相関係数・回帰係数
\mathrm{Pearson}の積率相関係数の無相関のt検定
  相関係数の比較値との差のz検定
  相関係数の無相関のt検定
  単回帰における回帰係数のt検定
 
検定内容
 
母比率
母比率の比較値との差のz検定
  母比率の比較値との差のF検定
  2つの母比率の差のz検定(対応のないデータ)
  2つの母比率の差のz検定(対応のある排反データ)
  2つの母比率の差のz検定(対応のある重複データ)
  比率の差の「\mathrm{McNemar}検定」
  比率の差の「\mathrm{Cochran}Q検定」
 
適合度
適合度の\chi^2検定
  1標本\mathrm{Kolmogorov}-\mathrm{Smirnov}検定
 
独立性
独立性の\chi^2検定(m\times n表)
  独立性の\chi^2検定(2\times2分割表)
 
対応の無い2標本
代表値の差の\mathrm{Mann}-\mathrm{Whitney}U検定
  代表値の差の2標本\mathrm{Kolmogorov}-\mathrm{Smirnov}検定
 
対応のある2標本
代表値の差の\mathrm{Wilcoxon}の符号付順位和検定
 
対応の無いk標本
代表値の差の\mathrm{Kraskal}-\mathrm{Wallis}検定
 
対応のあるk標本
代表値の差の\mathrm{Friedman}検定
  \mathrm{Spearman}の順位相関係数の検定
  \mathrm{Kendall}の順位相関係数の検定

8.5 ノンパラメトリック検定

8.5.1 母比率の比較値との差のz検定

 母集団のうちある条件を満たすものの比率(母比率)がある値よりも大きいのか否かを検定する。すなわち母比率Pおよびその比較水準P_0について

帰無仮説H_0P=P_0
対立仮説H_1P\gt P_0


を考える。このとき大標本による標本比率をpとして検定統計量T



\begin{aligned}
T=\displaystyle{\frac{p-P_0}{\sqrt{\displaystyle{\frac{P_0(1-P_0)}{n}}}}}
\end{aligned}


は、近似的に標準正規分布に従うことが知られている。そこで標準正規分布の片側100\alpha%点をz_{\alpha}とおくとき、T\gt z_{\alpha}であれば帰無仮説を棄却する。

8.5.2 母比率の比較値との差のF検定

 母集団のうちある条件を満たすものの比率(母比率)がある値よりも大きいのか否かを検定する。すなわち母比率Pおよびその比較水準P_0について

帰無仮説H_0P=P_0
対立仮説H_1P\lt P_0


を考える。このとき小標本による標本比率をpとして検定統計量T_1またはT_2



\begin{aligned}
T_1&=\displaystyle{\frac{n_2(1-P_0)}{n_1P_0}},\ n_1=2n(1-p)+2,\ n_2=2np,\\
T_2&=\displaystyle{\frac{m_2P_0}{m_1(1-P_0)}},\ m_1=2np+2,\ m_2=2n(1-p)
\end{aligned}


は、それぞれ近似的にF分布F(n_1,n_2),F(m_1,m_2)に従うことが知られている。そこで統計量の値を対応するF分布のパーセント点と比較して帰無仮説の受容・棄却を判断する。

8.5.3 2つの母比率の差のz検定(対応のないデータ)

 2つの母集団のある比率P_1,P_2が等しいか否かを検定する。これらの母集団からの標本サイズ(n_1,n_2)の異なる2つの独立した標本の標本比率p_1,p_2として、母比率P_1,P_2について

帰無仮説H_0P_1=P_2
対立仮説H_1P_1\neq P_2


を考える。このとき検定統計量T



\begin{aligned}
T&=\displaystyle{\frac{p_1-p_2}{\sqrt{\left(\displaystyle{\frac{1}{n_1}}+\displaystyle{\frac{1}{n_2}}\right)p(1-p)}}},\\
p&=\displaystyle{\frac{n_1p_1+n_2p_2}{n_1+n_2}}
\end{aligned}


は、近似的に標準正規分布に従うことが知られている。そこで標準正規分布の両側100\alpha%点をz_{\frac{\alpha}{2}}とおくとき、T\gt z_{\frac{\alpha}{2}}であれば帰無仮説を棄却する。

8.5.4 2つの母比率の差のz検定(対応のある排反データ)

 ある母集団について互いに排反な事象A,Bの起きた母比率をP_A,P_Bとしてそれらに差があるかを検定する。母比率P_A,P_Bについて

帰無仮説H_0P_A=P_B
対立仮説H_1P_A\neq P_B


を考える。A,Bの起きた標本サイズおよび標本比率をそれぞれn_A,n_B,p_A,p_Bとすれば、このとき検定統計量T



\begin{aligned}
T&=\displaystyle{\frac{p_A-p_B}{\displaystyle{\frac{1}{n}}\left\{(p_A+p_B)-(p_A-p_B)^2\right\}}},
\end{aligned}


は、近似的に標準正規分布に従うことが知られている。そこで標準正規分布の両側100\alpha%点をz_{\frac{\alpha}{2}}とおくとき、T\gt z_{\frac{\alpha}{2}}であれば帰無仮説を棄却する。

8.5.5 2つの母比率の差のz検定(対応のある重複データ)

 ある母集団について共通部分が空でない事象A,Bの起きた母比率をP_A,P_Bとしてそれらに差があるかを検定する。母比率P_A,P_Bについて

帰無仮説H_0P_A=P_B
対立仮説H_1P_A\neq P_B


を考える。A,Bの起きた標本サイズおよび標本比率をそれぞれn_A,n_B,p_A,p_Bとし、これらが両方とも起きた標本比率をp_{AB}すれば、このとき検定統計量T



\begin{aligned}
T&=\displaystyle{\frac{p_A-p_B}{\sqrt{\displaystyle{\frac{1}{n}}\left\{(p_A+p_B)-(p_A-p_B)^2-2p_{AB}\right\}}}},
\end{aligned}


は、近似的に標準正規分布に従うことが知られている。そこで標準正規分布の両側100\alpha%点をz_{\frac{\alpha}{2}}とおくとき、T\gt z_{\frac{\alpha}{2}}であれば帰無仮説を棄却する。

8.5.6 比率の差の「McNemar検定」

 データ表(2\times2分割表)があるとき、対応のある2つのデータの比率の差を判定したいとする。すなわち以下の表

要素B
当てはまる
当てはまらない
要素A
当てはまる
a
b
a+b
 
当てはまらない
c
d
c+d
 
a+c
b+d
n

において要素Aの母比率p_Aおよび要素Bの母比率p_Bに差があるか否かについて、検定

帰無仮説H_0p_A=p_B
対立仮説H_1p_A\neq p_B


を考える。このとき検定統計量


\begin{aligned}
T=\displaystyle{\frac{(b-c)^2}{b+c}}
\end{aligned}


は、分母b+cが充分に大きいとき、近似的に自由度f=1カイ二乗分布に従うことが知られている。そこで自由度f=1カイ二乗分布の片側100\alpha%点を\chi^2(f,\alpha)とおくとき、T\gt \chi^2(f,\alpha)であれば帰無仮説を棄却する。

8.5.7 比率の差の「CochranのQ検定」

 異なる対象に対する各試行に対して、当てはまるか否かを調べ、以下の表を得たとする。

     
対象
1
\cdots
n
      1 D_{1,1} \cdots D_{1,n}
      2 D_{2,1} \cdots D_{2,n}
      \vdots
\vdots
\vdots
\vdots
      m D_{m,1} \cdots D_{m,n}

ここでD_{i,j}は対象i=1,\cdots,mによる試行j=1,\cdots,nの結果で、


\begin{aligned}
D_{i,j}=\begin{cases}
1,&条件を満たす\\
0,&条件を満たさない
\end{cases}
\end{aligned}

において対象j=1,\cdots,nにおいて条件を満たす母比率p_jについて、検定

帰無仮説H_0p_1=p_2=\cdots=p_n
対立仮説H_1:少なくとも1組の(p_j,p_k)についてp_j\neq p_k\ (j,k\in\{1,2,\cdots,n\},j\neq k)


を考える。このとき検定統計量



\begin{aligned}
Q&=\displaystyle{\frac{(n-1)\left\{n\displaystyle{\sum_{j=1}^{n}A_j^2}-\left(\displaystyle{\sum_{j=1}^{n}A_j}\right)\right\}}{n\displaystyle{\sum_{i=1}^{m}B_i}-\displaystyle{\sum_{i=1}^{m}}B_i^2}},\\
A_j&=\displaystyle{\sum_{i=1}^{m}D_{ij}},\\
B_j&=\displaystyle{\sum_{j=1}^{n}D_{ij}}
\end{aligned}


は、近似的に自由度f=n-1カイ二乗分布に従うことが知られている。そこで自由度f=n-1カイ二乗分布の片側100\alpha%点をD^2(f,\alpha)とおくとき、Q\gt D^2(f,\alpha)であれば帰無仮説を棄却する。

8.5.8 適合度のカイ二乗検定

 クロス集計表

 
カテゴリ1
カテゴリ2
\cdots
カテゴリm
計算
実測度数
\hat{n}_1
\hat{n}_2
\cdots
\hat{n}_m
n
理論度数
n_1
n_2
\cdots
n_m
n

を得たとして、相対度数(標本相対度数および母相対度数)を



\begin{aligned}
\hat{p}_i&=\displaystyle{\frac{\hat{n}_i}{\hat{n}}},\\
p_i&=\displaystyle{\frac{n_i}{n}}
\end{aligned}


とおく。このときある水準k_iについて検定

帰無仮説H_0p_1=k_1,\cdots,p_n=k_n
対立仮説H_1:少なくとも1つのiについてp_i\neq\hat{p}_i

を考える*3。このとき検定統計量



\begin{aligned}
T=\displaystyle{\sum_{i=1}^{n}\left\{\frac{(n_i-np_i)^2}{n p_i}\right\}}
\end{aligned}


は、近似的に自由度f=n-1カイ二乗分布に従うことが知られている。そこで自由度f=n-1カイ二乗分布の片側100\alpha%点をD^2(f,\alpha)とおくとき、T\gt D^2(f,\alpha)であれば帰無仮説を棄却する。

参考文献

  • Lehmann, E.L., Casella, George(1998), "Theory of Point Estimation, Second Edition", (Springer)
  • Lehmann, E.L., Romano, Joseph P.(2005), "Testing Statistical Hypotheses, Third Edition", (Springer)
  • Sturges, Herbert A.,(1926), "The Choice of a Class Interval", (Journal of the American Statistical Association, Vol. 21, No. 153 (Mar., 1926)), pp. 65-66
  • Wald, A.,(1950), "Statistical Decision Functions", John Wiley and Sons, New York; Chapman and Hall, London
  • 上田拓治(2009)「44の例題で学ぶ統計的検定と推定の解き方」(オーム社)
  • 大田春外(2000)「はじめよう位相空間」(日本評論社)
  • 小西貞則(2010)「多変量解析入門――線形から非線形へ――」(岩波書店)
  • 小西貞則,北川源四郎(2004)「シリーズ予測と発見の科学2 情報量基準」(朝倉書店)
  • 小西貞則,越智義道,大森裕浩(2008)「シリーズ予測と発見の科学5 計算統計学の方法」(朝倉書店)
  • 佐和隆光(1979)「統計ライブラリー 回帰分析」(朝倉書店)
  • 清水泰隆(2019)「統計学への確率論,その先へ ―ゼロからの速度論的理解と漸近理論への架け橋」(内田老鶴圃)
  • 鈴木 武, 山田 作太郎(1996)「数理統計学 基礎から学ぶデータ解析」(内田老鶴圃)
  • 竹内啓・編代表(1989)「統計学辞典」(東洋経済新報社)
  • 竹村彰通(1991)「現代数理統計学」(創文社)
  • 竹村彰通(2020)「新装改訂版 現代数理統計学」(学術図書出版社)
  • 東京大学教養学部統計学教室編(1991)「基礎統計学Ⅰ 基礎統計学」(東京大学出版会)
  • 東京大学教養学部統計学教室編(1994)「基礎統計学Ⅱ 人文・社会科学の統計学」(東京大学出版会)
  • 東京大学教養学部統計学教室編(1992)「基礎統計学Ⅲ 自然科学の統計学」(東京大学出版会)
  • 豊田秀樹(2020)「瀕死の統計学を救え! ―有意性検定から「仮説が正しい確率」へ―」(朝倉書店)
  • 永田靖(2003)「サンプルサイズの決め方」(朝倉書店)
  • 柳川堯(2018)「P値 その正しい理解と適用」(近代科学社)

*1:同一の母集団から得た異なるデータセットを比較する場合を対応のあるデータと呼び、各データセットが独立した場合が対応の無いデータと呼ぶ。

*2:このような言い回しは、今は連続値を前提としていて、そのために理論的には誤りだが、分かりやすさのために敢えてこのような言い合わしをする。

*3:たとえばn_i=\displaystyle{\frac{1}{n}},i=1,\cdots,nとおけば、すべての比率が等しいことを意味する。

プライバシーポリシー お問い合わせ