「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。

MENU

本気で学ぶ統計学(04/X)

 統計学を真剣に学ぶ人のために、個人的にまとめているノートを公開する。
 底本として

を用いる。

  • 前回:

power-of-awareness.com

2. 統計学のための確率論

2.6 その他の代表量:特性関数

2.6.1 歪度

 確率変数Xが従う分布のr次中心モーメントを\mu_rとする。基準化された3次モーメント


\begin{aligned}
\sqrt{\beta_1}:=\displaystyle{\frac{\mu_3}{\mu_2^{3/2}}}=\displaystyle{\frac{\kappa_3}{\kappa_2^{3/2}}}
\end{aligned}

を歪度と呼ぶ。\sqrt{\beta_1}=0ならば分布は対称である。\sqrt{\beta_1}\gt0のとき分布が右に裾を引くといい、\sqrt{\beta_1}\lt0のときは分布が左に裾を引くという。



2.6.2 尖度

 基準化された4次モーメントを用いて


\begin{aligned}
\beta_2:=\displaystyle{\frac{\mu_4}{\mu_2^2}}=\displaystyle{\frac{\kappa_4}{\kappa_2^2}}+3
\end{aligned}

を尖度という*1 。尖度は分布の中心での尖り具合や裾の重さを表す指標である。



 歪度と尖度の間には常に


\begin{aligned}
\beta_2\geq(\sqrt{\beta_1})^2+1
\end{aligned}

が常に成り立つ。
(\because \mu=E[X]とおくとき、任意の実数x,y,z\in\mathbb{R}に対して


\begin{aligned}
E[\{x+y(X-\mu)+z(X-\mu)^2\}^2]\geq0
\end{aligned}

であるが、


\begin{aligned}
\boldsymbol{y}=\begin{bmatrix}x\\y\\z\end{bmatrix},A=\begin{bmatrix}1&0&\mu_2\\0&\mu_2&\mu_3\\\mu_2&\mu_3&\mu_4\end{bmatrix}
\end{aligned}

とおけば、それは


\begin{aligned}
{}^t\boldsymbol{y}A\boldsymbol{y}\geq0
\end{aligned}

と同値であり、Aは正定値対称行列である。したがって


\begin{aligned}
\det⁡(A)=\mu_2\mu_4-{\mu_2}^3-{\mu_3}^2\geq0
\end{aligned}

を得る。両辺を\mu_3^2で割ることで


\begin{aligned}
\beta_2\geq \sqrt{\beta_1}^2+1
\end{aligned}

となる。 \blacksquare

2.6.3 Steinの等式


Steinの等式 X\sim N(\mu,\sigma^2)で、関数g(\cdot)微分可能かつE[|g^{\prime}(X)|]\lt\inftyならば

\begin{aligned}
E[(X-\mu)g(X)]=\sigma^2 E[g^{\prime}(X)]
\end{aligned}

が成り立つ。

(\because 定義通りに計算すると

\begin{aligned}
E[(X-\mu)g(X)]=&\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}}\displaystyle{\int_{-\infty}^{\infty}(x-\mu)g(x)\exp\left\{-\displaystyle{\frac{(x-\mu)^2}{2\sigma^2}}\right\}}dx\\
=&-\displaystyle{\frac{\sigma^2}{\sqrt{2\pi\sigma^2}}}\displaystyle{\int_{-\infty}^{\infty}g(x)}\left[\left\{-\displaystyle{\frac{(x-\mu)^2}{2\sigma^2}}\right\}^{\prime}\exp{\left\{-\displaystyle{\frac{(x-\mu)^2}{2\sigma^2}}\right\}}\right]dx\\
=&-\displaystyle{\frac{\sigma^2}{\sqrt{2\pi\sigma^2}}}\left[\left[g(x)\exp⁡\left\{-\displaystyle{\frac{(x-\mu)^2}{2\sigma^2}}\right\}\right]_{-\infty}^{\infty}-\displaystyle{\int_{-\infty}^{\infty}g^{\prime}(x)}\exp\left\{-\displaystyle{\frac{(x-\mu)^2}{2\sigma^2}}\right\}dx\right]\\
=&\sigma^2\displaystyle{\int_{-\infty}^{\infty}g^{\prime}(x)\frac{1}{\sqrt{2\pi\sigma^2}}}\exp⁡\left\{-\displaystyle{\frac{(x-\mu)^2}{2\sigma^2}}\right\}dx\\
=&\sigma^2 E[g^{\prime}(X)]\ \ \ \ \blacksquare)
\end{aligned}

これはモーメントの計算に有用である。実数mに対してE[X^m]を求めたいとする。このとき


\begin{aligned}
E[X^m]=E[(X-\mu)X^{m-1}]+\mu E[X^{m-1}]+\cdots
\end{aligned}

に対してSteinの等式を適用すると


\begin{aligned}
E[X^m]=(m-1)\sigma^2 E[(X-\mu) X^{m-2}]+\mu E[X^{m-1}]=\cdots
\end{aligned}

と次数を下げていくことができる。

2.6.4 混合

 異なる分布を組み合わせて新しい分布を生成する方法として混合がある。F_1,F_2を異なる累積分布関数とし、0\leq p\leq1を取り


\begin{aligned}
F(x)=p F_1 (x)+(1-p) F_2 (x)
\end{aligned}

とすればこれもまた累積分布関数となる。より一般に\{F(x,\theta)\}を母数\thetaを持つ累積分布関数の分布族とし、\thetaがある密度関数g(\theta)を持つとすれば


\begin{aligned}
F(x)=\displaystyle{\int_{-\infty}^{\infty}F(x,\theta)g(\theta) d\theta}
\end{aligned}

は無限個の分布の連続的な混合を表す。

2.7 独立性

 確率空間(\Omega,\mathcal{F},P)を取り、j\in\mathbb{N}に対してX_jをその上で定義されたd_j次元確率ベクトルとする。


定義2.6 独立性 任意のn\in\mathbb{N},B_i\in B_{d_i},i=1,\cdots ,nに対して

\begin{aligned}
P\{X_1\in B_1,\cdots ,X_n\in B_n\}=\displaystyle{\prod_{i=1}^{n}P[X_i\in B_i]} 
\end{aligned}

となるとき、確率ベクトル族\{X_j\}_{i\in\mathbb{N}}は独立であるという。


定理2.4 期待値と独立性 X_jd_j次元確率ベクトルでX_1,\cdots,X_nが独立であるとする。可測関数f_j:\mathbb{R}^{d_j}\rightarrow\mathbb{R}に対してf_j(X_j)が可積分であれば、\displaystyle{\prod_{j=1}^{n}f_j(X_j)}も可積分であり

\begin{aligned}
E\left[\displaystyle{\prod_{j=1}^{n}f_j(X_j)}\right]=\displaystyle{\prod_{j=1}^{n}E[f_j(X_j)]} 
\end{aligned}
が成り立つ。逆に任意の有界な可測関数f_jに対して上式が成り立てば、X_1,\cdots ,X_nは独立である。

(\because 左辺について\boldsymbol{x}={}^{t}(x_1,\cdots ,x_n) , 確率ベクトルX_jの密度関数をg_j(\boldsymbol{x}_j)とおけばFubiniの定理を逐次的に用いることで


\begin{aligned}
E\left[\displaystyle{\prod_{j=1}^{n}f_j(X_j)}\right]=&\displaystyle{\int\cdots\int_{[-\infty,\infty]^n}\prod_{j=1}^{n}f_j(x_j)g(x)}dx\\
=&\displaystyle{\int\cdots\int_{[-\infty,\infty]^n}\prod_{j=1}^{n}f_j(x_j)g(x)}dx\\
=&\displaystyle{\int_{-\infty}^{\infty}\left(\cdots\left(\int_{-\infty}^{\infty}\prod_{j=1}^{n}f_j(x_1)g(x_1)dx_1\right)\cdots\right)}dx_n\\
=&\displaystyle{\int_{-\infty}^{\infty}\left(\cdots\left(E[f_1(X_1)]\int_{[-\infty,\infty]}\prod_{j=2}^{n}f_j(x_2)g(x_2)dx_2\right)\cdots\right)}dx_n\\
&\vdots\\
=&\displaystyle{\prod_{j=1}^{n}E[f_j(X_j)]}
\end{aligned}

 逆に可測集合\mathbb{R}^{d_j}に対して定義関数f_j(X_j)=\chi_{\mathbb{R}^{d_j}}(X_j)を用いれば


\begin{aligned}
E\left[\displaystyle{\prod_{j=1}^{n}f_j(X_j)}\right]&=E\left[\displaystyle{\prod_{j=1}^{n}\chi_{\mathbb{R}^{d_j}}(X_j)}\right]\\
&=\displaystyle{\prod_{j=1}^{n}E[X_j]}
\end{aligned}

となるから、任意の関数においてX_1,\cdots,X_nは独立である。 \blacksquare)
 また上記の定理を用いることで以下が成り立つ:


定理2.5 Kacの定理(特性関数と独立性) X_jd_j次元確率ベクトルとする。X_1,\cdots,X_nが独立である必要十分条件は、それらの特性関数を\varphi_{X_j}(\cdot)とおけば

\begin{aligned}
\varphi_{(X_1,\cdots,X_n)}(u_1,\cdots,u_n)=\displaystyle{\prod_{j=1}^{n}\varphi_{X_j}(u_j)},u_j\in\mathbb{R}^{d_j}
\end{aligned}

となることである。

(\because  X_1,\cdots,X_nの独立性を仮定すれば、上記命題より


\begin{aligned}
\varphi_{(X_1,\cdots,X_n)}(u_1,\cdots,u_n )=\displaystyle{\prod_{j=1}^{n}\varphi_{X_j}(u_j)}
\end{aligned}

が成り立つ。
 逆に


\begin{aligned}
\varphi_{(X_1,\cdots,X_n)}(u_1,\cdots,u_n )=\displaystyle{\prod_{j=1}^{n}\varphi_{X_j}(u_j)}
\end{aligned}

が成立するならば、X_jの分布P^{X_j}の直積像測度を\nuとすれば


\begin{aligned}
\varphi_{\nu}(u_1,\cdots,u_n )=\displaystyle{\prod_{j=1}^{n}\varphi_{X_j}(u_j)}
\end{aligned}

となるが、これは\varphi_{(X_1,\cdots,X_n)}(u_1,\cdots,u_n)に等しい。後に述べるように特性関数は分布を一意に定めるため、(X_1,\cdots,X_n)の分布は\nuであり、これは(X_1,\cdots,X_n)が独立であることを意味する。 \blacksquare)

 独立性の概念を拡張したものとして条件つき独立性の概念がある。3つの確率変数X,Y,Zに関してそれらの条件付き周辺密度関数について


\begin{aligned}
f_{X,Y|Z=z}(x,y)=f_{X|Z=z}(x)f_{Y|Z=z}(y)
\end{aligned}

が成り立つとき、Zが与えられたときにX,Yが条件つき独立であるという。

2.8 確率1で成り立つことの意味

 確率空間(\Omega,\mathcal{F},P)において根元事象\omega\in\Omegaに関する命題\mathcal{P}(\omega)


\begin{aligned}
P\{\omega\in\Omega|\mathcal{P}(\omega)が真である\}=1
\end{aligned}

を満たすとき、ほとんど確実に\mathcal{P}(\omega)が成り立つといい、


\begin{aligned}
\mathcal{P}(\omega)\ \ a.s.
\end{aligned}

と書く。これは\mathcal{P}(\omega)が偽になるような状況はあり得るものの、それが成立するような確率は0であるということを意味している。

2.9 確率空間の完備化

 確率空間(\Omega,\mathcal{F},P)において、P(A)=0となるような可測集合A\in\mathcal{F}が存在しN\subset AとなるようなN\subset\OmegaP-零集合という。これに対してすべてのP-零集合を\mathcal{F}が含むような確率空間(\Omega,\mathcal{F},P)を完備確率空間という。
 一般に確率空間(\Omega,\mathcal{F},P)が与えられたとき、P-零集合全体の集合族\mathcal{N}を用いて


\begin{aligned}
\mathcal{F}=\sigma(\mathcal{F}\cup\mathcal{N})
\end{aligned}

\mathcal{F}を拡大することで確率空間を完備化することができる。
 完備とは限らない一般の確率空間(\Omega,\mathcal{F},P)では、そこで定義された確率変数Xに対し、X=Y\ \ a.s.であるような写像Y:\Omega\rightarrow\mathbb{R}^{d}は確率変数になるとは限らない。しかし完備確率空間ではそれが保障されるのである。

  • 次回:

power-of-awareness.com

参考文献

  • Lehmann, E.L., Casella, George(1998), "Theory of Point Estimation, Second Edition", (Springer)
  • Lehmann, E.L., Romano, Joseph P.(2005), "Testing Statistical Hypotheses, Third Edition", (Springer)
  • Sturges, Herbert A.,(1926) "The Choice of a Class Interval", (Journal of the American Statistical Association, Vol. 21, No. 153 (Mar., 1926)), pp. 65-66
  • 上田拓治(2009)「44の例題で学ぶ統計的検定と推定の解き方」(オーム社)
  • 大田春外(2000)「はじめよう位相空間」(日本評論社)
  • 小西貞則(2010)「多変量解析入門――線形から非線形へ――」(岩波書店)
  • 小西貞則,北川源四郎(2004)「シリーズ予測と発見の科学2 情報量基準」(朝倉書店)
  • 小西貞則,越智義道,大森裕浩(2008)「シリーズ予測と発見の科学5 計算統計学の方法」(朝倉書店)
  • 佐和隆光(1979)「統計ライブラリー 回帰分析」(朝倉書店)
  • 清水泰隆(2019)「統計学への確率論,その先へ ―ゼロからの速度論的理解と漸近理論への架け橋」(内田老鶴圃)
  • 鈴木 武, 山田 作太郎(1996)「数理統計学 基礎から学ぶデータ解析」(内田老鶴圃)
  • 竹内啓・編代表(1989)「統計学辞典」(東洋経済新報社)
  • 竹村彰通(1991)「現代数理統計学」(創文社)
  • 竹村彰通(2020)「新装改訂版 現代数理統計学」(学術図書出版社)
  • 東京大学教養学部統計学教室編(1991)「基礎統計学Ⅰ 基礎統計学」(東京大学出版会)
  • 東京大学教養学部統計学教室編(1994)「基礎統計学Ⅱ 人文・社会科学の統計学」(東京大学出版会)
  • 東京大学教養学部統計学教室編(1992)「基礎統計学Ⅲ 自然科学の統計学」(東京大学出版会)
  • 豊田秀樹(2020)「瀕死の統計学を救え! ―有意性検定から「仮説が正しい確率」へ―」(朝倉書店)
  • 永田靖(2003)「サンプルサイズの決め方」(朝倉書店)
  • 柳川堯(2018)「P値 その正しい理解と適用」(近代科学社)

*1:3を加えるか否かは流儀によるが、本質的な意味は変わらない。

プライバシーポリシー お問い合わせ