本気で学ぶ統計学(04/31) - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学を真剣に学ぶ人のために、個人的にまとめているノートを公開する。
　底本として

新装改訂版現代数理統計学

作者:彰通, 竹村
学術図書出版社

Amazon

を用いる。

前回

power-of-awareness.com

前回
2.　統計学のための確率論
次回
参考文献

2.　統計学のための確率論

2.6　その他の代表量：特性関数

2.6.1　歪度

　確率変数 $X$ が従う分布の $r$ 次中心モーメントを $\mu_r$ とする。基準化された $3$ 次モーメント

$\begin{aligned} \sqrt{\beta_1}:=\displaystyle{\frac{\mu_3}{\mu_2^{3/2}}}=\displaystyle{\frac{\kappa_3}{\kappa_2^{3/2}}} \end{aligned}$

を歪度と呼ぶ。 $\sqrt{\beta_1}=0$ ならば分布は対称である。 $\sqrt{\beta_1}\gt0$ のとき分布が右に裾を引くといい、 $\sqrt{\beta_1}\lt0$ のときは分布が左に裾を引くという。

2.6.2　尖度

　基準化された $4$ 次モーメントを用いて

$\begin{aligned} \beta_2:=\displaystyle{\frac{\mu_4}{\mu_2^2}}=\displaystyle{\frac{\kappa_4}{\kappa_2^2}}+3 \end{aligned}$

を尖度という*1 。尖度は分布の中心での尖り具合や裾の重さを表す指標である。

　歪度と尖度の間には常に

$\begin{aligned} \beta_2\geq(\sqrt{\beta_1})^2+1 \end{aligned}$

が常に成り立つ。
( $\because$ 　 $\mu=E[X]$ とおくとき、任意の実数 $x,y,z\in\mathbb{R}$ に対して

$\begin{aligned} E[\{x+y(X-\mu)+z(X-\mu)^2\}^2]\geq0 \end{aligned}$

であるが、

$\begin{aligned} \boldsymbol{y}=\begin{bmatrix}x\\y\\z\end{bmatrix},A=\begin{bmatrix}1&0&\mu_2\\0&\mu_2&\mu_3\\\mu_2&\mu_3&\mu_4\end{bmatrix} \end{aligned}$

とおけば、それは

$\begin{aligned} {}^t\boldsymbol{y}A\boldsymbol{y}\geq0 \end{aligned}$

と同値であり、 $A$ は正定値対称行列である。したがって

$\begin{aligned} \det⁡(A)=\mu_2\mu_4-{\mu_2}^3-{\mu_3}^2\geq0 \end{aligned}$

を得る。両辺を $\mu_3^2$ で割ることで

$\begin{aligned} \beta_2\geq \sqrt{\beta_1}^2+1 \end{aligned}$

となる。　 $\blacksquare$ ）

2.6.3　Steinの等式

Steinの等式　 $X\sim N(\mu,\sigma^2)$ で、関数 $g(\cdot)$ が微分可能かつ $E[|g^{\prime}(X)|]\lt\infty$ ならば

$\begin{aligned} E[(X-\mu)g(X)]=\sigma^2 E[g^{\prime}(X)] \end{aligned}$

が成り立つ。

( $\because$ 　定義通りに計算すると

$\begin{aligned} E[(X-\mu)g(X)]=&\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}}\displaystyle{\int_{-\infty}^{\infty}(x-\mu)g(x)\exp\left\{-\displaystyle{\frac{(x-\mu)^2}{2\sigma^2}}\right\}}dx\\ =&-\displaystyle{\frac{\sigma^2}{\sqrt{2\pi\sigma^2}}}\displaystyle{\int_{-\infty}^{\infty}g(x)}\left[\left\{-\displaystyle{\frac{(x-\mu)^2}{2\sigma^2}}\right\}^{\prime}\exp{\left\{-\displaystyle{\frac{(x-\mu)^2}{2\sigma^2}}\right\}}\right]dx\\ =&-\displaystyle{\frac{\sigma^2}{\sqrt{2\pi\sigma^2}}}\left[\left[g(x)\exp⁡\left\{-\displaystyle{\frac{(x-\mu)^2}{2\sigma^2}}\right\}\right]_{-\infty}^{\infty}-\displaystyle{\int_{-\infty}^{\infty}g^{\prime}(x)}\exp\left\{-\displaystyle{\frac{(x-\mu)^2}{2\sigma^2}}\right\}dx\right]\\ =&\sigma^2\displaystyle{\int_{-\infty}^{\infty}g^{\prime}(x)\frac{1}{\sqrt{2\pi\sigma^2}}}\exp⁡\left\{-\displaystyle{\frac{(x-\mu)^2}{2\sigma^2}}\right\}dx\\ =&\sigma^2 E[g^{\prime}(X)]\ \ \ \ \blacksquare) \end{aligned}$

これはモーメントの計算に有用である。実数 $m$ に対して $E[X^m]$ を求めたいとする。このとき

$\begin{aligned} E[X^m]=E[(X-\mu)X^{m-1}]+\mu E[X^{m-1}]+\cdots \end{aligned}$

に対してSteinの等式を適用すると

$\begin{aligned} E[X^m]=(m-1)\sigma^2 E[(X-\mu) X^{m-2}]+\mu E[X^{m-1}]=\cdots \end{aligned}$

と次数を下げていくことができる。

2.6.4　混合

　異なる分布を組み合わせて新しい分布を生成する方法として混合がある。 $F_1,F_2$ を異なる累積分布関数とし、 $0\leq p\leq1$ を取り

$\begin{aligned} F(x)=p F_1 (x)+(1-p) F_2 (x) \end{aligned}$

とすればこれもまた累積分布関数となる。より一般に $\{F(x,\theta)\}$ を母数 $\theta$ を持つ累積分布関数の分布族とし、 $\theta$ がある密度関数 $g(\theta)$ を持つとすれば

$\begin{aligned} F(x)=\displaystyle{\int_{-\infty}^{\infty}F(x,\theta)g(\theta) d\theta} \end{aligned}$

は無限個の分布の連続的な混合を表す。

2.7　独立性

　確率空間 $(\Omega,\mathcal{F},P)$ を取り、 $j\in\mathbb{N}$ に対して $X_j$ をその上で定義された $d_j$ 次元確率ベクトルとする。

定義2.6　独立性　任意の $n\in\mathbb{N},B_i\in B_{d_i},i=1,\cdots ,n$ に対して

$\begin{aligned} P\{X_1\in B_1,\cdots ,X_n\in B_n\}=\displaystyle{\prod_{i=1}^{n}P[X_i\in B_i]} \end{aligned}$

となるとき、確率ベクトル族 $\{X_j\}_{i\in\mathbb{N}}$ は独立であるという。

定理2.4　期待値と独立性　 $X_j$ を $d_j$ 次元確率ベクトルで $X_1,\cdots,X_n$ が独立であるとする。可測関数 $f_j:\mathbb{R}^{d_j}\rightarrow\mathbb{R}$ に対して $f_j(X_j)$ が可積分であれば、 $\displaystyle{\prod_{j=1}^{n}f_j(X_j)}$ も可積分であり

$\begin{aligned} E\left[\displaystyle{\prod_{j=1}^{n}f_j(X_j)}\right]=\displaystyle{\prod_{j=1}^{n}E[f_j(X_j)]} \end{aligned}$

が成り立つ。逆に任意の有界な可測関数 $f_j$ に対して上式が成り立てば、 $X_1,\cdots ,X_n$ は独立である。

( $\because$ 　左辺について $\boldsymbol{x}={}^{t}(x_1,\cdots ,x_n)$ , 確率ベクトル $X_j$ の密度関数を $g_j(\boldsymbol{x}_j)$ とおけばFubiniの定理を逐次的に用いることで

$\begin{aligned} E\left[\displaystyle{\prod_{j=1}^{n}f_j(X_j)}\right]=&\displaystyle{\int\cdots\int_{[-\infty,\infty]^n}\prod_{j=1}^{n}f_j(x_j)g(x)}dx\\ =&\displaystyle{\int\cdots\int_{[-\infty,\infty]^n}\prod_{j=1}^{n}f_j(x_j)g(x)}dx\\ =&\displaystyle{\int_{-\infty}^{\infty}\left(\cdots\left(\int_{-\infty}^{\infty}\prod_{j=1}^{n}f_j(x_1)g(x_1)dx_1\right)\cdots\right)}dx_n\\ =&\displaystyle{\int_{-\infty}^{\infty}\left(\cdots\left(E[f_1(X_1)]\int_{[-\infty,\infty]}\prod_{j=2}^{n}f_j(x_2)g(x_2)dx_2\right)\cdots\right)}dx_n\\ &\vdots\\ =&\displaystyle{\prod_{j=1}^{n}E[f_j(X_j)]} \end{aligned}$

　逆に可測集合 $\mathbb{R}^{d_j}$ に対して定義関数 $f_j(X_j)=\chi_{\mathbb{R}^{d_j}}(X_j)$ を用いれば

$\begin{aligned} E\left[\displaystyle{\prod_{j=1}^{n}f_j(X_j)}\right]&=E\left[\displaystyle{\prod_{j=1}^{n}\chi_{\mathbb{R}^{d_j}}(X_j)}\right]\\ &=\displaystyle{\prod_{j=1}^{n}E[X_j]} \end{aligned}$

となるから、任意の関数において $X_1,\cdots,X_n$ は独立である。　 $\blacksquare$ )
　また上記の定理を用いることで以下が成り立つ：

定理2.5　Kacの定理（特性関数と独立性）　 $X_j$ を $d_j$ 次元確率ベクトルとする。 $X_1,\cdots,X_n$ が独立である必要十分条件は、それらの特性関数を $\varphi_{X_j}(\cdot)$ とおけば

$\begin{aligned} \varphi_{(X_1,\cdots,X_n)}(u_1,\cdots,u_n)=\displaystyle{\prod_{j=1}^{n}\varphi_{X_j}(u_j)},u_j\in\mathbb{R}^{d_j} \end{aligned}$

となることである。

( $\because$ 　 $X_1,\cdots,X_n$ の独立性を仮定すれば、上記命題より

$\begin{aligned} \varphi_{(X_1,\cdots,X_n)}(u_1,\cdots,u_n )=\displaystyle{\prod_{j=1}^{n}\varphi_{X_j}(u_j)} \end{aligned}$

が成り立つ。
　逆に

$\begin{aligned} \varphi_{(X_1,\cdots,X_n)}(u_1,\cdots,u_n )=\displaystyle{\prod_{j=1}^{n}\varphi_{X_j}(u_j)} \end{aligned}$

が成立するならば、 $X_j$ の分布 $P^{X_j}$ の直積像測度を $\nu$ とすれば

$\begin{aligned} \varphi_{\nu}(u_1,\cdots,u_n )=\displaystyle{\prod_{j=1}^{n}\varphi_{X_j}(u_j)} \end{aligned}$

となるが、これは $\varphi_{(X_1,\cdots,X_n)}(u_1,\cdots,u_n)$ に等しい。後に述べるように特性関数は分布を一意に定めるため、 $(X_1,\cdots,X_n)$ の分布は $\nu$ であり、これは $(X_1,\cdots,X_n)$ が独立であることを意味する。　 $\blacksquare$ )

　独立性の概念を拡張したものとして条件つき独立性の概念がある。3つの確率変数 $X,Y,Z$ に関してそれらの条件付き周辺密度関数について

$\begin{aligned} f_{X,Y|Z=z}(x,y)=f_{X|Z=z}(x)f_{Y|Z=z}(y) \end{aligned}$

が成り立つとき、 $Z$ が与えられたときに $X,Y$ が条件つき独立であるという。

2.8　確率1で成り立つことの意味

　確率空間 $(\Omega,\mathcal{F},P)$ において根元事象 $\omega\in\Omega$ に関する命題 $\mathcal{P}(\omega)$ が

$\begin{aligned} P\{\omega\in\Omega|\mathcal{P}(\omega)が真である\}=1 \end{aligned}$

を満たすとき、ほとんど確実に $\mathcal{P}(\omega)$ が成り立つといい、

$\begin{aligned} \mathcal{P}(\omega)\ \ a.s. \end{aligned}$

と書く。これは $\mathcal{P}(\omega)$ が偽になるような状況はあり得るものの、それが成立するような確率は $0$ であるということを意味している。

2.9　確率空間の完備化

　確率空間 $(\Omega,\mathcal{F},P)$ において、 $P(A)=0$ となるような可測集合 $A\in\mathcal{F}$ が存在し $N\subset A$ となるような $N\subset\Omega$ を $P$ -零集合という。これに対してすべての $P$ -零集合を $\mathcal{F}$ が含むような確率空間 $(\Omega,\mathcal{F},P)$ を完備確率空間という。
　一般に確率空間 $(\Omega,\mathcal{F},P)$ が与えられたとき、 $P$ -零集合全体の集合族 $\mathcal{N}$ を用いて

$\begin{aligned} \mathcal{F}=\sigma(\mathcal{F}\cup\mathcal{N}) \end{aligned}$

と $\mathcal{F}$ を拡大することで確率空間を完備化することができる。
　完備とは限らない一般の確率空間 $(\Omega,\mathcal{F},P)$ では、そこで定義された確率変数 $X$ に対し、 $X=Y\ \ a.s.$ であるような写像 $Y:\Omega\rightarrow\mathbb{R}^{d}$ は確率変数になるとは限らない。しかし完備確率空間ではそれが保障されるのである。

次回

power-of-awareness.com

参考文献

Lehmann, E.L., Casella, George(1998), "Theory of Point Estimation, Second Edition", (Springer)
Lehmann, E.L., Romano, Joseph P.(2005), "Testing Statistical Hypotheses, Third Edition", (Springer)
Sturges, Herbert A.,(1926) "The Choice of a Class Interval", (Journal of the American Statistical Association, Vol. 21, No. 153 (Mar., 1926)), pp. 65-66
上田拓治（2009）「44の例題で学ぶ統計的検定と推定の解き方」(オーム社)
大田春外（2000）「はじめよう位相空間」(日本評論社)
小西貞則（2010）「多変量解析入門――線形から非線形へ――」(岩波書店)
小西貞則,北川源四郎（2004）「シリーズ予測と発見の科学2　情報量基準」(朝倉書店)
小西貞則,越智義道,大森裕浩（2008）「シリーズ予測と発見の科学5　計算統計学の方法」(朝倉書店)
佐和隆光（1979）「統計ライブラリー　回帰分析」(朝倉書店)
清水泰隆（2019）「統計学への確率論,その先へ　―ゼロからの速度論的理解と漸近理論への架け橋」(内田老鶴圃)
鈴木武, 山田作太郎（1996）「数理統計学　基礎から学ぶデータ解析」(内田老鶴圃)
竹内啓・編代表（1989）「統計学辞典」(東洋経済新報社)
竹村彰通（1991）「現代数理統計学」(創文社)
竹村彰通（2020）「新装改訂版　現代数理統計学」(学術図書出版社)
東京大学教養学部統計学教室編（1991）「基礎統計学Ⅰ　基礎統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1994）「基礎統計学Ⅱ　人文・社会科学の統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1992）「基礎統計学Ⅲ　自然科学の統計学」(東京大学出版会)
豊田秀樹（2020）「瀕死の統計学を救え！ ―有意性検定から「仮説が正しい確率」へ―」(朝倉書店)
永田靖（2003）「サンプルサイズの決め方」(朝倉書店)
柳川堯（2018）「Ｐ値　その正しい理解と適用」(近代科学社)

*1:3を加えるか否かは流儀によるが、本質的な意味は変わらない。

前回

2. 統計学のための確率論

2.6 その他の代表量：特性関数

2.6.1 歪度

2.6.2 尖度

2.6.3 Steinの等式

2.6.4 混合

2.7 独立性

2.8 確率1で成り立つことの意味

2.9 確率空間の完備化

次回