本気で学ぶ統計学(13/31) - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学を真剣に学ぶ人のために、個人的にまとめているノートを公開する。
　底本として

新装改訂版現代数理統計学

作者:彰通, 竹村
学術図書出版社

Amazon

を用いる。

前回

power-of-awareness.com

前回
4.　多次元確率分布
次回
参考文献

4.　多次元確率分布

　複数の確率変数を組として見たとき、すなわちベクトルとして見たときにこの確率変数を成分に持つベクトルを確率ベクトルといい、確率ベクトルの分布を多次元確率分布という*1。今回は概要のみ述べる。

4.3　多次元正規分布

　確率ベクトル $\boldsymbol{X}={}^{t}(X_1,\cdots ,X_k) ,k\geq2$ の同時確率密度関数が

$\begin{aligned} f_{\boldsymbol{X}}(x_1,\cdots,x_k)=\displaystyle{\frac{1}{\sqrt{(2\pi)^{k}|\Sigma|}}\exp\left(-\displaystyle{\frac{{}^{t}(\boldsymbol{x}-\boldsymbol{\mu})\Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu}))}{2}}\right)} \end{aligned}$

と書けるとき、 $\boldsymbol{X}$ は $k$ 次元正規分布に従うといい、 $\boldsymbol{X}\sim\mathbb{N}_k\left(\boldsymbol{\mu},\Sigma\right)$ と書く*2。ここで

$\begin{aligned} \boldsymbol{x}={}^{t}(x_1,\cdots,x_k),\boldsymbol{\mu}={}^{t}(E[X_1],\cdots ,E[X_k]) ,\Sigma=(\mathrm{Cov}[X_i,X_j])_{1\leq i\leq k,1\leq j\leq k} \end{aligned}$

である。
　多変量正規分布の積率母関数は一変量の場合と同様に計算することで

$\begin{aligned} \varphi(\boldsymbol{\theta})&=\mathbb{E}\left[e^{{}^{t}\boldsymbol{\theta}\boldsymbol{Y}}\right]=\displaystyle{\int\cdots\int_{[-\infty,\infty]^k}e^{{}^{t}\boldsymbol{\theta}\boldsymbol{Y}}f_{\boldsymbol{Y}}(y_1,\cdots,y_k)}dy_1\cdots dy_k\\ &=\displaystyle{\frac{1}{\sqrt{(2\pi)^{k}|\Sigma|}}\int\cdots\int_{[-\infty,\infty]^{k}}\exp\left(\displaystyle{\frac{{}^{t}\boldsymbol{\theta}\boldsymbol{y}-({}^{t}(\boldsymbol{y}-\boldsymbol{\mu})\Sigma^{-1}(\boldsymbol{y}-\boldsymbol{\mu}))}{2}}\right)}dy_1\cdots dy_k\\ &=\displaystyle{\frac{1}{\sqrt{(2\pi)^{k}|\Sigma|}}\int\cdots\int_{[-\infty,\infty]^{k}}\exp⁡\left[-\displaystyle{\frac{1}{2}}{{}^{t}(\boldsymbol{y}-\boldsymbol{\mu})\Sigma^{-1}(\boldsymbol{y}-\boldsymbol{\mu})-2{}^{t}\boldsymbol{\theta}\boldsymbol{y}}\right] }dy_1\cdots dy_k\\ &=\displaystyle{ \frac{1}{\sqrt{(2\pi)^{k}|\Sigma|}}\int\cdots\int_{[-\infty,\infty]^{k}}\exp\left[-\displaystyle{\frac{1}{2}}{{}^{t}\boldsymbol{y}\Sigma^{-1}\boldsymbol{y}-{}^{t}\boldsymbol{y} \Sigma^{-1} \boldsymbol{\mu}-{}^{t}\boldsymbol{\mu} \Sigma^{-1}\boldsymbol{y}+{}^{t}\boldsymbol{\mu} \Sigma^{-1} \boldsymbol{\mu}-2{}^{t}\boldsymbol{\theta}\boldsymbol{y}}\right]}dy_1\cdots dy_k\\ &=\displaystyle{\frac{1}{\sqrt{(2\pi)^{k}|\Sigma|}}\int\cdots\int_{[-\infty,\infty]^{k}}\exp\left[-\displaystyle{\frac{1}{2}}{{}^{t}\boldsymbol{y}\Sigma^{-1}\boldsymbol{y}-2\left({}^{t}\boldsymbol{\mu}\Sigma^{-1}-{}^{t}\boldsymbol{\theta}\right)\boldsymbol{y}+{}^{t}\boldsymbol{\mu}\Sigma^{-1}\boldsymbol{\mu}}\right]}dy_1\cdots dy_k\\ &=\displaystyle{\frac{1}{\sqrt{(2\pi)^{k}|\Sigma|}}\int\cdots\int_{[-\infty,\infty]^{k}}\exp\left[-\displaystyle{\frac{1}{2}}{{}^{t}(\Sigma^{-\frac{1}{2}}\boldsymbol{y}-\Sigma^{-\frac{1}{2}} \boldsymbol{\mu}-\Sigma^{\frac{1}{2}} \boldsymbol{\theta}) (\boldsymbol{y}-\Sigma^{-\frac{1}{2}} \boldsymbol{\mu}-\Sigma^{\frac{1}{2}} \boldsymbol{\theta})}+{}^{t}\boldsymbol{\mu}\boldsymbol{\theta}+\displaystyle{\frac{1}{2}}{}^{t}\boldsymbol{\theta}\Sigma\boldsymbol{\theta}\right]}dy_1\cdots dy_k\\ &=\displaystyle{\frac{1}{\sqrt{(2\pi)^{k}|\Sigma|}}\exp\left({}^{t}\boldsymbol{\theta}\boldsymbol{\mu}+\displaystyle{\frac{1}{2}}{}^{t}\boldsymbol{\theta}\Sigma\boldsymbol{\theta}\right)\int\cdots\int_{[-\infty,\infty]^k}\exp\left[-\displaystyle{\frac{1}{2}}{{}^{t}(\Sigma^{-\frac{1}{2}}\boldsymbol{y}-\Sigma^{-\frac{1}{2}} \boldsymbol{\mu}-\Sigma^{\frac{1}{2}} \boldsymbol{\theta}) (\boldsymbol{y}-\Sigma^{-\frac{1}{2}} \boldsymbol{\mu}-\Sigma^{\frac{1}{2}} \boldsymbol{\theta})}\right]}dy_1\cdots dy_k\\ &=\displaystyle{\frac{1}{\sqrt{(2\pi)^{k}|\Sigma|}}\exp\left({}^{t}\boldsymbol{\theta}\boldsymbol{\mu}+\displaystyle{\frac{1}{2}}{}^{t}\boldsymbol{\theta}\Sigma\boldsymbol{\theta}\right)\sqrt{(2\pi)^{k}|\Sigma|}}\\ &=\exp\left({}^{t}\boldsymbol{\theta}\boldsymbol{\mu}+\displaystyle{\frac{1}{2}}{}^{t}\boldsymbol{\theta}\Sigma\boldsymbol{\theta}\right) \end{aligned}$

が得られる。
　多変量正規分布の周辺分布は多変量正規分布である。 $\boldsymbol{Y}\sim \mathbb{N}_k(\boldsymbol{\mu},\Sigma)$ とし、 $\boldsymbol{Y}={}^{t}(\boldsymbol{Y}_1,\boldsymbol{Y}_2)$ と分割し $\boldsymbol{Y}_1={}^{t}(Y_1,\cdots,Y_h)$ の周辺分布を考える。この $\boldsymbol{Y}$ の分割に応じて

$\begin{aligned} \boldsymbol{\mu}=\begin{bmatrix}\boldsymbol{\mu}_1\\\boldsymbol{\mu}_2\end{bmatrix},\Sigma=\begin{bmatrix}\Sigma_11&\Sigma_12\\\Sigma_21&\Sigma_22\end{bmatrix} \end{aligned}$

を得る。

4.4　2次元正規分布

　多次元正規分布の具体例ではあるものの、その有用性から2次元の場合を取り扱うこととする。確率ベクトル $\boldsymbol{X}=(X,Y)$ の同時確率密度関数が

$\begin{aligned} f_X(x,y)&=\boldsymbol{\frac{1}{2\sqrt{\pi(1-\rho_{XY}^2){\sigma_X}^2{\sigma_Y}^2}}}\exp\left(-\displaystyle{\frac{D^2}{2}}\right),\\ D^2&:=\displaystyle{\frac{1}{1-\rho_{XY}^2}}\left\{\displaystyle{\frac{(\boldsymbol{x}-\boldsymbol{\mu}_X)^2}{\sigma_X^2}}-2\rho_{XY}\displaystyle{\frac{{}^{t}(\boldsymbol{x}-\boldsymbol{\mu}_X)(\boldsymbol{y}-\boldsymbol{\mu}_Y)}{\sigma_X\sigma_Y}}+\displaystyle{\frac{\boldsymbol{y}-\boldsymbol{\mu}_Y)^2}{\sigma_Y^2}}\right\} \end{aligned}$

と書けるとき、 $\boldsymbol{X}$ は2次元正規分布に従うといい、 $\boldsymbol{X}\sim\mathbb{N}_2(\boldsymbol{\mu},\Sigma)$ と書く。ここで

$\begin{aligned} \left|\mu_X\right|\lt\infty,|\mu_Y|\lt\infty,\sigma_X\gt0,\sigma_Y\gt0,\rho_{XY}=\displaystyle{\frac{\mathrm{Cov}[X,Y]}{\sigma_X\sigma_Y}} \end{aligned}$

である。
　 $\boldsymbol{Z}={}^{t}(X,Y)$ として

$\begin{aligned} \rho_{XY}=0\Leftrightarrow f_{\boldsymbol{Z}}(x,y)=f_X (x) f_Y(y) \end{aligned}$

が成り立つ。
( $\because\ \ \rho_{XY}=0$ と仮定すると

$\begin{aligned} f_{X}(x,y)&=\displaystyle{\frac{1}{2\pi\sqrt{\sigma_{X}^2\sigma_{Y}^2}}}\exp\left[-\displaystyle{\frac{1}{2}}\left\{\displaystyle{\frac{(x-\mu_X)^2}{\sigma_X^2}}+\displaystyle{\frac{(y-\mu_Y)^2}{\sigma_Y^2}}\right\}\right]\\ &=\displaystyle{\frac{1}{\sqrt{2\pi\sigma_X^2}}}\exp\left\{-\displaystyle{\frac{1}{2}\frac{(x-\mu_X)^2}{\sigma_X^2}}\right\}\displaystyle{\frac{1}{\sqrt{2\pi\sigma_Y^2}}}\exp\left\{-\displaystyle{\frac{1}{2}\frac{(x-\mu_Y)^2}{\sigma_Y^2}}\right\}\\ &=f_{X}(x)f_{Y}(y) \end{aligned}$

である。逆に $f_X (x,y)=f_X (x) f_Y (y)$ ならば

$\begin{aligned} \rho_{XY}&=\displaystyle{\frac{\mathrm{Cov}[X,Y]}{\sigma_X\sigma_Y}}\\ &=\displaystyle{\frac{1}{\sigma_X \sigma_Y}\iint_{[-\infty,\infty]^2}(x-E[X])(y-E[Y])f_{\boldsymbol{Z}}(x,y)}dxdy\\ &=\displaystyle{\frac{1}{\sigma_X\sigma_Y}\iint_{[-\infty,\infty]^2}(x-\mu_X)(y-\mu_Y)f_{X}(x)f_{Y}(y)}dxdy\\ &=\displaystyle{\frac{1}{\sigma_X\sigma_Y}}\left(\displaystyle{\int_{-\infty}^{\infty}(x-\mu_X)f_{X}(x)dx}\right)\left(\displaystyle{\int_{-\infty}^{\infty}(y-\mu_Y)f_{Y}(y)}dy\right)\\ &=\displaystyle{\frac{1}{\sigma_X\sigma_Y}(\mu_X-\mu_X)(\mu_Y-\mu_Y)}=0\ \ \blacksquare \end{aligned}$

4.5　多変量t分布

　確率ベクトル $\boldsymbol{X}={}^{t}(X_1,\cdots ,X_k ),k\geq2$ の同時確率密度関数が

$\begin{aligned} f_{\boldsymbol{X}} (x_1,\cdots ,x_k )=\displaystyle{\frac{1}{|\Sigma|^{\frac{1}{2}}}\frac{1}{\sqrt{\nu\pi}^{d}}\frac{\Gamma\left(\displaystyle{\frac{\nu+d}{2}}\right)}{\Gamma\left(\displaystyle{\frac{\nu}{2}}\right)}}\left(1+\displaystyle{\frac{{}^{t}(\boldsymbol{x}-\boldsymbol{\mu})\Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu})}{\nu}}\right) \end{aligned}$

と書けるとき、 $\boldsymbol{X}$ は $\nu$ 次元多変量 $t$ 分布に従うといい、 $\boldsymbol{X}\sim t_{\nu}(\boldsymbol{\mu},\Sigma)$ と書く。 $t$ 分布を多変量に拡張したものと位置づけることができる。

4.6　Wishart分布

　確率ベクトル $\boldsymbol{X}={}^{t}(X_1,\cdots ,X_k ),k\geq2$ の同時確率密度関数が

$\begin{aligned} \displaystyle{\frac{1}{\displaystyle{2^{\frac{kp}{2}}\pi^{\frac{p(p-1)}{4}}}}\frac{1}{\displaystyle{\prod_{i=1}^{p}\Gamma\left(\displaystyle{\frac{k-i+1}{2}}\right)}}\frac{1}{|\Sigma|^{\frac{k}{2}}}}\left|\displaystyle{\sum_{i=1}^{k}{}^{t}\boldsymbol{x}_i \boldsymbol{x}_i}\right|^{\frac{n-p-1}{2}}\exp\left\{\displaystyle{\frac{1}{2}\mathrm{tr}\left(\Sigma\displaystyle{\sum_{i=1}^{k}{}^{t}\boldsymbol{x}_i \boldsymbol{x}_i}\right)}\right\} \end{aligned}$

と書けるとき、 $\boldsymbol{X}$ はWishart分布に従うといい、 $\boldsymbol{X}\sim W(\Sigma,p,k)$ と書く。カイ二乗分布を多変量に拡張したものと位置づけることができる。

次回

power-of-awareness.com

参考文献

Lehmann, E.L., Casella, George(1998), "Theory of Point Estimation, Second Edition", (Springer)
Lehmann, E.L., Romano, Joseph P.(2005), "Testing Statistical Hypotheses, Third Edition", (Springer)
Sturges, Herbert A.,(1926), "The Choice of a Class Interval", (Journal of the American Statistical Association, Vol. 21, No. 153 (Mar., 1926)), pp. 65-66
上田拓治（2009）「44の例題で学ぶ統計的検定と推定の解き方」(オーム社)
大田春外（2000）「はじめよう位相空間」(日本評論社)
小西貞則（2010）「多変量解析入門――線形から非線形へ――」(岩波書店)
小西貞則,北川源四郎（2004）「シリーズ予測と発見の科学2　情報量基準」(朝倉書店)
小西貞則,越智義道,大森裕浩（2008）「シリーズ予測と発見の科学5　計算統計学の方法」(朝倉書店)
佐和隆光（1979）「統計ライブラリー　回帰分析」(朝倉書店)
清水泰隆（2019）「統計学への確率論,その先へ　―ゼロからの速度論的理解と漸近理論への架け橋」(内田老鶴圃)
鈴木武, 山田作太郎（1996）「数理統計学　基礎から学ぶデータ解析」(内田老鶴圃)
竹内啓・編代表（1989）「統計学辞典」(東洋経済新報社)
竹村彰通（1991）「現代数理統計学」(創文社)
竹村彰通（2020）「新装改訂版　現代数理統計学」(学術図書出版社)
東京大学教養学部統計学教室編（1991）「基礎統計学Ⅰ　基礎統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1994）「基礎統計学Ⅱ　人文・社会科学の統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1992）「基礎統計学Ⅲ　自然科学の統計学」(東京大学出版会)
豊田秀樹（2020）「瀕死の統計学を救え！ ―有意性検定から「仮説が正しい確率」へ―」(朝倉書店)
永田靖（2003）「サンプルサイズの決め方」(朝倉書店)
柳川堯（2018）「Ｐ値　その正しい理解と適用」(近代科学社)

*1:以下、簡単のために連続の場合のみを考える。離散のときも同様に議論できる。

*2: $\sqrt{({}^{t}(\boldsymbol{x}- \boldsymbol{\mu})\Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu})}$ をマハラノビス距離といい、一種の「距離」を与える。

前回

4. 多次元確率分布

4.3 多次元正規分布

4.4 2次元正規分布

4.5 多変量t分布

4.6 Wishart分布

次回