統計検定　準1級メモ① - 「大人の教養・知識・気付き」を伸ばすブログ

　久々に統計学を勉強したく、統計検定の受験を検討中。。そこで、

日本統計学会公式認定統計検定準1級対応統計学実践ワークブック

学術図書出版社

Amazon

を勉強します。この本は、その主旨から記述が淡泊なので、行間を埋めていきながら勉強します。
　今回は、第3章から4章まで（第1～2章は特筆するものがなかったので省略）。

3章　分布の特性値

特性値の性質

確率変数 $X,Y$ および実数 $a,b$ について、
$\begin{aligned}E[aX+bY+c]=aE[X]+bE[Y]+c\end{aligned}$
独立な確率変数 $X,Y$ について、
$\begin{aligned}E[XY]=E[X]E[Y]\end{aligned}$
確率変数 $X$ および実数 $a$ について、 $V[aX]=a^2 V[X]$
確率変数 $X,Y$ について、 $V[X\pm Y]=V[X]\pm 2\mathrm{Cov}[X,Y]+V[Y]$

( $\because$ 　以降、簡単のために連続な確率変数についてのみ示す。
　まず、確率変数 $X,Y$ および $a,b,c\in\mathbb{R}$ について、それぞれの確率変数の確率密度関数を $f_X(x),$ $f_Y(y)$ 、これらの結合確率密度関数を $f_{X,Y}(x,y)$ として、

$\begin{aligned} E\left[aX+bY+c\right]&=\displaystyle{\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}(ax+by+c)f_{X,Y}(x,y)dxdy}\\ &=a\displaystyle{\int_{-\infty}^{\infty}\left(x \int_{-\infty}^{\infty}f_{X,Y}(x,y)dy\right)dx}+b\displaystyle{\int_{-\infty}^{\infty}y\left(\int_{-\infty}^{\infty}f_{X,Y}(x,y)dx\right)dy}+c\\ &=a\displaystyle{\int_{-\infty}^{\infty}x \int_{-\infty}^{\infty}f_{X}(x)dx}+b\displaystyle{\int_{-\infty}^{\infty}yf_{Y}(y)dy}+c\\ &=a E[X]+b E[Y]+c \end{aligned}$

を得る。
　次に、 $X,Y$ が独立だと仮定する。このとき、2つの確率変数の積 $XY$ の確率分布関数を $f_{XY}(z)$ とおくと、仮定から

$\begin{aligned} f_{XY}(z)=f_X (x) f_Y (y) \end{aligned}$

が成り立つ。したがって、

$\begin{aligned} E[XY]&=\displaystyle{\int_{-\infty}^{\infty}zf_{XY}(z)}dz\\ &=\displaystyle{\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}xyf_X(x)f_Y(y)dxdy}\\ &=\left(\displaystyle{\int_{-\infty}^{\infty}xf_X(x)dx}\right)\left(\displaystyle{\int_{-\infty}^{\infty}yf_Y(y)dy}\right)\\ &=E[X]E[Y] \end{aligned}$

である。
　また、確率変数 $X$ および実数 $a$ について、定義から、

$\begin{aligned} V\left[aX\right]&=E\left[(aX-E\left[aX\right])^2 \right]\\ &=E\left[(aX-a⋅E\left[X\right])^2 \right]\\ &=a^2 E\left[(X-E\left[X\right])^2 \right]\\ &=a^2 V\left[X\right] \end{aligned}$

が成り立つ。

　さらに、以降すべて複号同順として、

$\begin{aligned} V\left[X\pm Y\right]&=E\left[{(X\pm Y)-E\left[X\pm Y\right]}^2 \right]\\ &=E\left[(X\pm Y)^2-2(X\pm Y)E\left[X\pm Y\right]+(E\left[X\pm Y\right])^2 \right]\\ &=E\left[(X\pm Y)^2 \right]-2(E\left[X\pm Y\right])^2+(E\left[X\pm Y\right])^2\\ &=E\left[(X\pm Y)^2 \right]-(E\left[X\pm Y\right])^2\\ &=E\left[X^2\pm 2XY+Y^2 \right]-(E\left[X\right]\pm E\left[Y\right])^2\\ &=E\left[X^2 \right]\pm 2E\left[XY\right]+E\left[Y^2 \right]-({E\left[X\right]}^2\pm 2E\left[X\right]E\left[Y\right]+{E\left[Y\right]}^2 )\\ &=(E\left[X^2 \right]-{E\left[X\right]}^2 )\pm 2(E\left[XY\right]-E\left[X\right]E\left[Y\right])+(E\left[Y^2 \right]-{E\left[Y\right]}^2 )\\ &=V\left[X\right]\pm 2\mathrm{Cov}\left[X,Y\right]+V\left[Y\right] \end{aligned}$

が成り立つ。

　次に、確率変数 $X,Y$ の $Y$ を与えた下での $X$ の条件付き期待値 $E\left[X|Y\right]$ について、 $Y$ に関する期待値を表す期待値の演算子を $E_Y\left[⋅\right]$ として、

$\begin{aligned} E_Y \left[E\left[X|Y\right]\right]&=\displaystyle{\int_{-\infty}^{\infty}E\left[X|Y\right]dy}\\ &=\displaystyle{\int_{-\infty}^{\infty}\left(\int_{-\infty}^{\infty}xf_{X|Y}(x)dx\right)f_{Y}(y)dy}\\ &=\displaystyle{\int_{-\infty}^{\infty}\left(\int_{-\infty}^{\infty}x\frac{f_{X,Y} (x,y)}{f_{Y}(y)}dx\right)f_{Y}(y)dy}\\ &=\displaystyle{\int_{-\infty}^{\infty}\left(\int_{-\infty}^{\infty}xf_{X,Y} (x,y)dx\right))dy}\\ &=\displaystyle{\int_{-\infty}^{\infty}x\left(\int_{-\infty}^{\infty}f_{X,Y} (x,y)dy\right))dx}\\ &=\displaystyle{\int_{-\infty}^{\infty}xf_{X}(x)dx}\\ &=E\left[X\right] \end{aligned}$

が成立する。
　また

$\begin{aligned} V\left[X\right]=E\left[V\left[X|Y\right]\right]+V\left[E\left[X|Y\right]\right] \end{aligned}$

を示す。示すべき等式の右辺について、

$\begin{aligned} E\left[V\left[X|Y\right]\right]&=E\left[E\left[X^2 |Y\right]-(E\left[X|Y\right])^2 \right]\\ &=E\left[X^2 \right]-E\left[(E\left[X|Y\right])^2 \right]\\ V\left[E\left[X|Y\right]\right]&=E\left[(E\left[X|Y\right])^2 \right]-{E\left[E\left[X|Y\right]\right]}^2\\ &=E\left[(E\left[X|Y\right])^2 \right]-\left\{E\left[X\right]\right\}^2 \end{aligned}$

である。これらの等式を辺々足し合わせることで、

$\begin{aligned} E\left[V\left[X|Y\right]\right]+V\left[E\left[X|Y\right]\right]&=E\left[X^2\right]-E\left[(E\left[X|Y\right])^2\right]+E\left[(E\left[X|Y\right])^2 \right]-\left\{E\left[X\right]\right\}^2\\ &=E\left[X^2 \right]-\left\{E\left[X\right]\right\}^2\\ &=V\left[X\right] \end{aligned}$

が得られる。)

4章　変数変換

　確率変数 $X$ の確率密度関数 $f(x)$ とする。このとき、 $g(\cdot)$ を1対1の関数として確率変数 $Y=g(X)$ の確率密度関数を考える。まず分布関数を考えると、

$\begin{aligned} F_{g(X)}(y)=P(\left\{g(X)\leq y\right\})=P(\left\{X\leq g^{-1}(y)\right\})=F_{X}\left(g^{-1}(y)\right) \end{aligned}$

である。この両辺を $x$ について微分することで、

$\begin{aligned} f_{g(X)}(y)&=\displaystyle{\frac{d}{dx}F_{X}\left(g^{-1}(y)\right)}\\ &=\displaystyle{\frac{dF_{X}\left(g^{-1}(y)\right)}{d\left(g^{-1}(y)\right)}}\left|\displaystyle{\frac{d\left(g^{-1}(x)\right)}{dx}}\right|\\ &=f_{X}(g^{-1}(y))\left|\displaystyle{\frac{d\left(g^{-1}(x)\right)}{dx}}\right| \end{aligned}$

である。ここで、 $z=g^{-1}(x)$ とおけば、 $x=g(z)$ であり、

$\begin{aligned} &\displaystyle{\frac{dx}{dz}}=\displaystyle{\frac{d}{dz}}g(z)=g^{\prime}(z)\\ \Leftrightarrow&\displaystyle{\frac{dz}{dx}}=\displaystyle{\frac{1}{g^{\prime}(z)}}\\ \Leftrightarrow&\displaystyle{\frac{d(g^{-1}(x))}{dx}}=\displaystyle{\frac{1}{g^{\prime}(g^{-1}(x) )}} \end{aligned}$

であるから、これを代入することで、

$\begin{aligned} f_{g(X)}(y)=f_{X}(g^{-1}(y))\left|\displaystyle{\frac{d(g^{-1}(x) )}{dx}}\right|=f_{X}(g^{-1}(y))\left|\displaystyle{\frac{1}{g^{\prime}(g^{-1}(y) )}}\right| \end{aligned}$

を得る。

4.1　例1を自分で解いてみる

例1標準正規分布に従う確率変数 $X$ に対し、確率変数 $X^2$ の確率密度関数を求めよ。

　確率変数 $X$ の確率密度関数を $f_{X}(x)、h(x)=x^2$ として確率変数 $Y=X^2=h(X)$ の確率密度関数を $g(y)$ とする。

$\begin{aligned} h^{\prime}(x)&=2x,\\ h^{-1}(x)&=\pm\displaystyle{\frac{1}{\sqrt{x}}} \end{aligned}$

である。 $h(x)$ は1対1ではないから、対称性より $X\gt0$ のみを考えて $2$ 倍すればよく、したがって、

$\begin{aligned} g(y)&=f_{X}\left(\displaystyle{\frac{1}{\sqrt{x}}}\right)\displaystyle{\frac{1}{2}}x\cdot2\\ &=\displaystyle{\frac{1}{x}f_{X}\left(\displaystyle{\frac{1}{\sqrt{x}}}\right)}\\ &=\displaystyle{\frac{1}{\sqrt{2\pi}y}\exp\left(-\frac{y}{2}\right)} \end{aligned}$

である。

　2つの独立な確率変数 $X,Y$ について、

$\begin{aligned} Z=aX+bY,W=Y,a,b\in\mathbb{R},a\neq0 \end{aligned}$

という変換を考え、 $(Z,W)$ の分布を考える。このとき、 $(X,Y)=\left(\displaystyle{\frac{Z-bW}{a}},W\right)$ であるから、ヤコビアン $J(X,Y)$ は、

$\begin{aligned} J(X,Y)&=\begin{vmatrix} a&b\\ 0&1 \end{vmatrix}\\ &=a \end{aligned}$

である。
　 $X,Y$ の確率密度関数をそれぞれ $f_{X}(x),f_{Y}(y)$ とすれば、独立性から、その結合密度関数 $f_{X,Y}(x,y)=f_{X}(x)f_{Y}(y)$ であることに注意すると、 $|J(X,Y)|dy=dw$ であるから、

$\begin{aligned} f_Z(z)&=\displaystyle{\int_{-\infty}^{\infty}f_{X,Y}(x,y)dy}\\ &=\displaystyle{\int_{-\infty}^{\infty}f_{X}(x)f_{Y}(y)dy}\\ &=\displaystyle{\int_{-\infty}^{\infty}f_{X}\left(\frac{z-bw}{a}\right)f_{Y}(w)\frac{1}{|J(X,Y)|}dw}\\ &=\displaystyle{\int_{-\infty}^{\infty}f_{X}\left(\frac{z-bw}{a}\right)\frac{f_{Y}(w)}{|a|}dw}\\ &=\displaystyle{\frac{1}{|a|}\int_{-\infty}^{\infty}f_{X}\left(\frac{z-bw}{a}\right)f_{Y}(w)dw} \end{aligned}$

を得る。

4.2　例題の解答

4.2.1　問4.1

　確率変数 $X\sim N(\mu,\sigma^2)$ に対し、 $Y=e^X$ を考える。

　以降で使うべく、 $X$ のモーメント母関数を $m_X(\theta)=E\left[e^\theta X \right]$ とおき、具体的に求める。

$\begin{aligned} m_X(\theta)&=E\left[e^{\theta X}\right]\\ &=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}\exp\left(\theta x\right)\exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}\right\}dx}\\ &=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}\exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}+\theta x\right\}dx}\\ &=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}\exp\left\{-\frac{x^2-2(\mu+\sigma^2\theta)x+\mu^2}{2\sigma^2}\right\}dx}\\ &=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}\exp\left\{-\frac{x^2-2(\mu+\sigma^2\theta)x+(\mu+\sigma^2 \theta )^2-(2\mu\sigma^2 \theta +\sigma^4 \theta ^2)}{2\sigma^2}\right\}dx}\\ &=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}\exp\left[-\frac{\{x-(\mu+\sigma^2 \theta )\}^2}{2\sigma^2}\right]\exp\left(\frac{2\mu\sigma^2\theta+\sigma^4\theta^2}{2\sigma^2}\right)dx}\\ &=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(\mu\theta+\frac{\sigma^2\theta^2}{2}\right)\int_{-\infty}^{\infty}\exp\left[-\frac{\{x-(\mu+\sigma^2\theta)\}^2}{2\sigma^2}\right]dx } \end{aligned}$

である。ここで、 $x=\sqrt{2\sigma^2}y+(\mu+\sigma^2 \theta )$ とおけば、 $x:-\infty\rightarrow \infty$ のとき $y:-\infty\rightarrow \infty$ であり、

$\begin{aligned} dx=\sqrt{2\sigma^2}dy \end{aligned}$

であるから、

$\begin{aligned} \displaystyle{\int_{-\infty}^{\infty}\exp\left[-\frac{\{x-(\mu+\sigma^2\theta)\}^2}{2\sigma^2}\right]dx}=\displaystyle{\frac{1}{\sqrt{2\sigma^2}}\int_{-\infty}^{\infty}e^{-y^2}dy} \end{aligned}$

である。
　このとき

$\begin{aligned} I=\int_{-\infty}^{\infty}e^{-y^2}dy \end{aligned}$

とおくと、

$\begin{aligned} I^2&=\left(\displaystyle{\int_{-\infty}^{\infty}e^{-x^2}dx}\right)\left(\displaystyle{\int_{-\infty}^{\infty}e^{-y^2}dy}\right)\\ &=\displaystyle{\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}e^{-(x^2+y^2)}dxdy} \end{aligned}$

であり、 $x=r\cos\theta,$ $y=r\sin\theta$ とおけば、 $x:-\infty\rightarrow \infty,$ $y:-\infty\rightarrow\infty$ に対し、 $r:0\rightarrow\infty,$ $\theta:0\rightarrow 2\pi$ である。さらに、ヤコビアン $J(X,Y)$ は

$\begin{aligned} J(X,Y)&=\begin{vmatrix} \displaystyle{\frac{\partial x}{\partial r}}&\displaystyle{\frac{\partial y}{\partial r}}\\ \displaystyle{\frac{\partial x}{\partial\theta}}&\displaystyle{\frac{\partial y}{\partial \theta}}\\ \end{vmatrix}\\ &=\begin{vmatrix} \cos\theta&\sin\theta\\ -r\sin\theta&r\cos\theta\\ \end{vmatrix}\\ &=r \end{aligned}$

を得る。したがって、任意の $y\in\mathbb{R}$ に対して $e^{-y^2}\gt0$ に注意すれば、

$\begin{aligned} &I^2=\displaystyle{\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}e^{-(x^2+y^2)}dxdy}=\displaystyle{\int_{0}^{2\pi}d\theta\int_{0}^{\infty}re^{-r^2}dr}=2\pi\left[-\displaystyle{\frac{1}{2}}e^{-r^2}\right]_{0}^{\infty}=\pi\\ \therefore&\ \ I=\sqrt{\pi} \end{aligned}$

である。
　以上をまとめることで、

$\begin{aligned} m_X(\theta)&=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}}\exp\left(\mu\theta+\frac{(\sigma^2\theta^2)}{2}\right)\sqrt{2\sigma^2}\sqrt{\pi}\\ &=\exp\left(\mu\theta+\displaystyle{\frac{\sigma^2\theta^2}{2}}\right) \end{aligned}$

である。

$\begin{aligned} E\left[Y\right]=E\left[e^X \right]=m_X(1)=\exp\left(\mu+\displaystyle{\frac{\sigma^2}{2}}\right) \end{aligned}$

(2) $E\left[Y^2\right]=E\left[e^2X\right]=m_X(2)$ であるから、

$\begin{aligned} V\left[Y\right]&=E\left[Y^2\right]-{E\left[Y\right]}^2\\ &=m_X(2)-\left(m_X(1)\right)^2\\ &=\exp\left(2\mu+2\sigma^2\right)-\exp\left(2\mu+\sigma^2\right)\\ &=\exp\left(2\mu+\sigma^2\right)\left(e^{\sigma^2}-1\right) \end{aligned}$

このとき、 $\left(e^x\right)^{\prime}=e^x,x=\log{y}$ であるから、

$\begin{aligned} f_{X}(x)=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}}\exp\left\{-\displaystyle{\frac{(x-\mu)^2}{2\sigma^2}}\right\} \end{aligned}$

として、

$\begin{aligned} f_{Y}(y)&=f_{X}\left(\log{y}\right)\cdot\displaystyle{\frac{1}{e^{\log{y}}}}\\ &=\displaystyle{\frac{1}{y\sqrt{2\pi\sigma^2}}}\exp\left\{-\frac{(\log{y}-\mu)^2}{2\sigma^2}\right\} \end{aligned}$

　 $Y=\exp(X)$ を $X$ で微分することで $\exp(X)$ を得る。したがって

$\begin{aligned} \displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[\frac{(x-\mu)^2}{2\sigma^2}\right]\exp(-x)} \end{aligned}$

において $x=\log y$ と置き換えることで、

$\begin{aligned} \displaystyle{\frac{1}{y\sqrt{2\pi\sigma^2}}\exp\left[\frac{(\log y-\mu)^2}{2\sigma^2}\right]} \end{aligned}$

を得る。

4.2.2　問4.2

　独立な確率変数 $X,Y$ が指数分布

$\begin{aligned} f(x)=\lambda e^{-\lambda x} \end{aligned}$

に従うとする。このとき、 $X+Y$ の確率密度関数を考える。
　 $Z=X+W,W=Y$ とおくと、ヤコビアン $J(X,Y)$ は

$\begin{aligned} J(X,Y)&=\begin{vmatrix} \displaystyle{\frac{\partial z}{\partial x}}&\displaystyle{\frac{\partial z}{\partial y}}\\ \displaystyle{\frac{\partial w}{\partial x}}&\displaystyle{\frac{\partial w}{\partial y}}\\ \end{vmatrix}\\ &=\begin{vmatrix} \displaystyle{\frac{\partial z}{\partial x}}&\displaystyle{\frac{\partial z}{\partial y}}\\ \displaystyle{\frac{\partial w}{\partial x}}&\displaystyle{\frac{\partial w}{\partial y}}\\ \end{vmatrix}\\ &=\begin{vmatrix} 1&1\\ 0&1 \end{vmatrix}\\ &=1 \end{aligned}$

である。 $X,Y$ ともに非負を取るから、 $Z$ が与えられると、 $W:0\rightarrow Z$ を取るから、

$\begin{aligned} f_Z (z)&=\displaystyle{\int_{0}^{z}f_{Z,W}(w)dw}\\ &=\displaystyle{\int_{0}^{z}f_Z(z-w)f_W (w)\frac{1}{|J(X,Y)|}dw}\\ &=\lambda^2\displaystyle{\int_{0}^{z}e^{-\lambda(z-w)}e^{-\lambda w}dw}\\ &=\lambda^2 e^{-\lambda z}\displaystyle{\int_{0}^{z}dw}\\ &=\lambda^2 ze^{-\lambda z} \end{aligned}$

である。

目次

3章 分布の特性値

4章 変数変換

4.1 例1を自分で解いてみる

4.2 例題の解答

4.2.1 問4.1

4.2.2 問4.2

3章　分布の特性値

4章　変数変換

4.1　例1を自分で解いてみる

4.2　例題の解答

4.2.1　問4.1

4.2.2　問4.2