「大人の教養・知識・気付き」を伸ばすブログ

一流の大人（ビジネスマン、政治家、リーダー…）として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。データ分析・語学に力点を置いています。　→現在、書くことのスケジューリングと書き溜め中です。気長にお待ちください(※2023年11月5日改訂)。

MENU

統計検定　準1級メモ①

数理統計学

　久々に統計学を勉強したく、統計検定の受験を検討中。。そこで、

日本統計学会公式認定 統計検定準1級対応 統計学実践ワークブック

日本統計学会公式認定 統計検定準1級対応 統計学実践ワークブック

  • 学術図書出版社
Amazon

を勉強します。この本は、その主旨から記述が淡泊なので、行間を埋めていきながら勉強します。
　今回は、第3章から4章まで（第1～2章は特筆するものがなかったので省略）。

目次

3章　分布の特性値


特性値の性質

  • 確率変数X,Yおよび実数a,bについて、
    \begin{aligned}E[aX+bY+c]=aE[X]+bE[Y]+c\end{aligned}
  • 独立な確率変数X,Yについて、
    \begin{aligned}E[XY]=E[X]E[Y]\end{aligned}
  • 確率変数Xおよび実数aについて、V[aX]=a^2 V[X]
  • 確率変数X,Yについて、V[X\pm Y]=V[X]\pm 2\mathrm{Cov}[X,Y]+V[Y]

(\because　以降、簡単のために連続な確率変数についてのみ示す。
　まず、確率変数X,Yおよびa,b,c\in\mathbb{R}について、それぞれの確率変数の確率密度関数をf_X(x),f_Y(y)、これらの結合確率密度関数をf_{X,Y}(x,y)として、
\begin{aligned} E\left[aX+bY+c\right]&=\displaystyle{\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}(ax+by+c)f_{X,Y}(x,y)dxdy}\\ &=a\displaystyle{\int_{-\infty}^{\infty}\left(x \int_{-\infty}^{\infty}f_{X,Y}(x,y)dy\right)dx}+b\displaystyle{\int_{-\infty}^{\infty}y\left(\int_{-\infty}^{\infty}f_{X,Y}(x,y)dx\right)dy}+c\\ &=a\displaystyle{\int_{-\infty}^{\infty}x \int_{-\infty}^{\infty}f_{X}(x)dx}+b\displaystyle{\int_{-\infty}^{\infty}yf_{Y}(y)dy}+c\\ &=a E[X]+b E[Y]+c \end{aligned}

を得る。
　次に、X,Yが独立だと仮定する。このとき、2つの確率変数の積XYの確率分布関数をf_{XY}(z)とおくと、仮定から

\begin{aligned} f_{XY}(z)=f_X (x) f_Y (y) \end{aligned}

が成り立つ。したがって、

\begin{aligned} E[XY]&=\displaystyle{\int_{-\infty}^{\infty}zf_{XY}(z)}dz\\ &=\displaystyle{\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}xyf_X(x)f_Y(y)dxdy}\\ &=\left(\displaystyle{\int_{-\infty}^{\infty}xf_X(x)dx}\right)\left(\displaystyle{\int_{-\infty}^{\infty}yf_Y(y)dy}\right)\\ &=E[X]E[Y] \end{aligned}

である。
　また、確率変数Xおよび実数aについて、定義から、

\begin{aligned} V\left[aX\right]&=E\left[(aX-E\left[aX\right])^2 \right]\\ &=E\left[(aX-a⋅E\left[X\right])^2 \right]\\ &=a^2 E\left[(X-E\left[X\right])^2 \right]\\ &=a^2 V\left[X\right] \end{aligned}

が成り立つ。



　さらに、以降すべて複号同順として、


\begin{aligned} V\left[X\pm Y\right]&=E\left[{(X\pm Y)-E\left[X\pm Y\right]}^2 \right]\\ &=E\left[(X\pm Y)^2-2(X\pm Y)E\left[X\pm Y\right]+(E\left[X\pm Y\right])^2 \right]\\ &=E\left[(X\pm Y)^2 \right]-2(E\left[X\pm Y\right])^2+(E\left[X\pm Y\right])^2\\ &=E\left[(X\pm Y)^2 \right]-(E\left[X\pm Y\right])^2\\ &=E\left[X^2\pm 2XY+Y^2 \right]-(E\left[X\right]\pm E\left[Y\right])^2\\ &=E\left[X^2 \right]\pm 2E\left[XY\right]+E\left[Y^2 \right]-({E\left[X\right]}^2\pm 2E\left[X\right]E\left[Y\right]+{E\left[Y\right]}^2 )\\ &=(E\left[X^2 \right]-{E\left[X\right]}^2 )\pm 2(E\left[XY\right]-E\left[X\right]E\left[Y\right])+(E\left[Y^2 \right]-{E\left[Y\right]}^2 )\\ &=V\left[X\right]\pm 2\mathrm{Cov}\left[X,Y\right]+V\left[Y\right] \end{aligned}

が成り立つ。

　次に、確率変数X,YのYを与えた下でのXの条件付き期待値E\left[X|Y\right]について、Yに関する期待値を表す期待値の演算子をE_Y\left[⋅\right]として、


\begin{aligned} E_Y \left[E\left[X|Y\right]\right]&=\displaystyle{\int_{-\infty}^{\infty}E\left[X|Y\right]dy}\\ &=\displaystyle{\int_{-\infty}^{\infty}\left(\int_{-\infty}^{\infty}xf_{X|Y}(x)dx\right)f_{Y}(y)dy}\\ &=\displaystyle{\int_{-\infty}^{\infty}\left(\int_{-\infty}^{\infty}x\frac{f_{X,Y} (x,y)}{f_{Y}(y)}dx\right)f_{Y}(y)dy}\\ &=\displaystyle{\int_{-\infty}^{\infty}\left(\int_{-\infty}^{\infty}xf_{X,Y} (x,y)dx\right))dy}\\ &=\displaystyle{\int_{-\infty}^{\infty}x\left(\int_{-\infty}^{\infty}f_{X,Y} (x,y)dy\right))dx}\\ &=\displaystyle{\int_{-\infty}^{\infty}xf_{X}(x)dx}\\ &=E\left[X\right] \end{aligned}

が成立する。
　また

\begin{aligned} V\left[X\right]=E\left[V\left[X|Y\right]\right]+V\left[E\left[X|Y\right]\right] \end{aligned}

を示す。示すべき等式の右辺について、

\begin{aligned} E\left[V\left[X|Y\right]\right]&=E\left[E\left[X^2 |Y\right]-(E\left[X|Y\right])^2 \right]\\ &=E\left[X^2 \right]-E\left[(E\left[X|Y\right])^2 \right]\\ V\left[E\left[X|Y\right]\right]&=E\left[(E\left[X|Y\right])^2 \right]-{E\left[E\left[X|Y\right]\right]}^2\\ &=E\left[(E\left[X|Y\right])^2 \right]-\left\{E\left[X\right]\right\}^2 \end{aligned}

である。これらの等式を辺々足し合わせることで、

\begin{aligned} E\left[V\left[X|Y\right]\right]+V\left[E\left[X|Y\right]\right]&=E\left[X^2\right]-E\left[(E\left[X|Y\right])^2\right]+E\left[(E\left[X|Y\right])^2 \right]-\left\{E\left[X\right]\right\}^2\\ &=E\left[X^2 \right]-\left\{E\left[X\right]\right\}^2\\ &=V\left[X\right] \end{aligned}

が得られる。)

4章　変数変換

　確率変数Xの確率密度関数f(x)とする。このとき、g(\cdot)を1対1の関数として確率変数Y=g(X)の確率密度関数を考える。まず分布関数を考えると、

\begin{aligned} F_{g(X)}(y)=P(\left\{g(X)\leq y\right\})=P(\left\{X\leq g^{-1}(y)\right\})=F_{X}\left(g^{-1}(y)\right) \end{aligned}

である。この両辺をxについて微分することで、

\begin{aligned} f_{g(X)}(y)&=\displaystyle{\frac{d}{dx}F_{X}\left(g^{-1}(y)\right)}\\ &=\displaystyle{\frac{dF_{X}\left(g^{-1}(y)\right)}{d\left(g^{-1}(y)\right)}}\left|\displaystyle{\frac{d\left(g^{-1}(x)\right)}{dx}}\right|\\ &=f_{X}(g^{-1}(y))\left|\displaystyle{\frac{d\left(g^{-1}(x)\right)}{dx}}\right| \end{aligned}

である。ここで、z=g^{-1}(x)とおけば、x=g(z)であり、

\begin{aligned} &\displaystyle{\frac{dx}{dz}}=\displaystyle{\frac{d}{dz}}g(z)=g^{\prime}(z)\\ \Leftrightarrow&\displaystyle{\frac{dz}{dx}}=\displaystyle{\frac{1}{g^{\prime}(z)}}\\ \Leftrightarrow&\displaystyle{\frac{d(g^{-1}(x))}{dx}}=\displaystyle{\frac{1}{g^{\prime}(g^{-1}(x) )}} \end{aligned}

であるから、これを代入することで、

\begin{aligned} f_{g(X)}(y)=f_{X}(g^{-1}(y))\left|\displaystyle{\frac{d(g^{-1}(x) )}{dx}}\right|=f_{X}(g^{-1}(y))\left|\displaystyle{\frac{1}{g^{\prime}(g^{-1}(y) )}}\right| \end{aligned}

を得る。

4.1　例1を自分で解いてみる



例1標準正規分布に従う確率変数Xに対し、確率変数X^2の確率密度関数を求めよ。

　確率変数Xの確率密度関数をf_{X}(x)、h(x)=x^2として確率変数Y=X^2=h(X)の確率密度関数をg(y)とする。

\begin{aligned} h^{\prime}(x)&=2x,\\ h^{-1}(x)&=\pm\displaystyle{\frac{1}{\sqrt{x}}} \end{aligned}

である。h(x)は1対1ではないから、対称性よりX\gt0のみを考えて2倍すればよく、したがって、

\begin{aligned} g(y)&=f_{X}\left(\displaystyle{\frac{1}{\sqrt{x}}}\right)\displaystyle{\frac{1}{2}}x\cdot2\\ &=\displaystyle{\frac{1}{x}f_{X}\left(\displaystyle{\frac{1}{\sqrt{x}}}\right)}\\ &=\displaystyle{\frac{1}{\sqrt{2\pi}y}\exp\left(-\frac{y}{2}\right)} \end{aligned}

である。

　2つの独立な確率変数X,Yについて、

\begin{aligned} Z=aX+bY,W=Y,a,b\in\mathbb{R},a\neq0 \end{aligned}

という変換を考え、(Z,W)の分布を考える。このとき、(X,Y)=\left(\displaystyle{\frac{Z-bW}{a}},W\right)であるから、ヤコビアンJ(X,Y)は、


\begin{aligned} J(X,Y)&=\begin{vmatrix} a&b\\ 0&1 \end{vmatrix}\\ &=a \end{aligned}

である。
　X,Yの確率密度関数をそれぞれf_{X}(x),f_{Y}(y)とすれば、独立性から、その結合密度関数f_{X,Y}(x,y)=f_{X}(x)f_{Y}(y)であることに注意すると、|J(X,Y)|dy=dwであるから、

\begin{aligned} f_Z(z)&=\displaystyle{\int_{-\infty}^{\infty}f_{X,Y}(x,y)dy}\\ &=\displaystyle{\int_{-\infty}^{\infty}f_{X}(x)f_{Y}(y)dy}\\ &=\displaystyle{\int_{-\infty}^{\infty}f_{X}\left(\frac{z-bw}{a}\right)f_{Y}(w)\frac{1}{|J(X,Y)|}dw}\\ &=\displaystyle{\int_{-\infty}^{\infty}f_{X}\left(\frac{z-bw}{a}\right)\frac{f_{Y}(w)}{|a|}dw}\\ &=\displaystyle{\frac{1}{|a|}\int_{-\infty}^{\infty}f_{X}\left(\frac{z-bw}{a}\right)f_{Y}(w)dw} \end{aligned}

を得る。

4.2　例題の解答

4.2.1　問4.1

　確率変数X\sim N(\mu,\sigma^2)に対し、Y=e^Xを考える。

　以降で使うべく、Xのモーメント母関数をm_X(\theta)=E\left[e^\theta X \right]とおき、具体的に求める。

\begin{aligned} m_X(\theta)&=E\left[e^{\theta X}\right]\\ &=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}\exp\left(\theta x\right)\exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}\right\}dx}\\ &=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}\exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}+\theta x\right\}dx}\\ &=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}\exp\left\{-\frac{x^2-2(\mu+\sigma^2\theta)x+\mu^2}{2\sigma^2}\right\}dx}\\ &=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}\exp\left\{-\frac{x^2-2(\mu+\sigma^2\theta)x+(\mu+\sigma^2 \theta )^2-(2\mu\sigma^2 \theta +\sigma^4 \theta ^2)}{2\sigma^2}\right\}dx}\\ &=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}\exp\left[-\frac{\{x-(\mu+\sigma^2 \theta )\}^2}{2\sigma^2}\right]\exp\left(\frac{2\mu\sigma^2\theta+\sigma^4\theta^2}{2\sigma^2}\right)dx}\\ &=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(\mu\theta+\frac{\sigma^2\theta^2}{2}\right)\int_{-\infty}^{\infty}\exp\left[-\frac{\{x-(\mu+\sigma^2\theta)\}^2}{2\sigma^2}\right]dx } \end{aligned}

である。ここで、x=\sqrt{2\sigma^2}y+(\mu+\sigma^2 \theta )とおけば、x:-\infty\rightarrow \inftyのときy:-\infty\rightarrow \inftyであり、

\begin{aligned} dx=\sqrt{2\sigma^2}dy \end{aligned}

であるから、

\begin{aligned} \displaystyle{\int_{-\infty}^{\infty}\exp\left[-\frac{\{x-(\mu+\sigma^2\theta)\}^2}{2\sigma^2}\right]dx}=\displaystyle{\frac{1}{\sqrt{2\sigma^2}}\int_{-\infty}^{\infty}e^{-y^2}dy} \end{aligned}

である。
　このとき

\begin{aligned} I=\int_{-\infty}^{\infty}e^{-y^2}dy \end{aligned}

とおくと、

\begin{aligned} I^2&=\left(\displaystyle{\int_{-\infty}^{\infty}e^{-x^2}dx}\right)\left(\displaystyle{\int_{-\infty}^{\infty}e^{-y^2}dy}\right)\\ &=\displaystyle{\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}e^{-(x^2+y^2)}dxdy} \end{aligned}

であり、x=r\cos\theta,y=r\sin\thetaとおけば、x:-\infty\rightarrow \infty,y:-\infty\rightarrow\inftyに対し、r:0\rightarrow\infty,\theta:0\rightarrow 2\piである。さらに、ヤコビアンJ(X,Y)は

\begin{aligned} J(X,Y)&=\begin{vmatrix} \displaystyle{\frac{\partial x}{\partial r}}&\displaystyle{\frac{\partial y}{\partial r}}\\ \displaystyle{\frac{\partial x}{\partial\theta}}&\displaystyle{\frac{\partial y}{\partial \theta}}\\ \end{vmatrix}\\ &=\begin{vmatrix} \cos\theta&\sin\theta\\ -r\sin\theta&r\cos\theta\\ \end{vmatrix}\\ &=r \end{aligned}


を得る。したがって、任意のy\in\mathbb{R}に対してe^{-y^2}\gt0に注意すれば、


\begin{aligned} &I^2=\displaystyle{\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}e^{-(x^2+y^2)}dxdy}=\displaystyle{\int_{0}^{2\pi}d\theta\int_{0}^{\infty}re^{-r^2}dr}=2\pi\left[-\displaystyle{\frac{1}{2}}e^{-r^2}\right]_{0}^{\infty}=\pi\\ \therefore&\ \ I=\sqrt{\pi} \end{aligned}

である。
　以上をまとめることで、

\begin{aligned} m_X(\theta)&=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}}\exp\left(\mu\theta+\frac{(\sigma^2\theta^2)}{2}\right)\sqrt{2\sigma^2}\sqrt{\pi}\\ &=\exp\left(\mu\theta+\displaystyle{\frac{\sigma^2\theta^2}{2}}\right) \end{aligned}

である。

  • (1)

\begin{aligned} E\left[Y\right]=E\left[e^X \right]=m_X(1)=\exp\left(\mu+\displaystyle{\frac{\sigma^2}{2}}\right) \end{aligned}

  • (2) E\left[Y^2\right]=E\left[e^2X\right]=m_X(2)であるから、

\begin{aligned} V\left[Y\right]&=E\left[Y^2\right]-{E\left[Y\right]}^2\\ &=m_X(2)-\left(m_X(1)\right)^2\\ &=\exp\left(2\mu+2\sigma^2\right)-\exp\left(2\mu+\sigma^2\right)\\ &=\exp\left(2\mu+\sigma^2\right)\left(e^{\sigma^2}-1\right) \end{aligned}

このとき、\left(e^x\right)^{\prime}=e^x,x=\log{y}であるから、

\begin{aligned} f_{X}(x)=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}}\exp\left\{-\displaystyle{\frac{(x-\mu)^2}{2\sigma^2}}\right\} \end{aligned}

として、

\begin{aligned} f_{Y}(y)&=f_{X}\left(\log{y}\right)\cdot\displaystyle{\frac{1}{e^{\log{y}}}}\\ &=\displaystyle{\frac{1}{y\sqrt{2\pi\sigma^2}}}\exp\left\{-\frac{(\log{y}-\mu)^2}{2\sigma^2}\right\} \end{aligned}

  • (3)

　Y=\exp(X)をXで微分することで\exp(X)を得る。したがって

\begin{aligned} \displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[\frac{(x-\mu)^2}{2\sigma^2}\right]\exp(-x)} \end{aligned}

においてx=\log yと置き換えることで、

\begin{aligned} \displaystyle{\frac{1}{y\sqrt{2\pi\sigma^2}}\exp\left[\frac{(\log y-\mu)^2}{2\sigma^2}\right]} \end{aligned}

を得る。

4.2.2　問4.2

　独立な確率変数X,Yが指数分布

\begin{aligned} f(x)=\lambda e^{-\lambda x} \end{aligned}

に従うとする。このとき、X+Yの確率密度関数を考える。
　Z=X+W,W=Yとおくと、ヤコビアンJ(X,Y)は

\begin{aligned} J(X,Y)&=\begin{vmatrix} \displaystyle{\frac{\partial z}{\partial x}}&\displaystyle{\frac{\partial z}{\partial y}}\\ \displaystyle{\frac{\partial w}{\partial x}}&\displaystyle{\frac{\partial w}{\partial y}}\\ \end{vmatrix}\\ &=\begin{vmatrix} \displaystyle{\frac{\partial z}{\partial x}}&\displaystyle{\frac{\partial z}{\partial y}}\\ \displaystyle{\frac{\partial w}{\partial x}}&\displaystyle{\frac{\partial w}{\partial y}}\\ \end{vmatrix}\\ &=\begin{vmatrix} 1&1\\ 0&1 \end{vmatrix}\\ &=1 \end{aligned}

である。X,Yともに非負を取るから、Zが与えられると、W:0\rightarrow Zを取るから、

\begin{aligned} f_Z (z)&=\displaystyle{\int_{0}^{z}f_{Z,W}(w)dw}\\ &=\displaystyle{\int_{0}^{z}f_Z(z-w)f_W (w)\frac{1}{|J(X,Y)|}dw}\\ &=\lambda^2\displaystyle{\int_{0}^{z}e^{-\lambda(z-w)}e^{-\lambda w}dw}\\ &=\lambda^2 e^{-\lambda z}\displaystyle{\int_{0}^{z}dw}\\ &=\lambda^2 ze^{-\lambda z} \end{aligned}

である。

プライバシーポリシー お問い合わせ