本気で学ぶ統計学(05/31) - 「大人の教養・知識・気付き」を伸ばすブログ

　統計学を真剣に学ぶ人のために、個人的にまとめているノートを公開する。
　底本として

新装改訂版現代数理統計学

作者:彰通, 竹村
学術図書出版社

Amazon

を用いる。

前回

power-of-awareness.com

前回
2.　統計学のための確率論
- 2.10　確率変数及び確率分布の収束
次回
参考文献

2.　統計学のための確率論

2.10　確率変数及び確率分布の収束

　統計学に基づいた議論を行う際に予め理論的に確認しておく必要があるのが、確率変数および確率分布の収束である。
　統計的な推測を行う際、通常母集団に属するすべての元を知ることはできず、そのうちの一部を観測して得られた標本を用いて、すなわち母集団の限られた一部から全体の情報を知ることとなる。しかし理論的には、その一部の性質が母集団の性質を示すか否かは自明ではないし、どのような意味でそれが成り立つかも調べておく必要がある。
　そこでそうした一部の情報が母集団の情報とどのように結びついているのかを理論的に議論すべく、確率変数および確率分布の収束を議論する。この関係性が分かれば、一定程度の観測数が担保されるという留保条件の下で、その一部の情報自体を解析することを母集団として想定できるものの性質を解析することに替えるのにある程度の正当性を与えるのである。
　確率変数は可測空間上の可測関数であるから、その収束を考えるには関数列の収束を考える必要がある。関数列の収束には一様収束と各点収束の2種類がある。さらに確率変数独特の収束概念として、概収束、確率収束および分布収束がある。
　これらには

(1)一様収束するならば各点収束する。
(2)各点収束すれば概収束する。
(3)概収束すれば確率収束する。
(4)確率収束すれば分布収束する。

という強弱関係がある。

2.10.1　各点収束と一様収束

　関数列の収束として、まずは関数列 $\{X_n\}_{n=1,2,\cdots}=\{X_1(\omega),\cdots,X_n(\omega),\cdots\}$ が定義域の各点 $\omega$ で収束するかどうかを考える。各点で関数列が収束すればよいと考えるのが各点収束である。各点で収束する上、収束速度が定義域全体で揃っていなければならないとするのが一様収束である。
　実確率変数列 $\{X_n\}_{n=1,2,\cdots}=\{X_1(\omega),\cdots,X_n(\omega),\cdots\}$ と実確率変数 $X(\omega)$ について、任意の正数 $\varepsilon$ に対して充分に大きな自然数 $N$ を取るとすべての $\omega$ で

$\begin{aligned} n\geq N\Rightarrow |X_n(\omega)-X(\omega)|\lt\varepsilon \end{aligned}$

となるとき、 $\{X_n\}_{n=1,2,\cdots}$ は $X(\omega)$ に一様収束するという。
　実確率変数列 $\{X_n\}_{n=1,2,\cdots}$ と実確率変数 $X(\omega)$ について、任意の正数 $\varepsilon$ に対して各点 $\omega$ で充分大きな自然数 $N(\omega)$ を取ると

$\begin{aligned} n\geq N(\omega) \Rightarrow |X_n(\omega)-X(\omega)|\lt\varepsilon \end{aligned}$

となるとき、 $\{X_n\}_{n=1,2,\cdots}$ は $X(\omega)$ に各点収束するという。
　一様収束するならば各点収束するが、逆は成り立たない。

2.10.2　概収束

　各点収束の条件を緩めて、確率が $0$ となる部分では収束しなくともよいとするのが概収束である。こういった議論をする際の用語として「命題 $A$ が殆ど至るところで成り立つ」とは確率 $1$ で成り立つことで、逆に起こる確率が $0$ であるところでは成立しなくとも構わないという意味である。
　実確率変数列 $\{X_n\}_{n=1,2,\cdots}=\{X_1(\omega),\cdots,X_n(\omega),\cdots\}$ と実確率変数 $X(\omega)$ について、任意の正数 $\varepsilon$ に対してほとんど至るところの点 $\omega$ で充分大きな自然数 $N(\omega)$ を取ると

$\begin{aligned} n\geq N(\omega)\Rightarrow |X_n(\omega)-X(\omega)|\lt\varepsilon \end{aligned}$

となるとき、 $\{X_n\}_{n=1,2,\cdots}$ は $X(\omega)$ に概収束するといい、

$\begin{aligned} X_n(\omega)\xrightarrow{a.s.}X(\omega) \end{aligned}$

と書く。

2.10.3　確率収束

　確率変数列 $\{X_n\}_{n=1,2,\cdots}$ が確率変数 $X$ に確率収束(converge in probability)するとは、任意の $\varepsilon\gt0$ に対して

$\begin{aligned} P\{|X_n-X|\geq\varepsilon\}\rightarrow0(n\rightarrow\infty) \end{aligned}$

が成り立つことをいい、 $X_n\xrightarrow{p}X$ と記す。

2.10.4　平均二乗収束

　「確率収束」よりも強い収束概念として平均二乗収束がある。
　確率変数列 $\{U_n\}_{n=1,2,\cdots}$ が確率変数 $U$ に平均二乗収束するとは、

$\begin{aligned} E[(U_n-U)^2]\rightarrow0(n\rightarrow\infty) \end{aligned}$

が成り立つことをいい、 $U_n\xrightarrow{\mathcal{L^2}}U$ と記す。
　確率変数列 $\{U_n\}_{n=1,2,\cdots}$ が確率変数 $U$ に平均二乗収束すると仮定する。後述するChebyshevの不等式において $X=U_n-U$ と置き換えることで

$\begin{aligned} 0\leq P\{|U_n-U|\geq\varepsilon\}\leq\displaystyle{\frac{E[(U_n-U)^2]}{\varepsilon^2}}\rightarrow0(n\rightarrow\infty) \end{aligned}$

が得られる。すなわち $U_n\xrightarrow{p}U$ を得ることができる。これは平均二乗収束するならば確率収束することを意味するのであって、 $U$ が $U_n$ の母平均を表現する場合、平均二乗収束を議論する方がそれらの収束を議論するのが楽な場合がある。

2.10.5　分布収束

　確率の理論における収束概念の一つとして次に「分布収束」を導入する。
　確率変数列 $\{U_n\}_{n=1,2,\cdots}$ が確率変数 $U$ に分布収束(converge in law)するとは、 $U$ の分布関数を $F_U(u)$ と書くときに、 $F_U(u)$ のすべての連続な点 $u$ において

$\begin{aligned} P\{U_n\leq u\}\rightarrow P\{U\leq u\}=F_{U}(u)(n\rightarrow\infty) \end{aligned}$

が成り立つことをいい、 $U_n\xrightarrow{d}U$ と記す。
　同一の分布を持つ異なる確率変数が存在し得るため、法則収束しても確率収束するとは必ずしも言えるわけではない。

2.10.6　Markovの不等式

　 $Y\gt0$ を確率変数で $E[Y]\lt\infty$ とする。このとき任意の $c\gt0$ に対して以下が成り立つ：

定理2.6　Markovの不等式

$\begin{aligned} P\{Y\geq c\}\leq \displaystyle{\frac{E[Y]}{c}} \end{aligned}$

( $\because$ 　 $Y$ は非負であるから

$\begin{aligned} E[Y]=E[Y1_{\{Y\geq c\}}+Y1_{\{Y≤c\}}]&\geq E[Y1_{\{Y\geq c\}}]\\&\geq c E[1_{\{Y\geq c\}}]\\&=cP\{Y\geq c\}　\blacksquare) \end{aligned}$

2.10.7　Chebyshevの不等式

　Markovの不等式の特殊例としてChebyshevの不等式がある：

定理2.7　Chebyshevの不等式

　 $\begin{aligned} P\{|X-\mu|\geq k\}\leq\displaystyle{\frac{\sigma^2}{k^2}} \end{aligned}$

　実際、確率変数 $X$ について $\mu:=E[X]\lt\infty,\sigma^2:=V[X]\lt\infty$ と仮定する。このとき、Markovの不等式において $Y=(X-E[X])^2,c=k^2,k\in\mathbb{R}$ とおくことで

$\begin{aligned} P\{(X-\mu)^2\geq k^2\}\leq\displaystyle{\frac{E[(X-\mu)^2]}{k^2}}=\displaystyle{\frac{\sigma^2}{k^2}}, \end{aligned}$

　すなわち

$\begin{aligned} P\{|X-\mu|\geq k\}\leq\displaystyle{\frac{\sigma^2}{k^2}} \end{aligned}$

が成り立つ。

2.10.8　大数の弱法則

　Chebyshevの不等式を用いることで標本平均の確率収束を証明することができる。

定理2.8　大数の弱法則　 $X_1,\cdots,X_n\sim(\mu,\sigma^2 ),i.i.d.$ で、 $V[X_1]=\sigma^2\lt\infty$ だとする*1 。このとき

$\begin{aligned} \bar{X}:=\displaystyle{\frac{1}{n}\sum_{k=1}^{n}X_k}\xrightarrow{p}\mu \end{aligned}$

が成り立つ。

( $\because$ 　 $X_1,\cdots,X_n\sim(\mu,\sigma^2 ),i.i.d.$ とすると、

$\begin{aligned} E[\bar{X}]=\displaystyle{\frac{1}{n}E\left[\sum_{k=1}^{n}X_k\right]}=\displaystyle{\frac{1}{n}\sum_{k=1}^{n}E[X_k]}=\displaystyle{\frac{1}{n}}\cdot n\mu=\mu \end{aligned}$

であることに注意すると、任意の $\varepsilon\gt0$ に対してChebyshevの不等式を用いると

$\begin{aligned} 0\leq P\{|\bar{X}-\mu|\gt\varepsilon\}\leq\displaystyle{\frac{E[(\bar{X}-E[\bar{X}])^2]}{\varepsilon^2}}=\displaystyle{\frac{\sigma^2}{n\varepsilon^2}} \end{aligned}$

を得る。 $\displaystyle{\frac{\sigma^2}{n\varepsilon^2}}\rightarrow0(n\rightarrow\infty)$ であるから、はさみうちの原理より

$\begin{aligned} P\{|\bar{X}-\mu|\gt\varepsilon\}\rightarrow0(n\rightarrow\infty) \end{aligned}$

が成り立つ。　 $\blacksquare$ )

2.10.9　大数の強法則

定理2.9　大数の強法則　 $X_1,\cdots,X_n\sim F,i.i.d.$ で、 $E[X_1]:=\mu\lt\infty$ であるとする。このとき

$\begin{aligned} \bar{X}:=\displaystyle{\frac{1}{n}\sum_{k=1}^{n}X_k}\xrightarrow{a.s.}\mu \end{aligned}$

が成り立つ。逆に $\bar{X}\xrightarrow{a.s.}\mu$ ならば $E|X_1|\lt\infty$ 、すなわち一次モーメントが存在する。

　この法則は、 $i.i.d.$ な確率変数列の和をその数で割った確率変数 $\bar{X}_n$ がある確率変数 $Y$ に概収束すること、さらには $Y$ が $\omega$ によらない定数になることを意味する。概収束するならば確率収束するため、弱法則よりもより強い法則である。
　これを示すべく、いくつかの準備を行う。確率空間 $(\Omega,\mathcal{F},P)$ を考える。事象列 $\{A_n\}_{n=1,2,\cdots}\in\mathcal{F}$ に対して

$\begin{aligned} \displaystyle{\limsup_{n\rightarrow\infty}A_n}=\displaystyle{\bigcap_{k=1}^{\infty}\bigcup_{n=k}^{\infty}A_n} \end{aligned}$

とおき、 $A_n$ の上極限という。このとき、Borel-Cantelliの補題、すなわち

$\displaystyle{\sum_{n=1}^{\infty}P\{A_n\}}\lt\infty$ ならば
$\begin{aligned}P\left\{\displaystyle{\limsup_{n\rightarrow\infty}A_n}\right\}=0\end{aligned}$
事象列 $\{A_n\}_{n=1,2,\cdots}$ がすべて互いに独立で $\displaystyle{\sum_{n=1}^{\infty}P\{A_n|\}}$ が発散するならば

$\begin{aligned} P\left\{\displaystyle{\limsup_{n\rightarrow\infty}A_n}\right\}=1 \end{aligned}$

( $\because$ 　1. $A=\displaystyle{\limsup_{n\rightarrow\infty}A_n}$ とおく。このとき任意の $k=1,2,\cdots$ について $A\subset\displaystyle{\bigcup_{n=k}^{\infty}A_n}$ が成り立つから

$\begin{aligned} 0\leq P(A)\leq P\left(\bigcup_{n=k}^{\infty}A_n\right)\leq\displaystyle{\sum_{n=k}^{\infty}P(A_n)} \end{aligned}$

である。ここで $k$ は任意であったから $k\rightarrow\infty$ とすれば、仮定から $(右辺)\rightarrow\infty$ が成り立ち、はさみうちの原理から

$\begin{aligned} P(A)=0 \end{aligned}$

である。
　2. 劣加法性から

$\begin{aligned} P(A^C)=P\left(\displaystyle{\bigcup_{k=1}^{\infty}}\left(\displaystyle{\bigcup_{n=k}^{\infty}A_n}\right)^C\right)\leq\displaystyle{\sum_{k=1}^{\infty}P\left(\left(\bigcup_{n=k}^{\infty}A_n\right)^C\right)}=0 \end{aligned}$

であり $P(A)=1$ となるため、任意の $k=1,2,\cdots$ に対して、

$\begin{aligned} P\displaystyle{\left(\bigcup_{n=k}^{\infty}A_n\right)}=1 \end{aligned}$

を示せば充分である。任意の $N=1,2,\cdots$ に対して、事象列の独立性および $1-x\leq e^{-x}$ から

$\begin{aligned} 1-P\left(\displaystyle{\bigcup_{n=k}^{\infty}A_n}\right)\leq&1-P\left(\displaystyle{\bigcup_{n=k}^{N}A_n}\right)\\ =&P\left(\left(\displaystyle{\bigcup_{n=k}^{N}A_n}\right)^C\right)\\ =&P\left(\displaystyle{\bigcap_{n=k}^{N}A_n^C}\right)\\ =&\displaystyle{\prod_{n=k}^{N}P\left(A_n^C\right)}\\ =&\displaystyle{\prod_{n=k}^{N}(1-P(A_n) )}\\ \leq&\displaystyle{\prod_{n=k}^{N}e^{-P(A_n)} }\\ =&\exp\left(-\displaystyle{\sum_{n=k}^{N}P(A_n)}\right) \end{aligned}$

であるが、仮定から $\displaystyle{\sum_{n=1}^{\infty}P\{A_n\}}$ は発散するため $N\rightarrow\infty$ のとき上式の $(右辺)\rightarrow0$ となり、

$\begin{aligned} P\left(\displaystyle{\bigcup_{n=k}^{\infty}A_n}\right)=1 \end{aligned}$

を得る。　 $\blacksquare$ )

　次にKolmogorovの不等式を導入する。 $\{X_n\}_{n=1,2,\cdots}$ を独立な実確率変数列で $E[X_n]=0$ かつ $V_n=V[X_n]\lt\infty$ とする。このとき任意の正数 $a$ に対して

$\begin{aligned} P\left(\displaystyle{\max_{1\leq k\leq n}⁡\left|\sum_{i=1}^{k}X_i\right|}\geq a\right)\leq \displaystyle{\frac{1}{a^2}\sum_{i=1}^{n}V_i} \end{aligned}$

が成り立つ。
( $\because$ 　見やすくするために事象を

$\begin{aligned} A^{*}=\left\{\omega\in\Omega;\displaystyle{\max_{1\leq k\leq n}⁡|Z_k|}\geq a\right\},Z_k=\displaystyle{\sum_{i=1}^{k}X_i} \end{aligned}$

とおく。 $k=1,2,\cdots$ に対して

$\begin{aligned} A_k^{*}=\{\omega\in\Omega;|Z_i|\lt a\ for\ i=1,\cdots,k-1\land|Z_k|\geq a\} \end{aligned}$

とおけば、互いに素な $A_k^{*}$ について

$\begin{aligned} A^{*}=\displaystyle{\bigcup_{k=1}^{n}A_k^*} \end{aligned}$

と分解できる。したがって

$\begin{aligned} P(A^{*})=P\left(\displaystyle{\bigcup_{k=1}^{n}A_k^{*}}\right)=\displaystyle{\sum_{k=1}^{n}P(A_k^{*})}\leq\displaystyle{\sum_{k=1}^{n}\displaystyle{\frac{1}{a^2}}E_{A_k^{*}}[Z_k^2]} \end{aligned}$

が得られる。ここで

$\begin{aligned} E_A[X]=E[\chi_{A}X]=\displaystyle{\int_{A}X}dP \end{aligned}$

とする。
　最後の不等式は $\omega\in A_k^{*}$ ならば $Z_k^2\geq a^2$ が成り立つからである。
　 $Z_n=Z_k+(Z_n-Z_k)$ かつ $(Z_n-Z_k)^2\geq0$ より

$\begin{aligned} E_{A_k^{*}}[Z_n^2]-E_{A_k^{*}}[Z_k^2]&=E_{A_k^{*}}[Z_n^2-Z_k^2]\\ &=E_{A_k^{*}}[\{Z_k+(Z_n-Z_k)\}^2-Z_k^2]\\ &=E_{A_k^{*}}[2Z_k(Z_n-Z_k)+(Z_n-Z_k)^2]\\ &\geq 2E_{A_k^{*}}[Z_k(Z_n-Z_k)]\\ &=2E[\chi_{A_k^{*}}Z_k(Z_n-Z_k)]\\ &=2E[\chi_{A_k^{*}}Z_k]E[(Z_n-Z_k)]\\ &=0 \end{aligned}$

が成り立つ。したがって

$\begin{aligned} P(A^{*})\leq\displaystyle{\sum_{k=1}^{n}\frac{1}{a^2}}E_{A_k^{*}}[Z_k^2]&=\displaystyle{\frac{1}{a^2}}E_{A^{*}}[Z_n^2]\\ &\leq\displaystyle{\frac{1}{a^2}}E[Z_n^2]\\ &=\displaystyle{\frac{1}{a^2}}E\left[\left(\displaystyle{\sum_{i=1}^{n}X_i}\right)^2\right]\\ &=\displaystyle{\frac{1}{a^2}\sum_{i=1}^{n}V_i} \end{aligned}$

が得られる。　 $\blacksquare$ )

　以上を用いて大数の強法則を示す。まず、実確率変数列 $\{X_n\}_{n=1,2,\cdots}$ が独立で

$\begin{aligned} \displaystyle{\sum_{n=1}^{\infty}\frac{1}{n^2}V[X_n]}\lt\infty \end{aligned}$

を満たせば、 $Y_n=\displaystyle{\frac{1}{n}\sum_{k=1}^{n}X_k}$ に対して大数の強法則が成り立つことを示す。
( $\because$ 　任意の $n=1,2,\cdots$ に対して $E[X_n]=0$ と仮定してもよい。このとき任意の $\varepsilon\gt0$ に対して

$\begin{aligned} A(\varepsilon)=\displaystyle{\bigcup_{N=1}^{\infty}\bigcap_{n=N}^{\infty}\{|Y_n |\lt\varepsilon\}} \end{aligned}$

とおく。 $\omega\in A$ ならば任意の $j=1,2,\cdots$ に対して $\omega\in A\left(\displaystyle{\frac{1}{j}}\right)$ であるため $N=N(\omega,j)$ が存在して $n\geq N$ ならば $|Y_n|\lt\displaystyle{\frac{1}{j}}$ である。したがって $\omega\in A\Rightarrow\displaystyle{\lim_{n\rightarrow\infty}Y_n(\omega)}=0$ となる。
　次に

$\begin{aligned} B_m(\varepsilon)&=\displaystyle{\bigcup_{n=2^{m-1} }^{2^m-1}\{\{Y_n\}\geq\varepsilon\}}\\ &=\left\{\displaystyle{\max_{2^{m-1}\leq n\leq 2^{m}-1}⁡|Y_n|\geq\varepsilon}\right\} \end{aligned}$

とおく。このとき任意の $l=1,2,\cdots$ に対して

$\begin{aligned} \left(A(\varepsilon)\right)^C=\displaystyle{\bigcap_{N=1}^{\infty}\bigcup_{n=N}^{\infty}\{|Y_n|\lt\varepsilon\}}\subset\displaystyle{\bigcup_{m=l}^{\infty}B_m(\varepsilon)} \end{aligned}$

が成り立つから、

$\begin{aligned} \displaystyle{\sum_{m=1}^{\infty}P(B_m(\varepsilon) )}\lt\infty \end{aligned}$

を言うことができれば $P(A(\varepsilon)^C )=0$ が言える。そこで $Z_n=\displaystyle{\sum_{k=1}^{n}X_k}(=nY_n)$ として

$\begin{aligned} P(B_m(\varepsilon) )=&P\left\{\displaystyle{\max_{2^{m-1}\leq n\leq 2^m-1}⁡|Y_n|\geq\varepsilon}\right\}\\ =&P\left\{\displaystyle{\max_{2^{m-1}\leq n\leq 2^m-1}\frac{1}{n}|Z_n|}\geq\varepsilon\right\}\\ \leq&P\left\{\displaystyle{\max_{2^{m-1}\leq n\leq 2^m-1}⁡|Z_n|\geq\varepsilon 2^{m-1}}\right\}\\ \leq&P\left\{\displaystyle{\max_{1\leq n\leq 2^m}⁡|Z_n|\geq\varepsilon 2^{m-1}}\right\}\\ \leq&\displaystyle{\frac{1}{\varepsilon^2 2^{2m-2}}\sum_{k=1}^{2^m}V[X_k]} \end{aligned}$

が成り立つ。したがって

$\begin{aligned} \displaystyle{\sum_{m=1}^{\infty}P(B_m(\varepsilon) )}&\leq\displaystyle{\sum_{m=1}^{\infty}\frac{1}{\varepsilon^2 2^{2m-2} }\sum_{k=1}^{2^m}V[X_k]}\\ &=\displaystyle{\frac{4}{\varepsilon^2}\sum_{m=1}^{\infty}\frac{1}{2^{2m} }\sum_{k=1}^{2^m}V[X_k]}\\ &=\displaystyle{\frac{4}{\varepsilon^2}\sum_{m^{\prime}=m_k}^{\infty}\frac{1}{2^{2m^{\prime} } }\sum_{k=1}^{\infty}V[X_k]} \end{aligned}$

である。ここで $m_k$ は $2^{m_k-1}\lt k\lt 2^{m_k}$ を満たす整数とする。ここで

$\begin{aligned} \displaystyle{\sum_{m^{\prime}=m_k}^{\infty}\frac{1}{2^{2m^{\prime} } } }=\displaystyle{\frac{1}{3} }2^{2-2m_k}\leq\displaystyle{\frac{4}{3k^2} } \end{aligned}$

であるから、この定理の仮定から

$\begin{aligned} \displaystyle{\sum_{m=1}^{\infty}P\left(B_m(\varepsilon)\right)} &\leq\displaystyle{\frac{4}{\varepsilon^2}\sum_{m^{\prime}=m_k}^{\infty}\frac{1}{2^{2m^{\prime}}}\sum_{k=1}^{\infty}V[X_k]}\\ &\leq\displaystyle{\frac{16}{3k^2\varepsilon^2}\sum_{k=1}^{\infty}V[X_k]}\lt\infty \end{aligned}$

となる。　 $\blacksquare$ )

　さらにもう1つの定理を示しておく。実確率変数列 $\{X_n\}_{n=1,2,\cdots}$ が独立同一分布に従い
$\mu=E[X_n]\lt\infty$ と仮定する。このとき

$\begin{aligned} Y_n=\displaystyle{\frac{1}{n}\sum_{k=1}^{n}X_k} \end{aligned}$

に対して大数の強法則が成り立つ。
( $\because$ 　任意の $n=1,2,\cdots$ に対して $E[X_n]=0$ と仮定してもよい。 $X$ を $X_n$ と共通の分布をもつ確率変数とし、その分布関数を $F_X$ とする。 $Z_k=X_k \chi_{[-k,k]}(X_k)-\tilde{\mu}_k,\tilde{\mu}_k=E[X\chi_{[-k,k]}(X)$ とおくと、実確率変数列 $\{Z_k\}_{k=1,2,\cdots}$ は直前に示した定理の仮定を満たす。実際 $\{Z_k\}_{k=1,2,\cdots}$ は互いに独立であり、 $V[Z_k]$ について

$\begin{aligned} \displaystyle{\sum_{k=j}^{\infty}\frac{1}{k^2}}\leq\displaystyle{\int_{j-1}^{\infty}\frac{1}{x^2}}dx=\displaystyle{\frac{1}{j-1}},\\ \displaystyle{\frac{x^2}{j-1}}\leq2|x|,j-1\leq|x|\leq j,j\geq2 \end{aligned}$

であるから、

$\begin{aligned} \displaystyle{\sum_{k=1}^{\infty}\frac{1}{k^2}V[Z_k]}&\leq\displaystyle{\sum_{k=1}^{\infty}\frac{1}{k^2}E[(X_k\chi_{[-k,k]}(X_k))^2]}\\ &=\displaystyle{\sum_{k=1}^{\infty}\frac{1}{k^2}\sum_{j=1}^{k}\int_{\{j-1\lt|x|\lt j\}}x^2 F_X(dx)}\\ &=\displaystyle{\sum_{j=1}^{\infty}\int_{\{j-1\lt|x|\lt k\} }x^2 F_X(dx)\sum_{k=j}^{\infty}\frac{1}{k^2}}\\ &\leq\displaystyle{\int_{\{0\lt|x|\leq 1\} }x^2 F_X(dx)\sum_{k=1}^{\infty}\frac{1}{k^2}}+\displaystyle{\sum_{j=2}^{\infty}\int_{\{j-1\lt|x|\leq j\} }\frac{x^2}{j-1}F_X(dx)}\\ &\leq\displaystyle{\sum_{k=1}^{\infty}\frac{1}{k^2}}+2E|X|\lt\infty \end{aligned}$

が成り立つ。したがって $E[Z_k]=0$ であるから

$\begin{aligned} \displaystyle{\lim_{n\rightarrow\infty}\frac{1}{n}\sum_{k=1}^{n}Z_k}=0\ \ a.s. \end{aligned}$

が成り立つ。
　次にLebesgueの収束定理から

$\begin{aligned} \tilde{m}_k=E[X_k\chi_{[-k,k]}(X_k)]\rightarrow E[X]=0\ \ a.s. \end{aligned}$

が分かる。したがって

$\begin{aligned} \displaystyle{\lim_{n\rightarrow\infty}\frac{1}{n}\sum_{k=1}^{n}\tilde{m}_k}=0 \end{aligned}$

が成り立ち、以上から $Z_k$ を置き換えることで

$\begin{aligned} \displaystyle{\lim_{n\rightarrow\infty}\frac{1}{n}\sum_{k=1}^{n}X_k\chi_{[-k,k]}(X_k)}=0\ \ a.s. \end{aligned}$

である。
　最後に、

$\begin{aligned} \displaystyle{\sum_{k=1}^{\infty}P\{|X_k|\gt k\}}=&\displaystyle{\sum_{k=1}^{\infty}\sum_{j=k}^{\infty}P\{j\lt|X|\leq j+1\}}\\ =&\displaystyle{\sum_{j=1}^{\infty}j P\{j\lt|X|\leq j+1\}}\\ =&E\left[\displaystyle{\sum_{j=1}^{\infty}j\chi_{(j,j+1)}(|X|)}\right]\\ \leq&E|X|\\ \lt&\infty \end{aligned}$

と評価できる。Borel-Cantelliの補題(1)を変形すると、

$\begin{aligned} \displaystyle{\sum_{n=1}^{\infty}P(A_n)}\lt\infty\Rightarrow P\left(\displaystyle{\liminf_{n\rightarrow\infty}A_n^C}\right)=1 \end{aligned}$

である、すなわち

$\begin{aligned} \#\{n;\omega\in A_n\}\lt\infty\ a.s.\ \omega \end{aligned}$

と言えるので、今回についても

$\begin{aligned} \displaystyle{\sum_{k=1}^{\infty}P\{|X_k|\gt k\} }\lt\infty\Rightarrow P\left(\liminf_{n\rightarrow\infty}\{|X_k|\leq k\}\right)=1 \end{aligned}$

が成り立つ。すなわち

$\begin{aligned} \#\{n;\omega\in\{|X_k|\gt k\}\}\lt\infty\ a.s.\ \omega \end{aligned}$

である。以上から

$\begin{aligned} P\left(\#\{n;\omega\in\{|X_k |>k\}\}\lt\infty\right)=1 \end{aligned}$

が成り立つ。これらから大数の強法則が示された。　 $\blacksquare$ ）

次回

power-of-awareness.com

参考文献

Lehmann, E.L., Casella, George(1998), "Theory of Point Estimation, Second Edition", (Springer)
Lehmann, E.L., Romano, Joseph P.(2005), "Testing Statistical Hypotheses, Third Edition", (Springer)
Sturges, Herbert A.,(1926) "The Choice of a Class Interval", (Journal of the American Statistical Association, Vol. 21, No. 153 (Mar., 1926)), pp. 65-66
上田拓治（2009）「44の例題で学ぶ統計的検定と推定の解き方」(オーム社)
大田春外（2000）「はじめよう位相空間」(日本評論社)
小西貞則（2010）「多変量解析入門――線形から非線形へ――」(岩波書店)
小西貞則,北川源四郎（2004）「シリーズ予測と発見の科学2　情報量基準」(朝倉書店)
小西貞則,越智義道,大森裕浩（2008）「シリーズ予測と発見の科学5　計算統計学の方法」(朝倉書店)
佐和隆光（1979）「統計ライブラリー　回帰分析」(朝倉書店)
清水泰隆（2019）「統計学への確率論,その先へ　―ゼロからの速度論的理解と漸近理論への架け橋」(内田老鶴圃)
鈴木武, 山田作太郎（1996）「数理統計学　基礎から学ぶデータ解析」(内田老鶴圃)
竹内啓・編代表（1989）「統計学辞典」(東洋経済新報社)
竹村彰通（1991）「現代数理統計学」(創文社)
竹村彰通（2020）「新装改訂版　現代数理統計学」(学術図書出版社)
東京大学教養学部統計学教室編（1991）「基礎統計学Ⅰ　基礎統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1994）「基礎統計学Ⅱ　人文・社会科学の統計学」(東京大学出版会)
東京大学教養学部統計学教室編（1992）「基礎統計学Ⅲ　自然科学の統計学」(東京大学出版会)
豊田秀樹（2020）「瀕死の統計学を救え！ ―有意性検定から「仮説が正しい確率」へ―」(朝倉書店)
永田靖（2003）「サンプルサイズの決め方」(朝倉書店)
柳川堯（2018）「Ｐ値　その正しい理解と適用」(近代科学社)

*1: $X_1,\cdots,X_n\sim(\mu,\sigma^2),i.i.d.$ は、確率変数 $X_1,\cdots,X_n$ が必ずしも特定はしないがある分布に「独立かつ同一の分布に従って」(i.i.d.)おり、それらの平均および分散はすべてそれぞれ $\mu,\sigma^2$ であるという意味である。

前回

2. 統計学のための確率論

2.10 確率変数及び確率分布の収束

2.10.1 各点収束と一様収束

2.10.2 概収束

2.10.3 確率収束

2.10.4 平均二乗収束

2.10.5 分布収束

2.10.6 Markovの不等式

2.10.7 Chebyshevの不等式

2.10.8 大数の弱法則

2.10.9 大数の強法則

次回