「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。

MENU

【数理統計】時系列解析Vol.02:定常性とホワイトノイズ・MA過程

 前回は時系列解析の本当に基礎的部分を議論してきた。つまり時系列解析がどのようなものであるか、また基本的な統計量として期待値、分散、自己共分散、さらには自己相関係数を導入した。


zeitgeist.hatenablog.com

引き続き、以下の書籍を基に学んだことを整理していく。

1. 定常性

 確率過程においてその確率的な性質が変わらないという特徴を定常性という。その定常性も強さに応じて2つに分類される:
 (1)強定常:確率分布が時点tに依存せず変わらない、すなわち任意のt,kに対して(y_t,\cdots,y_{t+k})^Tの同時分布が等しい
 (2)弱定常:期待値と自己共分散が時点に依存しない、すなわち任意のt,kに対して


\begin{aligned}
E[X_t]=\mu, C_{ov}[X_t,X_{t-k} ]=\gamma_k>0
\end{aligned}

 定義から明らかに強定常ならば弱定常であるが逆は成り立たない。また弱定常であるとき任意のt,kに対してt^{\prime}=t-kとおけば

\begin{aligned}
\gamma_{k} &= C_{ov} [X_t,X_{t-k}]\\
                    &= C_{ov} [X_{t^{\prime}+k},X_{(t^{\prime}+k)-k} ] \\
                    &= C_{ov} [X_{t^{\prime}+k},X_{t^{\prime}} ] \\
                    &= C_{ov} [X_{t^{\prime}},X_{t^{\prime}+k} ] \\
                    &=\gamma_{-k}
\end{aligned}
すなわち\gamma_k=\gamma_{-k}であり、したがって \rho_{t,k}=\rho_{t,-k} である。
 強定常であれば時系列解析を行う意義は薄く、弱定常性の有無の方が通常、重要な検討対象となる 。実際、強定常過程の典型例がi.i.d.系列、すなわち各時点のデータが互いに独立かつ同一の分布に従うような確率過程であるが、このような過程ではそもそも時点の相違を考慮する意義が薄く通常の統計解析でも十分であり得る。定常性を持たない確率過程を非定常過程と呼ぶ。
 定常性を確認するための一つの手段として、ラグを横軸、標本自己相関係数を縦軸としたグラフを作成し目視するものがある。このグラフをコレログラムという。

f:id:suguru_125:20200429074331j:plain
コレログラムの例

2. ホワイトノイズ

 時系列解析において通常の統計解析(たとえば回帰分析)での誤差項に相当する概念としてホワイトノイズ(白色雑音)を以下のとおり導入する:
 任意のt,kに対して
(1)E[\epsilon_t]=0;(2)C_{ov}[\epsilon_t, \epsilon_{t+k} ]= \left\{ \begin{array}{}
\sigma^2 & ,k=0\\
0 & ,k\neq0
\end{array} \right.
を満たすような系列である。定義から明らかにホワイトノイズは弱定常である。

3.ARMA過程(1)

 時系列解析で焦点を当てているのは異時点間の相関であるからそれをモデルに織り込むことが論点となる。その相関のモデル化には2つの考え方がある。1つは異なる時点の値に共通の成分を含める方法である。もう1つの方法はある時点に過去時点の値を盛り込む方法である。前者がMA過程であり後者がAR過程である。実はこれらを組み合わせたARMA過程を考えることもできる。

MA過程

 前者の異時点の値に共通の成分を含める方法としてMA過程がある。これはホワイトノイズの線形和としてあらわされるものである。nMA過程は


\begin{aligned}
y_t=\mu+\epsilon_t+\sum_{l=1}^{n}{\theta_{l}\epsilon_{t-l}},\epsilon_{t}\sim W.N.(\sigma^2)
\end{aligned}
と定義される*1
 具体例を考えてみよう。たとえば1MA過程は

\begin{aligned}
y_t=\mu+\epsilon_{t}+\theta_{1}\epsilon_{t-1},\epsilon_{t}\sim W.N.(\sigma^2)
\end{aligned}
と書ける。このときy_{t+1}=\mu+\epsilon_{t+1}+\theta_{1}\epsilon_tとなりy_t,y_{t+1}がともに\epsilon_tを含むことで相関が生まれることとなる。ただしy_{t+1}\epsilon_tの係数である\theta_1が掛かっている点に留意する必要がある。なぜならばこれが両者の相関の大きさを意味するからだ。
 MA過程では確率変動をすべてホワイトノイズが決定する。またホワイトノイズの期待値が0であることに注意すると

\begin{aligned}
E[y_t]&=E[\mu+\epsilon_t+\sum_{l=1}^{n}{\theta_l \epsilon_{t-l}}] \\
           &=E[\mu]+E[\epsilon_t]+\sum_{l=1}^{n}{θ_l E[\epsilon_{t-l}]} \\
           &=\mu.
\end{aligned}
である。また

\begin{aligned}
V[y_t]&=V[\mu+\epsilon_t+\sum_{l=1}^{n}{\theta_l \epsilon_{t-l}}] \\
          &=V[\epsilon_t ]+\sum_{l=1}^{n}{{\theta_l}^2 V[\epsilon_{t-l}]} \\
          &=(1+\sum_{l=1}^{n}{\theta_l}^2)\sigma^2
\end{aligned}
 さらにラグkに対して自己共分散\gamma_kを計算すると

\begin{aligned}
\gamma_k=C_{ov}[y_t,y_{t-k}]&=C_{ov}[\mu+\epsilon_t+\sum_{l=1}^{n}{\theta_l \epsilon_{t-l}},\mu+\epsilon_{t-k}+\sum_{l=1}^{n}{\theta_l \epsilon_{t-k-l}}] \\
                                                 &=C_{ov}[\epsilon_t+\sum_{l=1}^{n}{\theta_l \epsilon_{t-l}},\epsilon_{t-k}+\sum_{l=1}^n{\theta_l \epsilon_{t-k-l}}]\\
                                                 &=C_{ov}[\epsilon_t,\epsilon_{t-k}]+\sum_{l=1}^{n} {\theta_l  C_{ov}[\epsilon_t,\epsilon_{t-k-l}]}
                                                      + \sum_{l=1}^{n}{\theta_l C_{ov}[\epsilon_{t-l},\epsilon_{t-k} ]} \\
                                                 &\ \ \ \ +\sum_{l=1}^{n}\sum_{m=1}^{n}{\theta_l\theta_m C_{ov}[\epsilon_{t-l},\epsilon_{t-k-m}]}
\end{aligned}
ここでk\leq nならばC_{ov}[\epsilon_t,\epsilon_{t-k}]= \left\{ \begin{array}{}
\sigma^2 & ,k=0,\\
0 & ,k\neq 0 \end{array} \right.であることに注意すると

\begin{aligned}
\gamma_k&=\sum_{l=1}^{n} {\theta_l C_{ov}[\epsilon_{t-l},\epsilon_{t-k}} ]
                      +\sum_{l=1}^{n}\sum_{m=1}^{n}\theta_l\theta_m C_{ov}[\epsilon_{t-l},\epsilon_{t-k-m}] \\
                 &=\theta_k \sigma^2+\sigma^2 \sum_{l=1}^{k-1}{\theta_l \theta_{k-l}} \\
                 &=(\theta_k+\sum_{l=1}^{k-1}{\theta_l \theta_{k-l}}) \sigma^2
\end{aligned}
である。他方でk>nならばいずれの項も0となるから\gamma_k=0である。したがって

\begin{aligned}
\gamma_k= \left\{ \begin{array}{}
(\theta_k+\sum_{l=1}^{k-1}{\theta_l \theta_{k-l}}) \sigma^2 & ,k\leq n,\\
0 & ,k>n \end{array} \right.
\end{aligned}
 ここから

\begin{aligned}
\rho_k= \left\{ \begin{array}{}
\frac{(\theta_k+\sum_{l=1}^{k-1}{\theta_l \theta_{k-l}}) \sigma^2}{(1+\sum_{l=1}^{n}{\theta_l}^2)\sigma^2}
 & ,k\leq n,\\
0 & ,k>n \end{array} \right.
\end{aligned}
である。これらの結果から期待値はラグに依存せず定数であり、分散および自己共分散(自己相関係数)がラグにのみ依存することからMA過程は弱定常である。
 他方でMA過程は2つの欠点を持つ。1つは長期の(大きいnの)自己相関をモデリングするにはそれよりも多い数の観測数が必要となるため、モデル構築の実務上不便である。またMA過程はホワイトノイズの線形和で与えられるためモデルの解釈が困難である。

まとめ

 今回は定常性とホワイトノイズ・MA過程について触れた。いずれも(特に前二者は)基礎的な時系列解析において重要な理論である。次回はAR過程について触れることとする。

*1:\epsilon_{t}\sim W.N.(\sigma^2)\epsilon_{t}がその分散が\sigma^2であるようなホワイトノイズであることを意味する。

プライバシーポリシー お問い合わせ