【数理統計】時系列解析Vol.02：定常性とホワイトノイズ・MA過程 - 「大人の教養・知識・気付き」を伸ばすブログ

　前回は時系列解析の本当に基礎的部分を議論してきた。つまり時系列解析がどのようなものであるか、また基本的な統計量として期待値、分散、自己共分散、さらには自己相関係数を導入した。

zeitgeist.hatenablog.com

引き続き、以下の書籍を基に学んだことを整理していく。

経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)

作者:竜義, 沖本
発売日: 2010/02/01
メディア: 単行本

基礎からわかる時系列分析 ―Rで実践するカルマンフィルタ・MCMC・粒子フィルター (Data Science Library)

作者:萩原淳一郎,瓜生真也,牧山幸史
発売日: 2018/03/23
メディア: 大型本

1. 定常性

2. ホワイトノイズ

3.ARMA過程（1）

MA過程

まとめ

1. 定常性

　確率過程においてその確率的な性質が変わらないという特徴を定常性という。その定常性も強さに応じて2つに分類される：
　（1）強定常：確率分布が時点 $t$ に依存せず変わらない、すなわち任意の $t,k$ に対して $(y_t,\cdots,y_{t+k})^T$ の同時分布が等しい
　（2）弱定常：期待値と自己共分散が時点に依存しない、すなわち任意の $t,k$ に対して

\begin{aligned}
E[X_t]=\mu, C_{ov}[X_t,X_{t-k} ]=\gamma_k>0
\end{aligned}
　定義から明らかに強定常ならば弱定常であるが逆は成り立たない。また弱定常であるとき任意の $t,k$ に対して $t^{\prime}=t-k$ とおけば

$\begin{aligned} \gamma_{k} &= C_{ov} [X_t,X_{t-k}]\\ &= C_{ov} [X_{t^{\prime}+k},X_{(t^{\prime}+k)-k} ] \\ &= C_{ov} [X_{t^{\prime}+k},X_{t^{\prime}} ] \\ &= C_{ov} [X_{t^{\prime}},X_{t^{\prime}+k} ] \\ &=\gamma_{-k} \end{aligned}$

すなわち $\gamma_k=\gamma_{-k}$ であり、したがって $\rho_{t,k}=\rho_{t,-k}$ である。
　強定常であれば時系列解析を行う意義は薄く、弱定常性の有無の方が通常、重要な検討対象となる。実際、強定常過程の典型例が $i.i.d.$ 系列、すなわち各時点のデータが互いに独立かつ同一の分布に従うような確率過程であるが、このような過程ではそもそも時点の相違を考慮する意義が薄く通常の統計解析でも十分であり得る。定常性を持たない確率過程を非定常過程と呼ぶ。
　定常性を確認するための一つの手段として、ラグを横軸、標本自己相関係数を縦軸としたグラフを作成し目視するものがある。このグラフをコレログラムという。

f:id:suguru_125:20200429074331j:plain — コレログラムの例

2. ホワイトノイズ

　時系列解析において通常の統計解析（たとえば回帰分析）での誤差項に相当する概念としてホワイトノイズ（白色雑音）を以下のとおり導入する：
　任意の $t,k$ に対して
（1） $E[\epsilon_t]=0$ ;（2） $C_{ov}[\epsilon_t, \epsilon_{t+k} ]= \left\{ \begin{array}{} \sigma^2 & ,k=0\\ 0 & ,k\neq0 \end{array} \right.$
を満たすような系列である。定義から明らかにホワイトノイズは弱定常である。

3.ARMA過程（1）

　時系列解析で焦点を当てているのは異時点間の相関であるからそれをモデルに織り込むことが論点となる。その相関のモデル化には2つの考え方がある。1つは異なる時点の値に共通の成分を含める方法である。もう1つの方法はある時点に過去時点の値を盛り込む方法である。前者が $MA$ 過程であり後者が $AR$ 過程である。実はこれらを組み合わせた $ARMA$ 過程を考えることもできる。

MA過程

　前者の異時点の値に共通の成分を含める方法として $MA$ 過程がある。これはホワイトノイズの線形和としてあらわされるものである。 $n$ 次 $MA$ 過程は

$\begin{aligned} y_t=\mu+\epsilon_t+\sum_{l=1}^{n}{\theta_{l}\epsilon_{t-l}},\epsilon_{t}\sim W.N.(\sigma^2) \end{aligned}$

と定義される*1。
　具体例を考えてみよう。たとえば $1$ 次 $MA$ 過程は

$\begin{aligned} y_t=\mu+\epsilon_{t}+\theta_{1}\epsilon_{t-1},\epsilon_{t}\sim W.N.(\sigma^2) \end{aligned}$

と書ける。このとき $y_{t+1}=\mu+\epsilon_{t+1}+\theta_{1}\epsilon_t$ となり $y_t,y_{t+1}$ がともに $\epsilon_t$ を含むことで相関が生まれることとなる。ただし $y_{t+1}$ は $\epsilon_t$ の係数である $\theta_1$ が掛かっている点に留意する必要がある。なぜならばこれが両者の相関の大きさを意味するからだ。
　 $MA$ 過程では確率変動をすべてホワイトノイズが決定する。またホワイトノイズの期待値が $0$ であることに注意すると

$\begin{aligned} E[y_t]&=E[\mu+\epsilon_t+\sum_{l=1}^{n}{\theta_l \epsilon_{t-l}}] \\ &=E[\mu]+E[\epsilon_t]+\sum_{l=1}^{n}{θ_l E[\epsilon_{t-l}]} \\ &=\mu. \end{aligned}$

である。また

$\begin{aligned} V[y_t]&=V[\mu+\epsilon_t+\sum_{l=1}^{n}{\theta_l \epsilon_{t-l}}] \\ &=V[\epsilon_t ]+\sum_{l=1}^{n}{{\theta_l}^2 V[\epsilon_{t-l}]} \\ &=(1+\sum_{l=1}^{n}{\theta_l}^2)\sigma^2 \end{aligned}$

　さらにラグ $k$ に対して自己共分散 $\gamma_k$ を計算すると

$\begin{aligned} \gamma_k=C_{ov}[y_t,y_{t-k}]&=C_{ov}[\mu+\epsilon_t+\sum_{l=1}^{n}{\theta_l \epsilon_{t-l}},\mu+\epsilon_{t-k}+\sum_{l=1}^{n}{\theta_l \epsilon_{t-k-l}}] \\ &=C_{ov}[\epsilon_t+\sum_{l=1}^{n}{\theta_l \epsilon_{t-l}},\epsilon_{t-k}+\sum_{l=1}^n{\theta_l \epsilon_{t-k-l}}]\\ &=C_{ov}[\epsilon_t,\epsilon_{t-k}]+\sum_{l=1}^{n} {\theta_l C_{ov}[\epsilon_t,\epsilon_{t-k-l}]} + \sum_{l=1}^{n}{\theta_l C_{ov}[\epsilon_{t-l},\epsilon_{t-k} ]} \\ &\ \ \ \ +\sum_{l=1}^{n}\sum_{m=1}^{n}{\theta_l\theta_m C_{ov}[\epsilon_{t-l},\epsilon_{t-k-m}]} \end{aligned}$

ここで $k\leq n$ ならば $C_{ov}[\epsilon_t,\epsilon_{t-k}]= \left\{ \begin{array}{} \sigma^2 & ,k=0,\\ 0 & ,k\neq 0 \end{array} \right.$ であることに注意すると

$\begin{aligned} \gamma_k&=\sum_{l=1}^{n} {\theta_l C_{ov}[\epsilon_{t-l},\epsilon_{t-k}} ] +\sum_{l=1}^{n}\sum_{m=1}^{n}\theta_l\theta_m C_{ov}[\epsilon_{t-l},\epsilon_{t-k-m}] \\ &=\theta_k \sigma^2+\sigma^2 \sum_{l=1}^{k-1}{\theta_l \theta_{k-l}} \\ &=(\theta_k+\sum_{l=1}^{k-1}{\theta_l \theta_{k-l}}) \sigma^2 \end{aligned}$

である。他方で $k>n$ ならばいずれの項も $0$ となるから $\gamma_k=0$ である。したがって

$\begin{aligned} \gamma_k= \left\{ \begin{array}{} (\theta_k+\sum_{l=1}^{k-1}{\theta_l \theta_{k-l}}) \sigma^2 & ,k\leq n,\\ 0 & ,k>n \end{array} \right. \end{aligned}$

　ここから

$\begin{aligned} \rho_k= \left\{ \begin{array}{} \frac{(\theta_k+\sum_{l=1}^{k-1}{\theta_l \theta_{k-l}}) \sigma^2}{(1+\sum_{l=1}^{n}{\theta_l}^2)\sigma^2} & ,k\leq n,\\ 0 & ,k>n \end{array} \right. \end{aligned}$

である。これらの結果から期待値はラグに依存せず定数であり、分散および自己共分散（自己相関係数）がラグにのみ依存することからMA過程は弱定常である。
　他方で $MA$ 過程は $2$ つの欠点を持つ。 $1$ つは長期の（大きい $n$ の）自己相関をモデリングするにはそれよりも多い数の観測数が必要となるため、モデル構築の実務上不便である。また $MA$ 過程はホワイトノイズの線形和で与えられるためモデルの解釈が困難である。

まとめ

　今回は定常性とホワイトノイズ・ $MA$ 過程について触れた。いずれも（特に前二者は）基礎的な時系列解析において重要な理論である。次回は $AR$ 過程について触れることとする。

*1: $\epsilon_{t}\sim W.N.(\sigma^2)$ は $\epsilon_{t}$ がその分散が $\sigma^2$ であるようなホワイトノイズであることを意味する。