【数理統計】時系列解析Vol.03：AR過程 - 「大人の教養・知識・気付き」を伸ばすブログ

　前回は時系列解析の基礎として定常性やホワイトノイズを導入した後、いよいよ $MA$ 過程を導入した。 $MA$ 過程はランダムな変動の集積として現時点の値を説明するものだった。

zeitgeist.hatenablog.com

引き続き、以下の書籍を基に学んだことを整理していく。

経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)

作者:竜義, 沖本
発売日: 2010/02/01
メディア: 単行本

基礎からわかる時系列分析 ―Rで実践するカルマンフィルタ・MCMC・粒子フィルター (Data Science Library)

作者:萩原淳一郎,瓜生真也,牧山幸史
発売日: 2018/03/23
メディア: 大型本

3.ARMA過程（2）

AR過程

まとめ

3.ARMA過程（2）

　前回学んだことを復習しておこう。

　時系列解析で焦点を当てているのは異時点間の相関であるからそれをモデルに織り込むことが論点となる。その相関のモデル化には2つの考え方がある。1つは異なる時点の値に共通の成分を含める方法である。もう1つの方法はある時点に過去時点の値を盛り込む方法である。前者が $MA$ 過程であり後者が $AR$ 過程である。実はこれらを組み合わせた $ARMA$ 過程を考えることもできる。

　このうち後者の方を今回は扱おう。

AR過程

　ある時点の値にそれ以前の値を盛り込む方法として自己回帰（ $AR$ ）過程がある。 $n$ 次 $AR$ 過程は

$\begin{aligned} y_t=c+\sum_{j=1}^{n}\phi_{j}y_{t-j}+\epsilon_t,\epsilon_{t}\sim W.N.(\sigma^2) \end{aligned}$

と定義され、 $y_t\sim AR(n)$ と書く。確率的変動は $MA$ 過程と同様に攪乱項（ $\epsilon_t$ ）がもたらす。

f:id:suguru_125:20200506203236j:plain — シミュレーション結果

f:id:suguru_125:20200506203241j:plain — シミュレーション結果

また上に掲げるシミュレーションから予想されるように、定常性の有無はパラメータの値に依存して決まる。
　具体例を考えてみよう。たとえば $1$ 次 $AR$ 過程は

$\begin{aligned} y_t=c+\phi_{1}y_{t-1}+\epsilon_{t},\epsilon_{t}\sim W.N.(\sigma^2) \end{aligned}$

と書ける。
　さて一般の $n$ 次 $AR$ 過程について、ホワイトノイズの期待値が $0$ であることに注意すると

$\begin{aligned} E[y_t]&=E[c+\sum_{j=1}^{n}\phi_{j}y_{t-j}+\epsilon_t]\\ &=c+\sum_{j=1}^{n}\phi_{j}E[y_{t-j}]+E[\epsilon_{t}] \\ &=c+\sum_{j=1}^{n}\phi_{j}E[y_{t-j}]. \end{aligned}$

である。この過程が弱定常であると仮定すると、 $E[y_t]=\cdots=E[y_{t-n}]=\mu$ であるから、

$\begin{aligned} \mu=c+\mu\sum_{j=1}^{n}\phi_{j}\ \ \ \ \therefore \mu=\frac{c}{1-\sum_{j=1}^{n}\phi_{j}}. \end{aligned}$

となる*1。
　また分散は

$\begin{aligned} V[y_t]&=V[c+\sum_{j=1}^{n}\phi_{j}y_{t-j}+\epsilon_t] \\ &=\sum_{j=1}^{n}{\phi_{j}}^2V[y_{t-j}]+V[\epsilon_t] \\ &=\sum_{j=1}^{n}{\phi_{j}}^2V[y_{t-j}]+\sigma^2. \end{aligned}$

である。この過程が弱定常であると仮定すると、 $V[y_t]=V[y_{t-1}]=\cdots=\gamma_{0}$ であるから

$\begin{aligned} \gamma_{0}&=\gamma_{0}\sum_{j=1}^{n}{\phi_{j}}^2+\sigma^2 \\ (1-\sum_{j=1}^{n}{\phi_{j}}^2)\gamma_{0}&=\sigma^2. \end{aligned}$

すなわち、

$\begin{aligned} V[y_t]=\gamma_0=\displaystyle\frac{\sigma^2}{1-\sum_{j=1}^{n}{\phi_{j}}^2} \end{aligned}$

である。
　さらにラグ $k\leq n$ に対して自己共分散 $\gamma_k$ を計算する。 $AR$ 過程の方程式

$\begin{aligned} y_t=c+\sum_{i=1}^{n}\phi_{i}y_{t-i}+\epsilon_t \end{aligned}$

に対して両辺とそれぞれ $y_t,\cdots,y_{t-n}$ との共分散を取ることで
\begin{eqnarray}
\begin{cases}
C_{ov}[y_t,y_t]=C_{ov}[c+\sum_{i=1}^{n}\phi_{i}y_{t-i}+\epsilon_t,y_t], &\\
\vdots & \\
C_{ov}[y_t,y_{t-n}]=C_{ov}[c+\sum_{i=1}^{n}\phi_{i}y_{t-i}+\epsilon_t,y_{t-n}] &
\end{cases}
\end{eqnarray}
であり、これをまとめると
\begin{eqnarray}
\begin{cases}
\gamma_0=\displaystyle \sum_{i=1}^{n}\phi_{i}\gamma_i, &\\
\vdots, & \\
\gamma_n=\displaystyle \sum_{i=1}^{n}\phi_{i}\gamma_{n-i}. &
\end{cases}
\end{eqnarray}
このように自己共分散 $\gamma_k$ は上記の連立方程式の解として得られる。この連立方程式の両辺を $\gamma_0$ で割って自己相関係数にしたものを $Yule$ - $Walker$ 方程式と呼ぶ。
　なお定常性の有無については、以下の方程式（ $AR$ 方程式）

$1-\phi_{1}z-\cdots-\phi_{n}z^{n}=0$

の解の絶対値がすべて $1$ よりも大きいことと定常性をもつことが同値であることが知られている。また同方程式が共役な複素数 $z=a\pm{bi}$ をもつとき、この過程は周期が $\displaystyle\frac{2\pi}{\cos^{-1}{\frac{a}{\sqrt{a^2+b^2}}}}$ となる循環成分をもつことも知られている。

まとめ

　以上のとおり、 $AR$ 過程を導入した。 $AR$ 過程は $MA$ 過程に比較して定常性を必ずしも持つわけではないという欠点をもつものの、自己共分散が解析（数値）的に計算できることや循環成分を表現することができることなど、解析において利点を有する（特に $MA$ 過程により直感的に理解しやすい）。

*1:ここから $\sum_{j=1}^{n}\phi_{j}\neq 1$ でなければならないと示唆される。