【数理統計】時系列解析Vol.04：ARMA過程 - 「大人の教養・知識・気付き」を伸ばすブログ

　前回はAR過程を導入した。

zeitgeist.hatenablog.com

引き続き、以下の書籍を基に学んだことを整理していく。

経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)

作者:竜義, 沖本
発売日: 2010/02/01
メディア: 単行本

基礎からわかる時系列分析 ―Rで実践するカルマンフィルタ・MCMC・粒子フィルター (Data Science Library)

作者:萩原淳一郎,瓜生真也,牧山幸史
発売日: 2018/03/23
メディア: 大型本

4.ARMA過程（3）

ARMA過程

AR過程の定常性：反転可能性

まとめ

4.ARMA過程（3）

ARMA過程

　ARMA過程は自己回帰項と移動平均項を両方含むような過程である。 $(p,q)$ 次 $ARMA$ 過程は

$\begin{aligned} y_t=c+\sum_{i=1}^{p}\phi_{i}y_{t-i}+\sum_{j=1}^{q}\theta_{j}\epsilon_{t-j},\epsilon_{t}\sim W.N.(\sigma^2) \end{aligned}$

である。
　ホワイトノイズの期待値が0であることに注意すると

$\begin{aligned} E[y_t]&=E[c+\sum_{i=1}^{p}\phi_{i}y_{t-i}+\sum_{j=1}^{q}\theta_{j}\epsilon_{t-j}]\\ &=c+\sum_{i=1}^{p}\phi_{i}E[y_{t-i}]+\sum_{j=1}^{q}\theta_{j}E[\epsilon_{t-j}] \\ &=c+\sum_{i=1}^{p}\phi_{i}E[y_{t-i}]. \end{aligned}$

　AR過程のときと同様に考える、すなわちこの過程が弱定常であると仮定すると、 $E[y_t]=\cdots=E[y_{t-n}]=\mu$ であるから、

$\begin{aligned} \mu&=c+\sum_{i=1}^{p}\phi_{i}E[y_{t-i}]\\ &=c+\sum_{i=1}^{p}\phi_{i}\mu. \\ \therefore \mu&=\frac{c}{1-\displaystyle\sum_{i=1}^{p}\phi_{i}}. \end{aligned}$

　ARMA過程はAR過程とMA過程それぞれがもつ特徴を共にもつことも推察できるように、定常とは限らないうえ、任意のMA過程についてある期待値および自己相関構造（自己共分散および自己相関係数）を指定してもそれを満たすMA過程は複数存在する（一意ではない）ことから、モデリングにあたってはモデル選択が必須であり、そのための基準が論点となる。

AR過程の定常性：反転可能性

　AR過程の定常性についてはAR特性方程式が安定的であることが必要だとすでに述べたが、それがARMA過程にそのまま援用できる。他方でAR過程が定常であることはそのAR過程がMA過程に書き直すことができることと同値であることが知られている。
　たとえば1次AR過程 $y_t=\phi_1y_{t-1}+\epsilon_t, \epsilon_t~W.N.(\sigma^2)$ を考える。逐次的に代入していくことで

$\begin{aligned} y_t&=\phi_1y_{t-1}+\epsilon_t\\ &=\phi_1(\phi_1y_{t-2}+\epsilon_{t-1})+\epsilon_t \\ &\ \ \vdots\\ &=\sum_{k=1}^{k}{\phi_1}^{k}y_{t-k}+\sum_{l=0}^{k}{\phi_1}^l\epsilon_{t-l}. \end{aligned}$

が得られる。ここでAR過程が定常ならば $|\phi_1|<1$ であるから、 $(第一項)\rightarrow0(k\rightarrow\infty)$ となる。したがって定常な1次AR過程 $y_t=\phi_1y_{t-1}+\epsilon_t, \epsilon_t~W.N.(\sigma^2)$ について

$y_t=\sum_{l=0}^{\infty}{\phi_1}^l\epsilon_{t-l}$

と書き直すことが可能である。この反転可能性がAR過程の定常性についての別の表現となる。
　MA過程の選択に当たっても「反転可能性」に注目することとなる。すなわちMA過程がAR( $\infty$ )過程に書き直せるときにそのMA過程は反転可能であると呼ばれるが、同一の期待値と自己相関構造をもつMA過程のうち反転可能性のあるものは1つしかないことが知られている。ではあるMA過程が与えられたときにそれが反転可能性を持つか否かをどう判定すべきかというと、その過程の係数を用いた方程式

$1+\theta_{1}z+\cdots+\theta_{p}z^{p}=0$

の解について調べればよい。このMA特性方程式についてすべての解の絶対値が1よりも大きいならば、そのMA過程は反転可能である。
　さて以上を踏まえると、ARMA過程についても定常性を判定する手段を考えることができる。MA過程はつねに定常である。定常過程の和は定常過程になる*1から、ARMA過程はAR過程部分のAR特性方程式を考えればよいことになる。

まとめ

　以上、ARMA過程を導入し、その定常性について考えた。そこでのポイントはARMA過程がAR過程とMA過程の和で表現されるためにそれぞれの特徴を有する点であった。次回は、このように導入したARMA過程について母数を推定する方法について述べる。

*1:実際、それぞれ期待値と自己共分散 $(\mu_{1},\gamma_{k,1}), (\mu_{2},\gamma_{k,2})\in \{R\times[0,\infty)\}$ をもち、互いに独立な2つの弱定常な過程 $x_t,y_t$ があるとき、それらの和からなる過程 $z_{t}=x_{t}+y_{t}$ は

$\begin{aligned} E[z_t]&=E[x_{t}+y_{t}] \\ &=E[x_{t}]+E[y_{t}] \\ &=\mu_1+\mu_2. \end{aligned}$

であり、

$\begin{aligned} C_{ov}[z_{t},z_{t-k}]&=C_{ov}[x_{t}+y_{t},x_{t-k}+y_{t-k}] \\ &=C_{ov}[x_{t}+y_{t},x_{t-k}]+C_{ov}[x_{t}+y_{t},y_{t-k}] \\ &=C_{ov}[x_{t},x_{t-k}]+C_{ov}[y_{t},x_{t-k}]+C_{ov}[x_{t},y_{t-k}]+C_{ov}[y_{t},y_{t-k}] \\ &=\gamma_{k,1}+C_{ov}[y_{t},x_{t-k}]+C_{ov}[x_{t},y_{t-k}]+\gamma_{k,2} \\ &=\gamma_{k,1}+\gamma_{k,2}(\because x_{t}とy_{t}は互いに独立.). \end{aligned}$

となるから、過程 $\{z_{t}\}$ は期待値が時点 $t$ に依存せず自己共分散はラグ $k$ にのみ依存する、すなわち弱定常である。ホワイトノイズはその定義から任意の他の過程と相関がない。