時系列解析の基礎(03/XX) - 「大人の教養・知識・気付き」を伸ばすブログ

　以下の書籍

経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)

作者:竜義, 沖本
朝倉書店

Amazon

を中心に時系列解析を勉強していきます。

前回

power-of-awareness.com

前回
3.　ARMA過程
次回
参考文献

3.　ARMA過程

3.3　AR過程

　ある時点の値にそれ以前の値を盛り込む方法として自己回帰( $\mathrm{AR}$ )過程がある。 $n$ 次 $\mathrm{AR}$ 過程は

$\begin{aligned} y_t=c+\sum_{j=1}^{n}\phi_{j}y_{t-j}+\varepsilon_t,\ \varepsilon_{t}\sim W.N.(\sigma^2) \end{aligned}$

と定義され、 $y_t\sim AR(n)$ と書く。確率的変動は $\mathrm{MA}$ 過程と同様に攪乱項（ $\varepsilon_t$ ）がもたらす。定常性の有無はパラメータの値に依存して決まる。
　 $1$ 次 $\mathrm{AR}$ 過程は

$\begin{aligned} y_t=c+\phi_{1}y_{t-1}+\varepsilon_{t},\ \varepsilon_{t}\sim W.N.(\sigma^2) \end{aligned}$

と書ける。
　一般の $n$ 次 $\mathrm{AR}$ 過程について、ホワイトノイズ $\varepsilon_t$ の期待値が $0$ であることに注意すると

$\begin{aligned} E[y_t]&=E\left[c+\displaystyle{\sum_{j=1}^{n}\phi_{j}y_{t-j}}+\varepsilon_t\right]\\ &=c+\displaystyle{\sum_{j=1}^{n}\phi_{j}E[y_{t-j}]+E[\varepsilon_{t}]}\\ &=c+\displaystyle{\sum_{j=1}^{n}\phi_{j}E[y_{t-j}]} \end{aligned}$

である。この過程が弱定常であると仮定すると、 $E[y_t]=\cdots=E[y_{t-n}]=\mu$ であるから、

$\begin{aligned} &\mu=c+\mu\sum_{j=1}^{n}\phi_{j}\\ \therefore&\ \mu=\frac{c}{1-\displaystyle{\sum_{j=1}^{n}\phi_{j} } } \end{aligned}$

となる*1。
　また分散は

$\begin{aligned} V[y_t]&=V\left[c+\displaystyle{\sum_{j=1}^{n}\phi_{j}y_{t-j}}+\varepsilon_t\right]\\ &=\displaystyle{\sum_{j=1}^{n}{\phi_{j}}^2V[y_{t-j}]+V[\varepsilon_t]}\\ &=\displaystyle{\sum_{j=1}^{n}{\phi_{j}}^2V[y_{t-j}]+\sigma^2} \end{aligned}$

である。この過程が弱定常であると仮定すると、 $V[y_t]=V[y_{t-1}]=\cdots=\gamma_{0}$ であるから

$\begin{aligned} \gamma_{0}&=\gamma_{0}\sum_{j=1}^{n}{\phi_{j}}^2+\sigma^2 \\ \left(1-\sum_{j=1}^{n}{\phi_{j}}^2\right)\gamma_{0}&=\sigma^2, \end{aligned}$

すなわち、

$\begin{aligned} V[y_t]=\gamma_0=\displaystyle\frac{\sigma^2}{1-\displaystyle{\sum_{j=1}^{n}{\phi_{j}}^2} } \end{aligned}$

である。
　さらにラグ $k\leq n$ に対して自己共分散 $\gamma_k$ を計算する。 $\mathrm{AR}$ 過程の方程式

$\begin{aligned} y_t=c+\sum_{i=1}^{n}\phi_{i}y_{t-i}+\varepsilon_t \end{aligned}$

に対して両辺とそれぞれ $y_t,\cdots,y_{t-n}$ との共分散を取ることで

$\begin{aligned} \begin{cases} \mathrm{Cov}[y_t,y_t]&=\mathrm{Cov}\left[c+\displaystyle{\sum_{i=1}^{n}\phi_{i}y_{t-i}+\varepsilon_t,y_t}\right],\\ &\vdots\\ \mathrm{Cov}[y_t,y_{t-n}]&=\mathrm{Cov}\left[c+\displaystyle{\sum_{i=1}^{n}\phi_{i}y_{t-i}+\varepsilon_t,y_{t-n}}\right] \end{cases} \end{aligned}$

であり、これをまとめることで

$\begin{aligned} \begin{cases} \gamma_0&=\displaystyle{\sum_{i=1}^{n}\phi_{i}\gamma_i},\\ &\vdots \\ \gamma_n&=\displaystyle{\sum_{i=1}^{n}\phi_{i}\gamma_{n-i}} \end{cases} \end{aligned}$

を得る。このように自己共分散 $\gamma_k$ は上記の連立方程式の解として得られる。この連立方程式の両辺を $\gamma_0$ で割って自己相関係数にしたものを $\mathrm{Yule}$ - $\mathrm{Walker}$ 方程式と呼ぶ。
　なお定常性の有無については、以下の方程式( $\mathrm{AR}$ 方程式と呼ぶ。)

$\begin{aligned} 1-\phi_{1}z-\cdots-\phi_{n}z^{n}=0 \end{aligned}$

の解の絶対値がすべて $1$ よりも大きいことと定常性をもつことが同値であることが知られている。また同方程式が共役な複素数 $z=a\pm{ib}$ をもつとき、この過程は周期が $\displaystyle\frac{2\pi}{\cos^{-1}\left({\frac{a}{\sqrt{a^2+b^2}}}\right)}$ となる循環成分をもつことも知られている。

###############
### AR過程 ###
###############

init_var <- 0
param_ar <- 0.4

vc_white_noise <- rnorm(500,0,1)

vc_ar <- c(init_var)

for(i in 2:length(vc_white_noise)){
  vc_ar <- c(vc_ar,vc_white_noise[i] + param_ar * vc_ar[i-1])
}

df_ar <- data.frame(date = 1:length(vc_white_noise),
                    AR = vc_ar)

# 図示
g <- ggplot(df_ar,aes(x = date, y = AR, color = "blue")) + geom_line()
g <- g + theme_classic() 
g <- g + ggtitle(paste0("AR過程(ドリフト=",init_var,", 係数=",param_ar,")"))
g <- g + labs(x ="",y="")
g <- g+ theme(plot.title = element_text(hjust = 0.5),legend.position = "none",
              legend.title=element_text(size = 7),
              legend.text=element_text(size = 7))
g <- g + geom_hline(yintercept = 0, linetype = 1)
g <- g + geom_hline(yintercept = -3, linetype = 3) + 
  geom_hline(yintercept = -2, linetype = 3) + 
  geom_hline(yintercept = -1, linetype = 3) + 
  geom_hline(yintercept = 1, linetype = 3) + 
  geom_hline(yintercept = 2, linetype = 3) + 
  geom_hline(yintercept = 3, linetype = 3)
g <- g + scale_y_continuous(labels = seq(-3,3,1),breaks  = seq(-3,3,1))
plot(g)

3.4　ARMA過程

　自己回帰項と移動平均項を両方とも含んだ過程を考えることができ、これを自己回帰移動平均( $\mathrm{ARMA}$ )過程という。 $(p,q)$ 次 $\mathrm{ARMA}$ 過程は

$\begin{aligned} y_t=c+\sum_{i=1}^{p}\phi_{i}y_{t-i}+\sum_{j=1}^{q}\theta_{j}\varepsilon_{t-j},\varepsilon_{t}\sim W.N.(\sigma^2) \end{aligned}$

と定義される。 $y_t\sim ARMA(p.q)$ と書く。 $\mathrm{AR}$ 過程および $\mathrm{MA}$ 過程の双方の性質を有し、どちらが強いかで構築した $\mathrm{ARMA}$ モデルの性質が決まる。
　ホワイトノイズの期待値が $0$ であることに注意すると

$\begin{aligned} E[y_t]&=E\left[c+\sum_{i=1}^{p}\phi_{i}y_{t-i}+\sum_{j=1}^{q}\theta_{j}\varepsilon_{t-j}\right]\\ &=c+\sum_{i=1}^{p}\phi_{i}E[y_{t-i}]+\sum_{j=1}^{q}\theta_{j}E[\varepsilon_{t-j}] \\ &=c+\sum_{i=1}^{p}\phi_{i}E[y_{t-i}] \end{aligned}$

　 $\mathrm{AR}$ 過程のときと同様に考える、すなわちこの過程が弱定常であると仮定すると、 $E[y_t]=\cdots=E[y_{t-n}]=\mu$ であるから、

$\begin{aligned} \mu&=c+\sum_{i=1}^{p}\phi_{i}E[y_{t-i}]\\ &=c+\sum_{i=1}^{p}\phi_{i}\mu\\ \therefore \mu&=\frac{c}{1-\displaystyle\sum_{i=1}^{p}\phi_{i}} \end{aligned}$

を得る。
　 $\mathrm{ARMA}$ 過程は $\mathrm{AR}$ 過程と $\mathrm{MA}$ 過程それぞれがもつ特徴を共にもつことも推察できるように、定常とは限らないうえ、任意のMA過程についてある期待値および自己相関構造（自己共分散および自己相関係数）を指定してもそれを満たす $\mathrm{MA}$ 過程は複数存在する（一意ではない）ことから、モデリングにあたってはモデル選択が必須であり、そのための基準が論点となる。
　定常な $\mathrm{ARMA}$ $(p,q)$ 過程は以下のような性質を持つ：

定常 $\mathrm{ARMA}$ 過程の性質　定常な $\mathrm{ARMA}$ $(p,q)$ 過程について以下が成り立つ：

(1) $\mu=E[y_t]=\displaystyle{\frac{c}{1-\phi_1-\cdots-\phi_p}}$

(2) $q+1$ 次以降の自己共分散と自己相関は $y_t$ が従う $\mathrm{ARMA}$ 過程の $\mathrm{AR}$ 部分と同一の係数をもつ以下の $p$ 次差分方程式に従う

$\begin{aligned} \gamma_k=&\phi_1\gamma_{k-1}+\cdots+\phi_p\gamma_{k-p},\ &k\geq q+1\\ \rho_k=&\phi_1\rho_{k-1}+\cdots+\phi_p\rho_{k-p},\ &k\geq q+1 \end{aligned}$

(3) $\mathrm{ARMA}$ 過程の自己相関は指数的に減衰する。

3.5.　ARMA過程の定常性と反転可能性

　 $\mathrm{MA}$ 過程は常に定常であるものの、任意の $\mathrm{MA}$ 過程に対して同一の期待値と自己相関構造を持つ異なる $\mathrm{MA}$ 過程が複数存在するという問題がある。すなわち期待値や自己相関といった母数を与えても一意に定まらない。そこで自己相関をモデル化するのにどのようなモデルを使うべきかが定かではない。
　そこで自己相関をモデル化するに当たり適当な $\mathrm{MA}$ 過程を定めるための基準として反転可能性という概念を導入する。

3.5.1　AR過程の定常性

　 $\mathrm{AR}$ 過程が定常になるのは、 $\mathrm{AR}$ 過程と同一の係数をもつ差分方程式が安定的になる場合である。
　より具体的に述べよう。 $\mathrm{AR}(p)$ 過程

$\begin{aligned} y_t=c+\displaystyle{\sum_{i=1}^{p}\phi_{i}y_{t-i}}+\varepsilon_t \end{aligned}$

の定常条件は、

$\begin{aligned} 1-\phi_{1}z-\cdots-\phi_{p}z^p=0 \end{aligned}$

のすべての解の絶対値が $1$ よりも大きいことである。この式を $\mathrm{AR}$ 特性方程式という。

3.5.2　MA過程の定常性

　前述したように、 $\mathrm{MA}$ 過程は常に定常ではあるものの任意の $\mathrm{MA}$ 過程に対して同一の期待値と自己相関構造を持つ異なる $\mathrm{MA}$ 過程が複数存在する。

3.6　ARMA過程の定常性：反転可能性

　 $\mathrm{AR}$ 過程の定常性についてはAR特性方程式が安定的であることが必要だとすでに述べたが、それが $\mathrm{ARMA}$ 過程にそのまま援用できる。他方で $\mathrm{AR}$ 過程が定常であることはその過程が $\mathrm{MA}$ 過程に書き直すことができることと同値であることが知られている。
　たとえば1次 $\mathrm{AR}$ 過程 $y_t=\phi_1y_{t-1}+\varepsilon_t, \varepsilon_t\sim W.N.(\sigma^2)$ を考える。逐次的に代入していくことで

$\begin{aligned} y_t&=\phi_1y_{t-1}+\varepsilon_t\\ &=\phi_1(\phi_1y_{t-2}+\varepsilon_{t-1})+\varepsilon_t \\ &\ \ \vdots\\ &=\sum_{k=1}^{k}{\phi_1}^{k}y_{t-k}+\sum_{l=0}^{k}{\phi_1}^l\varepsilon_{t-l}. \end{aligned}$

が得られる。ここでAR過程が定常ならば $|\phi_1|\lt1$ であるから、 $(第一項)\rightarrow0(k\rightarrow\infty)$ となる。したがって定常な1次AR過程 $y_t=\phi_1y_{t-1}+\varepsilon_t, \varepsilon_t\sim W.N.(\sigma^2)$ について

$y_t=\displaystyle{\sum_{l=0}^{\infty}{\phi_1}^l\varepsilon_{t-l}}$

と書き直すことが可能である。この反転可能性が $\mathrm{AR}$ 過程の定常性についての別の表現となる。
　 $\mathrm{MA}$ 過程の選択に当たっても「反転可能性」に注目することとなる。すなわち $\mathrm{MA}$ 過程が $\mathrm{AR}(\infty)$ 過程に書き直せるときにその $\mathrm{MA}$ 過程は反転可能であると呼ばれる。同一の期待値と自己相関構造をもつ $\mathrm{MA}$ 過程のうち反転可能性のあるものは1つしかないことが知られている。ではある $\mathrm{MA}$ 過程が与えられたときにそれが反転可能性を持つか否かをどう判定すべきかというと、その過程の係数を用いた方程式

$1+\theta_{1}z+\cdots+\theta_{p}z^{p}=0$

の解について調べればよい。この $\mathrm{MA}$ 特性方程式についてすべての解の絶対値が1よりも大きいならば、その $\mathrm{MA}$ 過程は反転可能である。
　さて以上を踏まえると、 $\mathrm{ARMA}$ 過程についても定常性を判定する手段を考えることができる。 $\mathrm{MA}$ 過程はつねに定常である。定常過程の和は定常過程になる*2から、ARMA過程はAR過程部分のAR特性方程式を考えればよいことになる。

次回

power-of-awareness.com

参考文献

沖本竜義(2010)「経済・ファイナンスデータの計量時系列分析」(朝倉書店)
北川源四郎(2020)「Rによる時系列モデリング入門」（岩波書店）
柴田里程(2017)「時系列解析」(共立出版)
白石博(2022)「時系列データ解析」(森北出版)
萩原淳一郎，瓜生真也，牧山幸史[著]，石田基広[監修](2018)「基礎からわかる時系列分析　Rで実践するカルマンフィルタ・MCMC・粒子フィルタ」(技術評論社)

*1:ここから $\displaystyle{\sum_{j=1}^{n}\phi_{j}}\neq 1$ でなければならないと示唆される。

*2:実際、それぞれ期待値と自己共分散 $(\mu_{1},\gamma_{k,1}), (\mu_{2},\gamma_{k,2})\in\mathbb{R}\times[0,\infty)$ をもち、互いに独立な2つの弱定常な過程 $x_t,y_t$ があるとき、それらの和からなる過程 $z_{t}=x_{t}+y_{t}$ は

$\begin{aligned} E[z_t]&=E[x_{t}+y_{t}] \\ &=E[x_{t}]+E[y_{t}] \\ &=\mu_1+\mu_2 \end{aligned}$

であり、

$\begin{aligned} \mathrm{Cov}[z_{t},z_{t-k}]&=\mathrm{Cov}[x_{t}+y_{t},x_{t-k}+y_{t-k}] \\ &=\mathrm{Cov}[x_{t}+y_{t},x_{t-k}]+\mathrm{Cov}[x_{t}+y_{t},y_{t-k}] \\ &=\mathrm{Cov}[x_{t},x_{t-k}]+\mathrm{Cov}[y_{t},x_{t-k}]+\mathrm{Cov}[x_{t},y_{t-k}]+\mathrm{Cov}[y_{t},y_{t-k}] \\ &=\gamma_{k,1}+\mathrm{Cov}[y_{t},x_{t-k}]+\mathrm{Cov}[x_{t},y_{t-k}]+\gamma_{k,2} \\ &=\gamma_{k,1}+\gamma_{k,2}(\because x_{t}とy_{t}は互いに独立.). \end{aligned}$