「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。

MENU

時系列解析の基礎(03/XX)

 以下の書籍

を中心に時系列解析を勉強していきます。

3. ARMA過程

3.3 AR過程

 ある時点の値にそれ以前の値を盛り込む方法として自己回帰(\mathrm{AR})過程がある。n\mathrm{AR}過程は


\begin{aligned}
y_t=c+\sum_{j=1}^{n}\phi_{j}y_{t-j}+\varepsilon_t,\ \varepsilon_{t}\sim W.N.(\sigma^2)
\end{aligned}

と定義され、y_t\sim AR(n)と書く。確率的変動は\mathrm{MA}過程と同様に攪乱項(\varepsilon_t)がもたらす。定常性の有無はパラメータの値に依存して決まる。
 1\mathrm{AR}過程は


\begin{aligned}
y_t=c+\phi_{1}y_{t-1}+\varepsilon_{t},\ \varepsilon_{t}\sim W.N.(\sigma^2)
\end{aligned}

と書ける。
 一般のn\mathrm{AR}過程について、ホワイトノイズ\varepsilon_tの期待値が0であることに注意すると


\begin{aligned}
E[y_t]&=E\left[c+\displaystyle{\sum_{j=1}^{n}\phi_{j}y_{t-j}}+\varepsilon_t\right]\\
           &=c+\displaystyle{\sum_{j=1}^{n}\phi_{j}E[y_{t-j}]+E[\varepsilon_{t}]}\\
           &=c+\displaystyle{\sum_{j=1}^{n}\phi_{j}E[y_{t-j}]}
\end{aligned}

である。この過程が弱定常であると仮定すると、E[y_t]=\cdots=E[y_{t-n}]=\muであるから、


\begin{aligned}
&\mu=c+\mu\sum_{j=1}^{n}\phi_{j}\\
\therefore&\ \mu=\frac{c}{1-\displaystyle{\sum_{j=1}^{n}\phi_{j} } }
\end{aligned}

となる*1
 また分散は


\begin{aligned}
V[y_t]&=V\left[c+\displaystyle{\sum_{j=1}^{n}\phi_{j}y_{t-j}}+\varepsilon_t\right]\\
            &=\displaystyle{\sum_{j=1}^{n}{\phi_{j}}^2V[y_{t-j}]+V[\varepsilon_t]}\\
            &=\displaystyle{\sum_{j=1}^{n}{\phi_{j}}^2V[y_{t-j}]+\sigma^2}
\end{aligned}

である。この過程が弱定常であると仮定すると、V[y_t]=V[y_{t-1}]=\cdots=\gamma_{0}であるから


\begin{aligned}
\gamma_{0}&=\gamma_{0}\sum_{j=1}^{n}{\phi_{j}}^2+\sigma^2 \\
\left(1-\sum_{j=1}^{n}{\phi_{j}}^2\right)\gamma_{0}&=\sigma^2,
\end{aligned}

すなわち、


\begin{aligned}
V[y_t]=\gamma_0=\displaystyle\frac{\sigma^2}{1-\displaystyle{\sum_{j=1}^{n}{\phi_{j}}^2} }
\end{aligned}

である。
 さらにラグk\leq nに対して自己共分散\gamma_kを計算する。\mathrm{AR}過程の方程式


\begin{aligned}
y_t=c+\sum_{i=1}^{n}\phi_{i}y_{t-i}+\varepsilon_t
\end{aligned}

に対して両辺とそれぞれy_t,\cdots,y_{t-n}との共分散を取ることで


\begin{aligned}
\begin{cases}
\mathrm{Cov}[y_t,y_t]&=\mathrm{Cov}\left[c+\displaystyle{\sum_{i=1}^{n}\phi_{i}y_{t-i}+\varepsilon_t,y_t}\right],\\
&\vdots\\
\mathrm{Cov}[y_t,y_{t-n}]&=\mathrm{Cov}\left[c+\displaystyle{\sum_{i=1}^{n}\phi_{i}y_{t-i}+\varepsilon_t,y_{t-n}}\right]
\end{cases}
\end{aligned}

であり、これをまとめることで


\begin{aligned}
\begin{cases}
\gamma_0&=\displaystyle{\sum_{i=1}^{n}\phi_{i}\gamma_i},\\
                 &\vdots  \\
\gamma_n&=\displaystyle{\sum_{i=1}^{n}\phi_{i}\gamma_{n-i}}
\end{cases}
\end{aligned}

を得る。このように自己共分散\gamma_kは上記の連立方程式の解として得られる。この連立方程式の両辺を\gamma_0で割って自己相関係数にしたものを\mathrm{Yule}-\mathrm{Walker}方程式と呼ぶ。
 なお定常性の有無については、以下の方程式(\mathrm{AR}方程式と呼ぶ。)


\begin{aligned}
1-\phi_{1}z-\cdots-\phi_{n}z^{n}=0
\end{aligned}

の解の絶対値がすべて1よりも大きいことと定常性をもつことが同値であることが知られている。また同方程式が共役な複素数z=a\pm{ib}をもつとき、この過程は周期が\displaystyle\frac{2\pi}{\cos^{-1}\left({\frac{a}{\sqrt{a^2+b^2}}}\right)}となる循環成分をもつことも知られている。

###############
### AR過程 ###
###############

init_var <- 0
param_ar <- 0.4

vc_white_noise <- rnorm(500,0,1)

vc_ar <- c(init_var)

for(i in 2:length(vc_white_noise)){
  vc_ar <- c(vc_ar,vc_white_noise[i] + param_ar * vc_ar[i-1])
}

df_ar <- data.frame(date = 1:length(vc_white_noise),
                    AR = vc_ar)

# 図示
g <- ggplot(df_ar,aes(x = date, y = AR, color = "blue")) + geom_line()
g <- g + theme_classic() 
g <- g + ggtitle(paste0("AR過程(ドリフト=",init_var,", 係数=",param_ar,")"))
g <- g + labs(x ="",y="")
g <- g+ theme(plot.title = element_text(hjust = 0.5),legend.position = "none",
              legend.title=element_text(size = 7),
              legend.text=element_text(size = 7))
g <- g + geom_hline(yintercept = 0, linetype = 1)
g <- g + geom_hline(yintercept = -3, linetype = 3) + 
  geom_hline(yintercept = -2, linetype = 3) + 
  geom_hline(yintercept = -1, linetype = 3) + 
  geom_hline(yintercept = 1, linetype = 3) + 
  geom_hline(yintercept = 2, linetype = 3) + 
  geom_hline(yintercept = 3, linetype = 3)
g <- g + scale_y_continuous(labels = seq(-3,3,1),breaks  = seq(-3,3,1))
plot(g)
         

3.4 ARMA過程

 自己回帰項と移動平均項を両方とも含んだ過程を考えることができ、これを自己回帰移動平均(\mathrm{ARMA})過程という。(p,q)\mathrm{ARMA}過程は


\begin{aligned}
y_t=c+\sum_{i=1}^{p}\phi_{i}y_{t-i}+\sum_{j=1}^{q}\theta_{j}\varepsilon_{t-j},\varepsilon_{t}\sim W.N.(\sigma^2)
\end{aligned}

と定義される。y_t\sim ARMA(p.q)と書く。\mathrm{AR}過程および\mathrm{MA}過程の双方の性質を有し、どちらが強いかで構築した\mathrm{ARMA}モデルの性質が決まる。
 ホワイトノイズの期待値が0であることに注意すると


\begin{aligned}
E[y_t]&=E\left[c+\sum_{i=1}^{p}\phi_{i}y_{t-i}+\sum_{j=1}^{q}\theta_{j}\varepsilon_{t-j}\right]\\
           &=c+\sum_{i=1}^{p}\phi_{i}E[y_{t-i}]+\sum_{j=1}^{q}\theta_{j}E[\varepsilon_{t-j}] \\
           &=c+\sum_{i=1}^{p}\phi_{i}E[y_{t-i}]
\end{aligned}
 \mathrm{AR}過程のときと同様に考える、すなわちこの過程が弱定常であると仮定すると、E[y_t]=\cdots=E[y_{t-n}]=\muであるから、

\begin{aligned}
\mu&=c+\sum_{i=1}^{p}\phi_{i}E[y_{t-i}]\\
           &=c+\sum_{i=1}^{p}\phi_{i}\mu\\
\therefore           \mu&=\frac{c}{1-\displaystyle\sum_{i=1}^{p}\phi_{i}}
\end{aligned}

を得る。
 \mathrm{ARMA}過程は\mathrm{AR}過程と\mathrm{MA}過程それぞれがもつ特徴を共にもつことも推察できるように、定常とは限らないうえ、任意のMA過程についてある期待値および自己相関構造(自己共分散および自己相関係数)を指定してもそれを満たす\mathrm{MA}過程は複数存在する(一意ではない)ことから、モデリングにあたってはモデル選択が必須であり、そのための基準が論点となる。
 定常な\mathrm{ARMA}(p,q)過程は以下のような性質を持つ:


定常\mathrm{ARMA}過程の性質 定常な\mathrm{ARMA}(p,q)過程について以下が成り立つ:

(1) \mu=E[y_t]=\displaystyle{\frac{c}{1-\phi_1-\cdots-\phi_p}}

(2) q+1次以降の自己共分散と自己相関はy_tが従う\mathrm{ARMA}過程の\mathrm{AR}部分と同一の係数をもつ以下のp次差分方程式に従う


\begin{aligned}
\gamma_k=&\phi_1\gamma_{k-1}+\cdots+\phi_p\gamma_{k-p},\ &k\geq q+1\\
\rho_k=&\phi_1\rho_{k-1}+\cdots+\phi_p\rho_{k-p},\ &k\geq q+1
\end{aligned}

(3) \mathrm{ARMA}過程の自己相関は指数的に減衰する。

3.5. ARMA過程の定常性と反転可能性

 \mathrm{MA}過程は常に定常であるものの、任意の\mathrm{MA}過程に対して同一の期待値と自己相関構造を持つ異なる\mathrm{MA}過程が複数存在するという問題がある。すなわち期待値や自己相関といった母数を与えても一意に定まらない。そこで自己相関をモデル化するのにどのようなモデルを使うべきかが定かではない。
 そこで自己相関をモデル化するに当たり適当な\mathrm{MA}過程を定めるための基準として反転可能性という概念を導入する。

3.5.1 AR過程の定常性

 \mathrm{AR}過程が定常になるのは、\mathrm{AR}過程と同一の係数をもつ差分方程式が安定的になる場合である。
 より具体的に述べよう。\mathrm{AR}(p)過程


\begin{aligned}
y_t=c+\displaystyle{\sum_{i=1}^{p}\phi_{i}y_{t-i}}+\varepsilon_t
\end{aligned}

の定常条件は、


\begin{aligned}
1-\phi_{1}z-\cdots-\phi_{p}z^p=0 
\end{aligned}

のすべての解の絶対値が1よりも大きいことである。この式を\mathrm{AR}特性方程式という。

3.5.2 MA過程の定常性

 前述したように、\mathrm{MA}過程は常に定常ではあるものの任意の\mathrm{MA}過程に対して同一の期待値と自己相関構造を持つ異なる\mathrm{MA}過程が複数存在する。

3.6 ARMA過程の定常性:反転可能性

 \mathrm{AR}過程の定常性についてはAR特性方程式が安定的であることが必要だとすでに述べたが、それが\mathrm{ARMA}過程にそのまま援用できる。他方で\mathrm{AR}過程が定常であることはその過程が\mathrm{MA}過程に書き直すことができることと同値であることが知られている。
 たとえば1次\mathrm{AR}過程y_t=\phi_1y_{t-1}+\varepsilon_t, \varepsilon_t\sim W.N.(\sigma^2)を考える。逐次的に代入していくことで


\begin{aligned}
y_t&=\phi_1y_{t-1}+\varepsilon_t\\
    &=\phi_1(\phi_1y_{t-2}+\varepsilon_{t-1})+\varepsilon_t \\
    &\ \ \vdots\\
    &=\sum_{k=1}^{k}{\phi_1}^{k}y_{t-k}+\sum_{l=0}^{k}{\phi_1}^l\varepsilon_{t-l}.
\end{aligned}

が得られる。ここでAR過程が定常ならば|\phi_1|\lt1であるから、(第一項)\rightarrow0(k\rightarrow\infty)となる。したがって定常な1次AR過程y_t=\phi_1y_{t-1}+\varepsilon_t, \varepsilon_t\sim W.N.(\sigma^2)について


y_t=\displaystyle{\sum_{l=0}^{\infty}{\phi_1}^l\varepsilon_{t-l}}

と書き直すことが可能である。この反転可能性が\mathrm{AR}過程の定常性についての別の表現となる。
 \mathrm{MA}過程の選択に当たっても「反転可能性」に注目することとなる。すなわち\mathrm{MA}過程が\mathrm{AR}(\infty)過程に書き直せるときにその\mathrm{MA}過程は反転可能であると呼ばれる。同一の期待値と自己相関構造をもつ\mathrm{MA}過程のうち反転可能性のあるものは1つしかないことが知られている。ではある\mathrm{MA}過程が与えられたときにそれが反転可能性を持つか否かをどう判定すべきかというと、その過程の係数を用いた方程式


1+\theta_{1}z+\cdots+\theta_{p}z^{p}=0

の解について調べればよい。この\mathrm{MA}特性方程式についてすべての解の絶対値が1よりも大きいならば、その\mathrm{MA}過程は反転可能である。
 さて以上を踏まえると、\mathrm{ARMA}過程についても定常性を判定する手段を考えることができる。\mathrm{MA}過程はつねに定常である。定常過程の和は定常過程になる*2から、ARMA過程はAR過程部分のAR特性方程式を考えればよいことになる。

*1:ここから\displaystyle{\sum_{j=1}^{n}\phi_{j}}\neq 1でなければならないと示唆される。

*2:実際、それぞれ期待値と自己共分散(\mu_{1},\gamma_{k,1}), (\mu_{2},\gamma_{k,2})\in\mathbb{R}\times[0,\infty)をもち、互いに独立な2つの弱定常な過程x_t,y_tがあるとき、それらの和からなる過程z_{t}=x_{t}+y_{t}


\begin{aligned}
E[z_t]&=E[x_{t}+y_{t}] \\
    &=E[x_{t}]+E[y_{t}] \\
    &=\mu_1+\mu_2
\end{aligned}
であり、

\begin{aligned}
\mathrm{Cov}[z_{t},z_{t-k}]&=\mathrm{Cov}[x_{t}+y_{t},x_{t-k}+y_{t-k}] \\
                                &=\mathrm{Cov}[x_{t}+y_{t},x_{t-k}]+\mathrm{Cov}[x_{t}+y_{t},y_{t-k}] \\
                                &=\mathrm{Cov}[x_{t},x_{t-k}]+\mathrm{Cov}[y_{t},x_{t-k}]+\mathrm{Cov}[x_{t},y_{t-k}]+\mathrm{Cov}[y_{t},y_{t-k}] \\
                                &=\gamma_{k,1}+\mathrm{Cov}[y_{t},x_{t-k}]+\mathrm{Cov}[x_{t},y_{t-k}]+\gamma_{k,2} \\
                                &=\gamma_{k,1}+\gamma_{k,2}(\because x_{t}とy_{t}は互いに独立.).
\end{aligned}
となるから、過程\{z_{t}\}は期待値が時点tに依存せず自己共分散はラグkにのみ依存する、すなわち弱定常である。ホワイトノイズはその定義から任意の他の過程と相関がない。

プライバシーポリシー お問い合わせ