【数理統計】時系列解析Vol.06：ARMA過程(3) - 「大人の教養・知識・気付き」を伸ばすブログ

　前回はARMA過程の詳細を述べた。今回はARMAモデル選択・診断について述べる。

zeitgeist.hatenablog.com

引き続き、以下の書籍を基に学んだことを整理していく。

経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)

作者:竜義, 沖本
発売日: 2010/02/01
メディア: 単行本

基礎からわかる時系列分析 ―Rで実践するカルマンフィルタ・MCMC・粒子フィルター (Data Science Library)

作者:萩原淳一郎,瓜生真也,牧山幸史
発売日: 2018/03/23
メディア: 大型本

4.ARMA過程(5)：モデル選択

(1) 自己相関・偏自己相関

(2) 情報量基準

4.ARMA過程(6)：モデルの診断

まとめ

4.ARMA過程(5)：モデル選択

(1) 自己相関・偏自己相関

　今回は、定常かつ反転可能なARMA $(p,q)$ 過程が真のモデルであるとき、観測値を基に適当なモデルを構築する方法を考えたい。

　最初、効率的な探索を行うべく標本自己相関ないし標本偏自己相関を用いてモデル候補を絞り込む。AR過程とARMA過程の自己相関関数の絶対値は指数的に減衰していった。これに対してMA $(q)$ 過程の自己相関は $q+1$ 次以降で $0$ になるために標本自己相関が $q+1$ 次以降で急遽 $0$ 近くになるかどうかが1つの判断材料になるからだ。AR過程とARMA過程との判別は偏自己相関を用いて判断することができる。
　確認のために再提示しておくと、任意の $t,k$ について自己相関係数 $\rho_{k}$ は

$\begin{aligned} \rho_{k} =\frac{\gamma_{k,t}}{\sqrt{\gamma_{0,t}\gamma_{0,t-k}}}=\frac{\gamma_{k}}{\gamma_{0}} \end{aligned}$

である。
　これに対して偏自己相関 $\alpha_{k}^{(m)}$ は直近 $m$ 時点への $y_t$ の線型射影における係数であり、自己共分散に関する以下の連立方程式の解として得られる*1：

$\begin{pmatrix} \alpha_{1}^{(m)}\\ \alpha_{2}^{(m)}\\ \vdots\\ \alpha_{m}^{(m)} \end{pmatrix}=\begin{pmatrix} \gamma_{0} & \gamma_{1} &\cdots& \gamma_{m-1}\\ \gamma_{1} &\gamma_{0}&\cdots& \gamma_{m-2}\\ \vdots&\vdots&\cdots& \vdots\\ \gamma_{m-1} & \gamma_{m-2} & \cdots & \gamma_{0} \end{pmatrix}^{-1}\begin{pmatrix} \gamma_{1}\\ \gamma_{2}\\ \vdots\\ \gamma_{m}\\ \end{pmatrix}$

　AR $(p)$ モデルであれば $p+1$ 次以降の偏自己相関は $0$ となる一方でMA過程であれば無限の偏自己相関を有するものの、その絶対値は指数的に減衰していく。
　整理すると、

モデル	自己相関	偏自己相関
AR $(p)$ モデル	減衰していく	$p+1$ 次以降で $0$
MA $(q)$ モデル	$q+1$ 次以降で $0$	減衰していく
ARMAモデル	減衰していく	減衰していく

(2) 情報量基準

　 $T$ をモデルの推定に用いた標本数として、 $p(T)$ を $T$ に関する関数、 $\mathcal{l}(\hat{\theta})$ を最大対数尤度*2、 $k$ を推定した母数の数として、情報量基準 $IC$ を一般に

$\begin{aligned} IC =-2\mathcal{l}(\hat{\theta})+p(T)k \end{aligned}$

と定義する。
　たいていはAICないしSIC、すなわち

$\begin{aligned} AIC =-2\mathcal{l}(\hat{\theta})+2k, \end{aligned}$

$\begin{aligned} SIC =-2\mathcal{l}(\hat{\theta})+\log(T)k \end{aligned}$

を用いる*3。これを通じて適当な母数の選択を行う*4。

4.ARMA過程(6)：モデルの診断

　モデル構築を終えた後、その正当性を判断しなければその妥当性を担保できない。
　ARMAモデルであれば、回帰分析でいう残差に相当する誤差項 $\epsilon_{t}$ についてホワイトノイズであるとの仮定を置いている。そこでこれが自己相関を有するか否かを検定すればよい。このとき母数の数だけ自由度が減るため、ARMA $(p,q)$ モデルであればかばん統計量の値と $\chi^2(m-p-q)$ 分布の $100\alpha$ %点の値とを比較する。

まとめ

　以上、モデル選択を説明した。次回はこうしたモデルを用いた予測を説明する。

*1:Hamilton, James D.(1994), "Time Series Analysis", Princeton University Press, PP.111-112参照

*2:対数尤度を最尤推定値で評価した値

*3:いずれを用いるかは難しい問題である。

*4:とはいえ実際の変数選択はしらみつぶしになりかねず、手間がかかる。