「大人の教養・知識・気付き」を伸ばすブログ

一流の大人（ビジネスマン、政治家、リーダー…）として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。

MENU

【数理統計】時系列解析Vol.05：ARMA過程(2)

統計学

　前回はARMA過程を導入した。


zeitgeist.hatenablog.com

引き続き、以下の書籍を基に学んだことを整理していく。

経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)

経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)

基礎からわかる時系列分析 ―Rで実践するカルマンフィルタ・MCMC・粒子フィルター (Data Science Library)

基礎からわかる時系列分析 ―Rで実践するカルマンフィルタ・MCMC・粒子フィルター (Data Science Library)

4.ARMA過程（4）

AR過程の推定

　AR過程の母数推定には、(1)最小二乗法、(2)最尤法が一般的である。(p,q)次AR過程

\begin{aligned} y_t=c+\sum_{i=1}^{p}\phi_{i}y_{t-i}+\epsilon_{t},\epsilon_{t}\sim W.N.(\sigma^2) \end{aligned}
において推定対象となるのは係数\phi_{i},i=1,\cdots, pおよび定数項c、さらには分散\sigma^2である。ここでは係数\phi_{i},i=1,\cdots, pおよび定数項cを知りたいとしよう。
　最小二乗法では通常の回帰モデルと同様に残差平方和SSRを最小化するような\phi_{i},i=1,\cdots, pおよびcとして推定量を得る。残差平方和SSRは以下の通りで表される：
\begin{aligned} SSR=\sum_{t=1}^{T}{e_{t}^2}=\sum_{t=1}^{T}\{y_t-(\tilde{c}+\sum_{i=1}^{p}\tilde{\phi}_{i}y_{t-i})\}^2 \end{aligned}
二乗(y=x^2)は任意の区間で下に凸であるからSSRの極小値を与えるようなものを求めればよいということとなる。この計算にはp個の初期値が必要となる点に注意したい。また上式からも明らかなように、最小二乗法で
\phi_{i},i=1,\cdots, pおよびcを推定するには\sigma^2を考慮しなくてもよい点が利点である。
　最小二乗推定量は3つの特徴がある*1：

  • (一致性)　最小二乗推定量は一致推定量である
  • (漸近正規性)　最小二乗推定量を基準化したものは漸近的に正規分布に従う
  • (正規性の下での漸近有効性)　\epsilon_{t}\sim i.i.d. N(0,\sigma^2)のとき、最小二乗推定量は一致推定量の中で漸近的に最小の分散共分散行列をもつ

なおAR過程は過去の誤差項と相関を有するため、最小二乗推定量は不偏性を持たない点に留意されたい。

　AR過程はシンプルなモデルであるために最小二乗法が可能であった一方で、ARMA過程などより複雑なモデルであれば最尤法を用いる。簡単のためAR(1)モデルについて、確率変数X,Y（およびその確率密度関数f_{X}(x), f_{Y}(y)）に関するベイズの定理

\begin{aligned} f_{X,Y}(x,y) = f_{X|Y}(x|y)\cdot f_{Y}(y) \end{aligned}
を適用すると、確率変数Y_0, Y_1,\cdots,Y_{T}および母数ベクトル\bf{\Theta}について
\begin{aligned} f_{Y_T,\cdots,Y_1|Y_0}(y_T,\cdots,y_1|y_0;\Theta) = \prod_{t=1}^{T}f_{Y_t|Y_{t-1}}(y_t|y_{t-1};\Theta) \end{aligned}
となる*2。したがって対数尤度\mathcal{l}(\theta)は
\begin{aligned} \mathcal{l}(\theta) = \sum_{t=1}^{T}\log{f_{Y_t|Y_{t-1}}(y_t|y_{t-1};\Theta)} \end{aligned}
であり、求めたかった推定量\hat{\theta}は
\begin{aligned} \hat{\theta} = arg\max_{\theta\in\Theta}\{\mathcal{l}(\theta)\} \end{aligned}
　ARMA過程に限らない一般のモデルについては時点t-1の情報集合を\Omega_{t-1}とすると
\begin{aligned} \mathcal{l}(\theta) = \sum_{t=1}^{T}\log{f_{Y_t|\Omega_{t-1}}(y_t||\Omega_{t-1};\Theta)} \end{aligned}
で表現できる。
　ARMA過程の最尤推定量は3つの性質をもつ*3：

まとめ

　以上、AR(MA)過程における推定を導入した。次回はモデル選択を考える。

*1:沖本竜義(2010)「経済・ファイナンスデータの計量時系列分析」朝倉書店　P42

*2:めざとい方は式中の\bf{\Theta}が太字でないことに気づかれたと思うが、これははてなブログの仕様でわざと外している。念のため補足しておく。

*3:同前掲書　P46

プライバシーポリシー お問い合わせ