時系列解析の基礎(20/XX) - 「大人の教養・知識・気付き」を伸ばすブログ

　以下の書籍

経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)

作者:竜義, 沖本
朝倉書店

Amazon

を中心に時系列解析を勉強していきます。

前回

power-of-awareness.com

前回
11.　状態空間モデルにおける状態の推定
- 11.3　状態空間モデルの尤度とモデル選択
- 11.4　状態空間モデルにおける母数の扱い
  - 11.4.1　母数を定数と考える方法
  - 11.4.2　母数を確率変数と考える方法
次回
参考文献

11.　状態空間モデルにおける状態の推定

11.3　状態空間モデルの尤度とモデル選択

　ある時系列 $y_t,t=1,\cdots,T$ 全体の尤度は、

$\begin{aligned} f(y_1,\cdots,y_T;\boldsymbol{\theta})&=f(y_T,y_{1:T-1};\boldsymbol{\theta})\\ &=f(y_T\left|\right.y_{1:T-1};\boldsymbol{\theta})f(y_{1:T-1};\boldsymbol{\theta})\\ &=\vdots\\ &=\displaystyle{\prod_{t=1}^{T}f(y_t\|y_{1:t-1};\boldsymbol{\theta})} \end{aligned}$

である。両辺の対数を取り、特に左辺を $l(\boldsymbol{\theta})=\log f(y_1,\cdots,y_T;\boldsymbol{\theta})$ とおけば、

$\begin{aligned} l(\boldsymbol{\theta})=\displaystyle{\sum_{t=1}^{T}\log f(y_t\left|\right.y_{1:t-1};\boldsymbol{\theta})} \end{aligned}$

と変形できる。したがって時系列全体の対数尤度は、一期先予測尤度の対数についての累積で表すことができる。
　尤度は、自壊的なパターンも踏まえて観測値がモデルにどの程度当てはまっているかを数値化した指標と言える。また尤度は特定のデータに基づきつつも、過去の情報のみから未来の値を予測する能力を踏まえた指標とも言える。このため、尤度をモデルの選択基準として捉えることも一理あるのである。

11.4　状態空間モデルにおける母数の扱い

　母数はたいてい、未知である方が自然である。この場合、時系列の推定に際して何らかの方法で母数を特定化する必要がある。

11.4.1　母数を定数と考える方法

　最尤法で点推定値を求めるのが1つの方法である。すなわち

$\begin{aligned} \hat{\boldsymbol{\theta}}=\displaystyle{\mathrm{arg\ }\max_{\boldsymbol{\theta}}l(\boldsymbol{\theta})} \end{aligned}$

で得る。これには準ニュートン法などの数値解析の手法で求めたり、 $\mathrm{EM}$ アルゴリズムで求めたりする。

11.4.2　母数を確率変数と考える方法

　もう1つの方法は、ベイズ論に基づくものである。このときは拡大状態 $\left\{\boldsymbol{x},\boldsymbol{\theta}\right\}$ を考えることになり、状態空間モデルの同時分布は、

$\begin{aligned} f(\boldsymbol{x}_{0:T},y_{1:T},\boldsymbol{\theta})&=f(\boldsymbol{x}_0,\boldsymbol{\theta})\displaystyle{\prod_{t=1}^{T}f(y_t|\boldsymbol{x}_t,\boldsymbol{\theta})f(\boldsymbol{x}_t|\boldsymbol{x}_{t-1},\boldsymbol{\theta})}\\ &=f(\boldsymbol{x}_0|\boldsymbol{\theta})f(\boldsymbol{\theta})\displaystyle{\prod_{t=1}^{T}f(y_t|\boldsymbol{x}_t,\boldsymbol{\theta})f(\boldsymbol{x}_t|\boldsymbol{x}_{t-1},\boldsymbol{\theta})} \end{aligned}$

で与えられる。
　もし母数のみに興味があるならば、状態を周辺化した周辺事後分布 $f(\boldsymbol{\theta}|y_{1:t})$ を考える。ここから母数の推定値を得る方法はさまざまなあるが、ここではこの周辺事後分布を最大にするような母数を取る $\mathrm{MAP}$ 推定を考えると、

$\begin{aligned} \hat{\boldsymbol{\theta}}_{\mathrm{MAP}}&=\displaystyle{\mathrm{arg\ }\max_{\boldsymbol{\theta}}f(\boldsymbol{\theta}|y_{1:t})}\\ &=\displaystyle{\mathrm{arg\ }\max_{\boldsymbol{\theta}}\frac{f(y_{1:t}|\boldsymbol{\theta})f(\boldsymbol{\theta})}{f(y_{1:t})} }\\ &\propto \displaystyle{\mathrm{arg\ }\max_{\boldsymbol{\theta}}f(y_{1:t}|\boldsymbol{\theta})f(\boldsymbol{\theta}) }\\ \end{aligned}$

で、対数が単調増加であることを踏まえれば、

$\begin{aligned} \hat{\boldsymbol{\theta}}_{\mathrm{MAP}}&=\displaystyle{\mathrm{arg\ }\max_{\boldsymbol{\theta}}\log f(\boldsymbol{\theta}|y_{1:t})}\\ &\propto \displaystyle{\mathrm{arg\ }\max_{\boldsymbol{\theta}}\left\{\log f(y_{1:t}|\boldsymbol{\theta})+\log f(\boldsymbol{\theta})\right\} }\\ \end{aligned}$

で求めることができる。

次回

power-of-awareness.com

参考文献

沖本竜義(2010)「経済・ファイナンスデータの計量時系列分析」(朝倉書店)
北川源四郎(2020)「Rによる時系列モデリング入門」（岩波書店）
柴田里程(2017)「時系列解析」(共立出版)
白石博(2022)「時系列データ解析」(森北出版)
萩原淳一郎，瓜生真也，牧山幸史[著]，石田基広[監修](2018)「基礎からわかる時系列分析　Rで実践するカルマンフィルタ・MCMC・粒子フィルタ」(技術評論社)

前回

11. 状態空間モデルにおける状態の推定

11.3 状態空間モデルの尤度とモデル選択

11.4 状態空間モデルにおける母数の扱い

11.4.1 母数を定数と考える方法

11.4.2 母数を確率変数と考える方法

次回