「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。目下、データ分析・語学に力点を置いています。今月(2022年10月)からは多忙につき、日々の投稿数を減らします。

MENU

時系列解析の基礎(20/XX)

 以下の書籍

を中心に時系列解析を勉強していきます。

11. 状態空間モデルにおける状態の推定

11.3 状態空間モデルの尤度とモデル選択

 ある時系列y_t,t=1,\cdots,T全体の尤度は、


\begin{aligned}
f(y_1,\cdots,y_T;\boldsymbol{\theta})&=f(y_T,y_{1:T-1};\boldsymbol{\theta})\\
&=f(y_T\left|\right.y_{1:T-1};\boldsymbol{\theta})f(y_{1:T-1};\boldsymbol{\theta})\\
&=\vdots\\
&=\displaystyle{\prod_{t=1}^{T}f(y_t\|y_{1:t-1};\boldsymbol{\theta})}
\end{aligned}

である。両辺の対数を取り、特に左辺をl(\boldsymbol{\theta})=\log f(y_1,\cdots,y_T;\boldsymbol{\theta})とおけば、


\begin{aligned}
l(\boldsymbol{\theta})=\displaystyle{\sum_{t=1}^{T}\log f(y_t\left|\right.y_{1:t-1};\boldsymbol{\theta})}
\end{aligned}

と変形できる。したがって時系列全体の対数尤度は、一期先予測尤度の対数についての累積で表すことができる。
 尤度は、自壊的なパターンも踏まえて観測値がモデルにどの程度当てはまっているかを数値化した指標と言える。また尤度は特定のデータに基づきつつも、過去の情報のみから未来の値を予測する能力を踏まえた指標とも言える。このため、尤度をモデルの選択基準として捉えることも一理あるのである。

11.4 状態空間モデルにおける母数の扱い

 母数はたいてい、未知である方が自然である。この場合、時系列の推定に際して何らかの方法で母数を特定化する必要がある。

11.4.1 母数を定数と考える方法

 最尤法で点推定値を求めるのが1つの方法である。すなわち


\begin{aligned}
\hat{\boldsymbol{\theta}}=\displaystyle{\mathrm{arg\ }\max_{\boldsymbol{\theta}}l(\boldsymbol{\theta})}
\end{aligned}

で得る。これには準ニュートン法などの数値解析の手法で求めたり、\mathrm{EM}アルゴリズムで求めたりする。

11.4.2 母数を確率変数と考える方法

 もう1つの方法は、ベイズ論に基づくものである。このときは拡大状態\left\{\boldsymbol{x},\boldsymbol{\theta}\right\}を考えることになり、状態空間モデルの同時分布は、


\begin{aligned}
f(\boldsymbol{x}_{0:T},y_{1:T},\boldsymbol{\theta})&=f(\boldsymbol{x}_0,\boldsymbol{\theta})\displaystyle{\prod_{t=1}^{T}f(y_t|\boldsymbol{x}_t,\boldsymbol{\theta})f(\boldsymbol{x}_t|\boldsymbol{x}_{t-1},\boldsymbol{\theta})}\\
&=f(\boldsymbol{x}_0|\boldsymbol{\theta})f(\boldsymbol{\theta})\displaystyle{\prod_{t=1}^{T}f(y_t|\boldsymbol{x}_t,\boldsymbol{\theta})f(\boldsymbol{x}_t|\boldsymbol{x}_{t-1},\boldsymbol{\theta})}
\end{aligned}


で与えられる。
 もし母数のみに興味があるならば、状態を周辺化した周辺事後分布f(\boldsymbol{\theta}|y_{1:t})を考える。ここから母数の推定値を得る方法はさまざまなあるが、ここではこの周辺事後分布を最大にするような母数を取る\mathrm{MAP}推定を考えると、


\begin{aligned}
\hat{\boldsymbol{\theta}}_{\mathrm{MAP}}&=\displaystyle{\mathrm{arg\ }\max_{\boldsymbol{\theta}}f(\boldsymbol{\theta}|y_{1:t})}\\
&=\displaystyle{\mathrm{arg\ }\max_{\boldsymbol{\theta}}\frac{f(y_{1:t}|\boldsymbol{\theta})f(\boldsymbol{\theta})}{f(y_{1:t})} }\\
&\propto \displaystyle{\mathrm{arg\ }\max_{\boldsymbol{\theta}}f(y_{1:t}|\boldsymbol{\theta})f(\boldsymbol{\theta}) }\\
\end{aligned}

で、対数が単調増加であることを踏まえれば、


\begin{aligned}
\hat{\boldsymbol{\theta}}_{\mathrm{MAP}}&=\displaystyle{\mathrm{arg\ }\max_{\boldsymbol{\theta}}\log f(\boldsymbol{\theta}|y_{1:t})}\\
&\propto \displaystyle{\mathrm{arg\ }\max_{\boldsymbol{\theta}}\left\{\log f(y_{1:t}|\boldsymbol{\theta})+\log f(\boldsymbol{\theta})\right\} }\\
\end{aligned}

で求めることができる。

プライバシーポリシー お問い合わせ