「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。目下、データ分析・語学に力点を置いています。今月(2022年10月)からは多忙につき、日々の投稿数を減らします。

MENU

時系列解析の基礎(18/XX)

 時系列解析を勉強します。今回からは

を中心に状態空間モデルを勉強していきます。

10. 状態空間モデルの導入

 状態空間モデルは互いに関連のある系列データを確率的に捉えるモデルで、直接観測されるデータに加え、直接は観測できない潜在的な確率変数を導入する。更に\mathrm{Markov}性、すなわち各時点の状態はその直前時点の状態のみと連関があると仮定する。その上、観測値に対してある時点の観測値はその時点の状態によってのみ決まると仮定する。

状態空間モデルの仮定

  • 観測値と潜在的な確率変数を導入する。
  • \mathrm{Markov}性(各時点の状態はその直前時点の状態のみと連関がある)を仮定する。
  • ある時点の観測値はその時点の状態によってのみ決まると仮定する。

 これらの仮定は3つの異なる観点で表現することができる。

10.1 グラフィカルモデルによる表現

 1つ目の表現はグラフィカルモデルによるものである。



時点tにおける状態を\boldsymbol{x}_t、観測値をy_tとする。このような表記方法を有向非巡回グラフ(\mathrm{DAG})と呼ぶ。

10.2 確率分布による表現

 2つ目は確率分布によるものである。


\begin{aligned}
P\left(\boldsymbol{x}_t\left|\right.\boldsymbol{x}_{0:t},y_{1:t-1}\right)&=P\left(\boldsymbol{x}_t\left|\right.\boldsymbol{x}_{t-1}\right)\\
P\left(y_t\left|\right.\boldsymbol{x}_{0:t},y_{1:t-1}\right)&=P\left(y_t\left|\right.\boldsymbol{x}_t\right)
\end{aligned}

10.3 方程式による表現

 3つ目は方程式によるものである。


\begin{aligned}
\begin{cases}
\boldsymbol{x}_t&=f\left(\boldsymbol{x}_{t-1},\boldsymbol{w}_t\right)\\
y_t&=h\left(\boldsymbol{x}_t,v_t\right)
\end{cases}
\end{aligned}


ここでf(\cdot),h(\cdot)は任意の関数で、\boldsymbol{w}_t,v_tはホワイトノイズである。

10.4 状態空間モデルの同時分布

 状態空間モデルの同時分布を導出する。


\begin{aligned}
P\left(\boldsymbol{x}_{0:T},y_{1:T}\right)&=P\left(y_T,y_{1:T-1},\boldsymbol{x}_{0:T}\right)\\
&=P\left(y_T\left|\right.y_{1:T-1},\boldsymbol{x}_{0:T}\right)P\left(y_{1:T-1},\boldsymbol{x}_{0:T}\right)\\
&=P\left(y_T\left|\right.y_{1:T-1},\boldsymbol{x}_{0:T}\right)P\left(\boldsymbol{x}_{0:T},y_{1:T-1}\right)\\
&=P\left(y_T\left|\right.y_{1:T-1},\boldsymbol{x}_{0:T}\right)P\left(\boldsymbol{x}_{T},\boldsymbol{x}_{0:T-1},y_{1:T-1}\right)\\
&=P\left(y_T\left|\right.y_{1:T-1},\boldsymbol{x}_{0:T}\right)P\left(\boldsymbol{x}_{T}\left|\right.\boldsymbol{x}_{0:T-1},y_{1:T-1}\right)P\left(\boldsymbol{x}_{0:T-1},y_{1:T-1}\right)\\
&=\vdots\\
&=\left(\displaystyle{\prod_{t=2}^{T}P\left(y_t\left|\right.y_{1:t-1},\boldsymbol{x}_{0:t}\right)P\left(\boldsymbol{x}_t\left|\right.\boldsymbol{x}_{0:t-1},y_{1:t-1}\right)}\right)P\left(\boldsymbol{x}_{0:1},y_1\right)\\
&=\left(\displaystyle{\prod_{t=2}^{T}P\left(y_t\left|\right.y_{1:t-1},\boldsymbol{x}_{0:t}\right)P\left(\boldsymbol{x}_t\left|\right.\boldsymbol{x}_{0:t-1},y_{1:t-1}\right)}\right)P\left(y_1\left|\right.\boldsymbol{x}_{0:1}\right)P\left(\boldsymbol{x}_1\left|\right.\boldsymbol{x}_0\right)P\left(\boldsymbol{x}_0\right)\\
&=P\left(\boldsymbol{x}_0\right)\left(\displaystyle{\prod_{t=2}^{T}P\left(y_t\left|\right.y_{1:t-1},\boldsymbol{x}_{0:t}\right)P\left(\boldsymbol{x}_t\left|\right.\boldsymbol{x}_{0:t-1},y_{1:t-1}\right)}\right)P\left(y_1\left|\right.\boldsymbol{x}_{0:1}\right)P\left(\boldsymbol{x}_1\left|\right.\boldsymbol{x}_0\right)\\
&=P\left(\boldsymbol{x}_0\right)\left(\displaystyle{\prod_{t=2}^{T}P\left(y_t\left|\right.\boldsymbol{x}_{t}\right)P\left(\boldsymbol{x}_t\left|\right.\boldsymbol{x}_{t-1}\right)}\right)P\left(y_1\left|\right.\boldsymbol{x}_{0:1}\right)P\left(\boldsymbol{x}_1\left|\right.\boldsymbol{x}_0\right)\\
&=P\left(\boldsymbol{x}_0\right)\left(\displaystyle{\prod_{t=1}^{T}P\left(y_t\left|\right.\boldsymbol{x}_{t}\right)P\left(\boldsymbol{x}_t\left|\right.\boldsymbol{x}_{t-1}\right)}\right)
\end{aligned}


このように状態空間モデルの同時分布は、事前分布P\left(\boldsymbol{x}_0\right),観測方程式P\left(y_t\left|\right.\boldsymbol{x}_t\right)および状態方程式P\left(\boldsymbol{x}_t\left|\right.\boldsymbol{x}_{t-1}\right)により、これらの単純な積として定まる。

10.5 状態空間モデルの特徴

 状態空間モデルは、

  • 状態という潜在変数を導入したことで解釈に都合の良い状態を複数組み合わせて複雑なモデルを構築することが容易であり、モデルの柔軟性が高い
  • 状態空間モデルは観測値間の関連性を観測値同士で直接表現する代わりに状態を経由することで表現する

という特徴がある。状態空間モデルは、観測値間の関連性を状態経由で間接的に表現し、ある時点のデータと別の時点のデータの間の関連性を生成する要因を極力想定して、対応する潜在変数を考慮することで分析を行うホワイト・ボックス的なアプローチである。

10.6 状態空間モデルの分類

 状態空間モデルは、仮定に応じて様々に分類することができる。

    
\boldsymbol{w}_t,v_t

いずれかが非正規分布
\boldsymbol{w}_t,v_t

共に正規分布
  
f,hのいずれかが非線形
非線形・非正規型
非線形・正規型
  
f,hが共に線形
線形・非正規型
線形・正規型

 最もシンプルなのが、


\begin{aligned}
\boldsymbol{x}_t&=\boldsymbol{G}_t\boldsymbol{x}_{t-1}+\boldsymbol{w}_t,&\boldsymbol{w}_t\sim\mathcal{N}\left(\boldsymbol{0},\boldsymbol{W}_t\right)\\
y_t&=\boldsymbol{F}_t\boldsymbol{x}_{t}+v_t,&v_t\sim N(0,V_t)
\end{aligned}

という線形・正規型状態空間モデルである。このとき正規分布の再生性から、


\begin{aligned}
P\left(\boldsymbol{x}_{t}\left|\right.\boldsymbol{x}_{t-1}\right)&=\mathcal{N}\left(\boldsymbol{G}_t\boldsymbol{x}_{t-1},\boldsymbol{W}_t\right)\\
P\left(y_t\left|\right.\boldsymbol{x}_{t}\right)&=\mathit{N}\left({}^{t}\boldsymbol{F}_t\boldsymbol{x}_{t},V\right)
\end{aligned}

プライバシーポリシー お問い合わせ