「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。

MENU

計量経済学の基礎(08/22)

 計量経済学を学んでいく。
 まずは

を中心に参照して基礎を学んでいく。

今日のまとめ

  • 重回帰モデル
    \begin{aligned}\boldsymbol{Y}=\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon}\end{aligned}
    に以下の5つを仮定する:

    ①仮定(1):\boldsymbol{X}は非確率的である、

    ②仮定(2):E[\boldsymbol{Y}]=\boldsymbol{X}\boldsymbol{\beta},\ E[\boldsymbol{\varepsilon}]=\boldsymbol{0}が成り立つ、

    ③仮定(3):V[\boldsymbol{\varepsilon}]=\sigma^2Iで、各要素は他から独立である、

    ④仮定(4):\boldsymbol{X}の階数はkである、

    ⑤仮定(5):\boldsymbol{Y}\sim N(\boldsymbol{X}\boldsymbol{\beta},\sigma^2 I)

    このうち、仮定(1)-(4)を満たす重回帰モデルを古典的回帰モデルといい、仮定(1)-(5)を満たす重回帰モデルを古典的正規回帰モデルという。
  • \mathbb{E}\left[\hat{\boldsymbol{\beta}}\right]\boldsymbol{\beta},\ \mathbb{V}[\hat{\boldsymbol{\beta}}]=\sigma^2{{}^{t}\boldsymbol{X}\boldsymbol{X}}^{-1}
  • \mathbb{E}[\boldsymbol{e}]=\boldsymbol{0},\mathbb{V}[\boldsymbol{e}]=\sigma^2M
  • \hat{\mathbb{V}[\hat{\boldsymbol{\beta}}]}=S^2({}^{t}\boldsymbol{X}\boldsymbol{X})^{-1},\ S^2=\displaystyle{\frac{{}^{t}\boldsymbol{e}\boldsymbol{e}}{n-k}}

5. 古典的K変数回帰モデル

 以降、K\gt 1とする。

5.1 古典的K変数回帰モデルの導入

 \boldsymbol{Y}\in\mathbb{R}^{n\times k},\ \boldsymbol{X}\in\mathbb{R}^{k},\ \boldsymbol{\beta}\in\mathbb{R}^{k},\ ,\ \boldsymbol{\varepsilon}\in\mathbb{R}^{n}として重回帰モデル


\begin{aligned}
\boldsymbol{Y}=\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon}
\end{aligned}

を考える。更に以下の5つを仮定する。

  • 仮定(1):\boldsymbol{X}は非確率的である。
  • 仮定(2):E[\boldsymbol{Y}]=\boldsymbol{X}\boldsymbol{\beta},\ E[\boldsymbol{\varepsilon}]=\boldsymbol{0}が成り立つ。
  • 仮定(3):V[\boldsymbol{\varepsilon}]=\sigma^2Iで、各要素は他から独立である。
  • 仮定(4):\boldsymbol{X}の階数はkである。
  • 仮定(5):\boldsymbol{Y}\sim N(\boldsymbol{X}\boldsymbol{\beta},\sigma^2 I)

 このうち、仮定(1)-(4)を満たす重回帰モデルを古典的回帰モデルといい、仮定(1)-(5)を満たす重回帰モデルを古典的正規回帰モデルという。

5.2 古典的回帰モデルにおける最小二乗推定量の分布

 \hat{\boldsymbol{\beta}}\boldsymbol{Y}の線形結合になることから、\hat{\boldsymbol{\beta}}の期待値および分散を求めることが出来る。


\begin{aligned}
\hat{\boldsymbol{\beta}}=&A\boldsymbol{Y},\\
A\boldsymbol{X}=&I,\\
\boldsymbol{Y}=&\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon}
\end{aligned}

より、


\begin{aligned}
\hat{\boldsymbol{\beta}}=&A\boldsymbol{Y}=A\left(\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon}\right)\\
=&A\boldsymbol{X}\boldsymbol{\beta}+A\boldsymbol{\varepsilon}\\
=&\boldsymbol{\beta}+A\boldsymbol{\varepsilon}
\end{aligned}

が成り立つ。したがって


\begin{aligned}
\mathbb{E}\left[\hat{\boldsymbol{\beta}}\right]=&\mathbb{E}\left[\boldsymbol{\beta}+A\boldsymbol{\varepsilon}\right]\\
=&\boldsymbol{\beta}+A \mathbb{E}\left[\boldsymbol{\varepsilon}\right]\\
=&\boldsymbol{\beta},\\

\mathbb{V}[\hat{\boldsymbol{\beta}}]=&\mathbb{V}[A\boldsymbol{\varepsilon}]\\
=&A\mathbb{V}[\boldsymbol{\varepsilon}]{}^{t}A\\
=&A(\sigma^2I){}^{t}A\\
=&\sigma^2AI{}^{t}A\\
=&\sigma^2{Q}^{-1}\\
=&\sigma^2{{}^{t}\boldsymbol{X}\boldsymbol{X}}^{-1}
\end{aligned}

5.2.1 残差の分布

 このモデルの残差は\boldsymbol{e}=M\boldsymbol{Y}で表現できる。M\boldsymbol{X}=\boldsymbol{0}であることに注意すれば、


\begin{aligned}
\boldsymbol{e}=&M\boldsymbol{Y}=M(\boldsymbol{X}\hat{\boldsymbol{\beta}}+\boldsymbol{\varepsilon})=M\boldsymbol{\varepsilon}
\end{aligned}

 したがって残差の期待値と分散は以下のとおりである:


\begin{aligned}
\mathbb{E}[\boldsymbol{e}]=&M\mathbb{E}[\boldsymbol{\varepsilon}]=\boldsymbol{0},\\
\mathbb{V}[\boldsymbol{e}]=&M\mathbb{V}[\boldsymbol{\varepsilon}]{}^{t}M\\
&=M\mathbb{V}(\sigma^2I){}^{t}M\\
&=\sigma^2M{}^{t}M\\
&=\sigma^2M
\end{aligned}

5.2.2 残差二乗和

 残差二乗和は以下のとおりになる:


\begin{aligned}
{}^{t}\boldsymbol{e}\boldsymbol{e}=&{}^{t}\left(M\boldsymbol{Y}\right)M\boldsymbol{Y}\\
=&{}^{t}\left(M\boldsymbol{\varepsilon}\right)M\boldsymbol{\varepsilon}\\
=&{}^{t}\boldsymbol{\varepsilon}{}^{t}MM\boldsymbol{\varepsilon}\\
=&{}^{t}\boldsymbol{\varepsilon}{}^{t}M\boldsymbol{\varepsilon}
\end{aligned}

 この期待値を計算する。まず


\begin{aligned}
E[{}^{t}\boldsymbol{e}\boldsymbol{e}]=&E\left[\displaystyle{\sum_{i=1}^{n}{e_i}^2}\right]\\
=&tr\left(\sigma^2M\right)\\
=&\sigma^2\ tr\left(M\right)\\
\end{aligned}

である。ここでtr(AB)=tr(BA),\ tr(A+B)=tr(A)+tr(B)に注意すれば


\begin{aligned}
tr\left(M\right)=&tr\left(I-\boldsymbol{X}\left({}^{t}\boldsymbol{X}\boldsymbol{X}\right)^{-1}{}^{t}\boldsymbol{X}\right)\\
=&tr(I)-tr\left(\boldsymbol{X}\left({}^{t}\boldsymbol{X}\boldsymbol{X}\right)^{-1}{}^{t}\boldsymbol{X}\right)\\
=&n-tr\left(\left({}^{t}\boldsymbol{X}\boldsymbol{X}\right)^{-1}{}^{t}\boldsymbol{X}\boldsymbol{X}\right)\\
=&n-k
\end{aligned}

である。これを代入することで


\begin{aligned}
E[{}^{t}\boldsymbol{e}\boldsymbol{e}]=&E\left[\displaystyle{\sum_{i=1}^{n}{e_i}^2}\right]\\
=&tr\left(\sigma^2M\right)\\
=&(n-k)\sigma^2\\
\end{aligned}

が成り立つ。したがって\sigma^2の不偏推定量である回帰の標準誤差(の二乗)S^2は以下で得られる:


\begin{aligned}
S^2=\displaystyle{\frac{{}^{t}\boldsymbol{e}\boldsymbol{e}}{n-k}}
\end{aligned}

5.2.3 \hat{\boldsymbol{\beta}}の分散の推定量

 通常\sigma^2は未知であるため、\hat{\boldsymbol{\beta}}の分散の推定量は、\sigma^2S^2に置き換えて


\begin{aligned}
\hat{\mathbb{V}[\hat{\boldsymbol{\beta}}]}=S^2({}^{t}\boldsymbol{X}\boldsymbol{X})^{-1}
\end{aligned}

で得られる。なお以上の結果は、すべて正規性の仮定以外から導かれたことに注意せよ。

プライバシーポリシー お問い合わせ