計量経済学の基礎（08/22） - 「大人の教養・知識・気付き」を伸ばすブログ

　計量経済学を学んでいく。
　まずは

計量経済学 (y21)

作者:皙, 浅野,二朗, 中村
有斐閣

Amazon

を中心に参照して基礎を学んでいく。

前回

power-of-awareness.com

今日のまとめ

重回帰モデル
$\begin{aligned}\boldsymbol{Y}=\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon}\end{aligned}$
に以下の5つを仮定する：
①仮定(1)： $\boldsymbol{X}$ は非確率的である、
②仮定(2)： $E[\boldsymbol{Y}]=\boldsymbol{X}\boldsymbol{\beta},\ E[\boldsymbol{\varepsilon}]=\boldsymbol{0}$ が成り立つ、
③仮定(3)： $V[\boldsymbol{\varepsilon}]=\sigma^2I$ で、各要素は他から独立である、
④仮定(4)： $\boldsymbol{X}$ の階数は $k$ である、
⑤仮定(5)： $\boldsymbol{Y}\sim N(\boldsymbol{X}\boldsymbol{\beta},\sigma^2 I)$ 。
このうち、仮定(1)-(4)を満たす重回帰モデルを古典的回帰モデルといい、仮定(1)-(5)を満たす重回帰モデルを古典的正規回帰モデルという。

$\mathbb{E}\left[\hat{\boldsymbol{\beta}}\right]\boldsymbol{\beta},\ \mathbb{V}[\hat{\boldsymbol{\beta}}]=\sigma^2{{}^{t}\boldsymbol{X}\boldsymbol{X}}^{-1}$

$\mathbb{E}[\boldsymbol{e}]=\boldsymbol{0},\mathbb{V}[\boldsymbol{e}]=\sigma^2M$

$\hat{\mathbb{V}[\hat{\boldsymbol{\beta}}]}=S^2({}^{t}\boldsymbol{X}\boldsymbol{X})^{-1},\ S^2=\displaystyle{\frac{{}^{t}\boldsymbol{e}\boldsymbol{e}}{n-k}}$

前回
今日のまとめ
5.　古典的変数回帰モデル
- 5.1　古典的変数回帰モデルの導入
- 5.2　古典的回帰モデルにおける最小二乗推定量の分布
次回

5.　古典的 $K$ 変数回帰モデル

　以降、 $K\gt 1$ とする。

5.1　古典的 $K$ 変数回帰モデルの導入

　 $\boldsymbol{Y}\in\mathbb{R}^{n\times k},\ \boldsymbol{X}\in\mathbb{R}^{k},\ \boldsymbol{\beta}\in\mathbb{R}^{k},\ ,\ \boldsymbol{\varepsilon}\in\mathbb{R}^{n}$ として重回帰モデル

$\begin{aligned} \boldsymbol{Y}=\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon} \end{aligned}$

を考える。更に以下の5つを仮定する。

仮定(1)： $\boldsymbol{X}$ は非確率的である。
仮定(2)： $E[\boldsymbol{Y}]=\boldsymbol{X}\boldsymbol{\beta},\ E[\boldsymbol{\varepsilon}]=\boldsymbol{0}$ が成り立つ。
仮定(3)： $V[\boldsymbol{\varepsilon}]=\sigma^2I$ で、各要素は他から独立である。
仮定(4)： $\boldsymbol{X}$ の階数は $k$ である。
仮定(5)： $\boldsymbol{Y}\sim N(\boldsymbol{X}\boldsymbol{\beta},\sigma^2 I)$

　このうち、仮定(1)-(4)を満たす重回帰モデルを古典的回帰モデルといい、仮定(1)-(5)を満たす重回帰モデルを古典的正規回帰モデルという。

5.2　古典的回帰モデルにおける最小二乗推定量の分布

　 $\hat{\boldsymbol{\beta}}$ が $\boldsymbol{Y}$ の線形結合になることから、 $\hat{\boldsymbol{\beta}}$ の期待値および分散を求めることが出来る。

$\begin{aligned} \hat{\boldsymbol{\beta}}=&A\boldsymbol{Y},\\ A\boldsymbol{X}=&I,\\ \boldsymbol{Y}=&\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon} \end{aligned}$

より、

$\begin{aligned} \hat{\boldsymbol{\beta}}=&A\boldsymbol{Y}=A\left(\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon}\right)\\ =&A\boldsymbol{X}\boldsymbol{\beta}+A\boldsymbol{\varepsilon}\\ =&\boldsymbol{\beta}+A\boldsymbol{\varepsilon} \end{aligned}$

が成り立つ。したがって

$\begin{aligned} \mathbb{E}\left[\hat{\boldsymbol{\beta}}\right]=&\mathbb{E}\left[\boldsymbol{\beta}+A\boldsymbol{\varepsilon}\right]\\ =&\boldsymbol{\beta}+A \mathbb{E}\left[\boldsymbol{\varepsilon}\right]\\ =&\boldsymbol{\beta},\\ \mathbb{V}[\hat{\boldsymbol{\beta}}]=&\mathbb{V}[A\boldsymbol{\varepsilon}]\\ =&A\mathbb{V}[\boldsymbol{\varepsilon}]{}^{t}A\\ =&A(\sigma^2I){}^{t}A\\ =&\sigma^2AI{}^{t}A\\ =&\sigma^2{Q}^{-1}\\ =&\sigma^2{{}^{t}\boldsymbol{X}\boldsymbol{X}}^{-1} \end{aligned}$

5.2.1　残差の分布

　このモデルの残差は $\boldsymbol{e}=M\boldsymbol{Y}$ で表現できる。 $M\boldsymbol{X}=\boldsymbol{0}$ であることに注意すれば、

$\begin{aligned} \boldsymbol{e}=&M\boldsymbol{Y}=M(\boldsymbol{X}\hat{\boldsymbol{\beta}}+\boldsymbol{\varepsilon})=M\boldsymbol{\varepsilon} \end{aligned}$

　したがって残差の期待値と分散は以下のとおりである：

$\begin{aligned} \mathbb{E}[\boldsymbol{e}]=&M\mathbb{E}[\boldsymbol{\varepsilon}]=\boldsymbol{0},\\ \mathbb{V}[\boldsymbol{e}]=&M\mathbb{V}[\boldsymbol{\varepsilon}]{}^{t}M\\ &=M\mathbb{V}(\sigma^2I){}^{t}M\\ &=\sigma^2M{}^{t}M\\ &=\sigma^2M \end{aligned}$

5.2.2　残差二乗和

　残差二乗和は以下のとおりになる：

$\begin{aligned} {}^{t}\boldsymbol{e}\boldsymbol{e}=&{}^{t}\left(M\boldsymbol{Y}\right)M\boldsymbol{Y}\\ =&{}^{t}\left(M\boldsymbol{\varepsilon}\right)M\boldsymbol{\varepsilon}\\ =&{}^{t}\boldsymbol{\varepsilon}{}^{t}MM\boldsymbol{\varepsilon}\\ =&{}^{t}\boldsymbol{\varepsilon}{}^{t}M\boldsymbol{\varepsilon} \end{aligned}$

　この期待値を計算する。まず

$\begin{aligned} E[{}^{t}\boldsymbol{e}\boldsymbol{e}]=&E\left[\displaystyle{\sum_{i=1}^{n}{e_i}^2}\right]\\ =&tr\left(\sigma^2M\right)\\ =&\sigma^2\ tr\left(M\right)\\ \end{aligned}$

である。ここで $tr(AB)=tr(BA),\ tr(A+B)=tr(A)+tr(B)$ に注意すれば

$\begin{aligned} tr\left(M\right)=&tr\left(I-\boldsymbol{X}\left({}^{t}\boldsymbol{X}\boldsymbol{X}\right)^{-1}{}^{t}\boldsymbol{X}\right)\\ =&tr(I)-tr\left(\boldsymbol{X}\left({}^{t}\boldsymbol{X}\boldsymbol{X}\right)^{-1}{}^{t}\boldsymbol{X}\right)\\ =&n-tr\left(\left({}^{t}\boldsymbol{X}\boldsymbol{X}\right)^{-1}{}^{t}\boldsymbol{X}\boldsymbol{X}\right)\\ =&n-k \end{aligned}$

である。これを代入することで

$\begin{aligned} E[{}^{t}\boldsymbol{e}\boldsymbol{e}]=&E\left[\displaystyle{\sum_{i=1}^{n}{e_i}^2}\right]\\ =&tr\left(\sigma^2M\right)\\ =&(n-k)\sigma^2\\ \end{aligned}$