計量経済学の基礎（13/22） - 「大人の教養・知識・気付き」を伸ばすブログ

　計量経済学を学んでいく。
　まずは

計量経済学 (y21)

作者:皙, 浅野,二朗, 中村
有斐閣

Amazon

を中心に参照して基礎を学んでいく。

前回

power-of-awareness.com

今日のまとめ

古典的回帰モデルにおいて攪乱項の分散に関する仮定 $\boldsymbol{\varepsilon}$ の分散は一定で各要素が他から独立している、を除いた3つの仮定(1) $\boldsymbol{X}$ は非確率的である、(2) $\mathbb{E}[\boldsymbol{Y}]=\boldsymbol{X\beta}$ であり $\mathbb{E}[\boldsymbol{\varepsilon}]=\boldsymbol{0}$ 、(3) $\boldsymbol{X}$ の階数は $k$ である、を置いた回帰モデルを一般化古典的回帰モデルと呼ぶ。

$\begin{aligned}\tilde{L}(\boldsymbol{\omega})=\displaystyle{\sum_{i=1}^{n}\frac{\{Y_i-(\hat{\alpha}+\boldsymbol{X}_i\hat{\boldsymbol{\beta}})\}^2}{{\omega_i}^2}}\end{aligned}$
を最小化して得られる加重最小二乗推定量は、一般化古典的回帰モデルにおいて純粋な不均一分散があるとき最小分散不偏推定量である。

前回
今日のまとめ
8.　一般化古典的回帰モデル
- 8.2　不均一分散
次回

8.　一般化古典的回帰モデル

　古典的回帰モデルにおいて攪乱項の分散に関する仮定

$\boldsymbol{\varepsilon}$ の分散は一定で各要素が他から独立している。

を除いた3つの仮定

	(1)	$\boldsymbol{X}$ は非確率的である。
	(2)	$\mathbb{E}[\boldsymbol{Y}]=\boldsymbol{X\beta}$ であり $\mathbb{E}[\boldsymbol{\varepsilon}]=\boldsymbol{0}$
	(3)	$\boldsymbol{X}$ の階数は $k$ である。

を置いた回帰モデルを一般化古典的回帰モデルと呼ぶ。

8.2　不均一分散

8.2.1　加重最小二乗法と一般化最小二乗法

　 $k$ 変量回帰モデル

$\begin{aligned} \boldsymbol{Y}&=\boldsymbol{\alpha}+\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon},\\ V[\boldsymbol{\varepsilon}]&=\Sigma=\begin{bmatrix} {\sigma_1}^2&0 & & & &0 \\ 0 &{\sigma_2}^2&0 &\cdots & &0 \\ \vdots & &\ddots& & &\vdots\\ & & &{\sigma_i}^2&\cdots&0 \\ \vdots & & & &\ddots&\vdots\\ 0 &\cdots & & &\cdots&{\sigma_n}^2 \end{bmatrix} \end{aligned}$

とし、 ${\sigma_i}^2={\sigma}^2{\omega_i}^2$ と表し $\omega_i$ は既知であるものとする。このとき

$\begin{aligned} \Sigma&=\begin{bmatrix} {\sigma_1}^2&0 & & & &0 \\ 0 &{\sigma_2}^2&0 &\cdots & &0 \\ \vdots & &\ddots& & &\vdots\\ & & &{\sigma_i}^2&\cdots&0 \\ \vdots & & & &\ddots&\vdots\\ 0 &\cdots & & &\cdots&{\sigma_n}^2 \end{bmatrix}\\&=\sigma^2\begin{bmatrix} {\omega_1}^2&0 & & & &0 \\ 0 &{\omega_2}^2&0 &\cdots & &0 \\ \vdots & &\ddots& & &\vdots\\ & & &{\omega_i}^2&\cdots&0 \\ \vdots & & & &\ddots&\vdots\\ 0 &\cdots & & &\cdots&{\omega_n}^2 \end{bmatrix}=\sigma^2\boldsymbol{\Omega} \end{aligned}$

と書くことができる。
　この $\omega_i$ を用いて以下のようにモデルを変換する：

$\begin{aligned} \displaystyle{\frac{Y_i}{\omega_i}}=\alpha\left(\displaystyle{\frac{1}{\omega_i}}\right)+\displaystyle{\sum_{k=1}^{m}\beta_k}\left(\displaystyle{\frac{X_{i,k}}{\omega_i}}\right)+\left(\displaystyle{\frac{\varepsilon_i}{\omega_i}}\right),\ i=1,\cdots,n \end{aligned}$

そして $Y_i^{*}=\left(\displaystyle{\frac{Y_i}{\omega_i}}\right),X_i^{*}=\left(\displaystyle{\frac{X_i}{\omega_i}}\right),\varepsilon_i^{*}=\left(\displaystyle{\frac{\varepsilon_i}{\omega_i}}\right)$ とおけば、元々の回帰モデルは

$\begin{aligned} \boldsymbol{Y}^{*}&=\boldsymbol{\alpha}+\boldsymbol{X}^{*}\boldsymbol{\beta}+\boldsymbol{\varepsilon}^{*} \end{aligned}$

である。これについて $V[\boldsymbol{\varepsilon}^{*}]=\sigma^2I$ が成り立つから、古典的回帰モデルに帰着できる。
　このように攪乱項の標準偏差と逆比例するウェイト $\displaystyle{\frac{1}{\omega_i}}$ を掛けて変数変換したモデルににGauss-Markovの定理を適用することで、係数の最良線形不偏推定量を得ることが出来る。このような手続を加重最小二乗法という。

加重最小二乗推定量　一般化古典的回帰モデルにおいて純粋な不均一分散があるとき、加重最小二乗推定量は最小分散不偏推定量である。

　この加重最小二乗法は

$\begin{aligned} \tilde{L}(\boldsymbol{\omega})=\displaystyle{\sum_{i=1}^{n}\frac{\{Y_i-(\hat{\alpha}+\boldsymbol{X}_i\hat{\boldsymbol{\beta}})\}^2}{{\omega_i}^2}} \end{aligned}$

を最小化しているという点で普通の最小二乗法とは異なる。これは分散が大きいという意味で不正確な情報をもつ観測値のウェイトは小さくして評価していることを意味する。

8.2.2　GLS推定量

　加重最小二乗推定量(WLSE $\hat{\boldsymbol{\beta}}^{*}$ は $\Sigma$ を用いて

$\begin{aligned} \hat{\boldsymbol{\beta}}^{*}=({}^{t}\boldsymbol{X}\Sigma^{-1}\boldsymbol{X})^{-1}{}^{t}\boldsymbol{X}\Sigma^{-1}\boldsymbol{Y} \end{aligned}$

と書け、その分散共分散行列は

$\begin{aligned} \mathbb{V}[\hat{\boldsymbol{\beta}}^{*}]={}^{t}\boldsymbol{X}\Sigma^{-1}\boldsymbol{X} \end{aligned}$

である。この推定量は一般化最小二乗推定量（GLSE）と呼ばれ、 $\Sigma$ が一般的な形であってもBLUEになる。
　なおOLSによる係数の推定量は標準誤差が過小評価されることが知られている。

8.2.3　WhiteのOLS分散推定量

　推定に用いるウェイト $\omega_i$ が未知の場合、正しいウェイトを使った加重最小二乗法は行えない。
　不均一分散がある場合、 ${}^{t}\boldsymbol{X}\Sigma^{-1}\boldsymbol{X}$ は $\displaystyle{\sum_{i=1}^{n}\boldsymbol{x}_i{}^{t}\boldsymbol{x}_i{\sigma_i}^2}$ と書ける。ここで

$\begin{aligned} \boldsymbol{X}=\begin{bmatrix}{}^{t}\boldsymbol{x}_1\\ {}^{t}\boldsymbol{x}_2\\\vdots\\{}^{t}\boldsymbol{x}_n\end{bmatrix} \end{aligned}$

とする。OLSの分散の一致推定量は、

$\begin{aligned} \boldsymbol{X}=\begin{bmatrix}{}^{t}\boldsymbol{x}_1\\ {}^{t}\boldsymbol{x}_2\\\vdots\\{}^{t}\boldsymbol{x}_n\end{bmatrix} \end{aligned}$

を代入した

$\begin{aligned} \mathbb{V}[\hat{\boldsymbol{\beta}}^{*}]={}^{t}\boldsymbol{X}\left(\displaystyle{\sum_{i=1}^{n}\boldsymbol{x}_i{}^{t}\boldsymbol{x}_i{\sigma_i}^2}\right)^{-1}\boldsymbol{X} \end{aligned}$