計量経済学の基礎（09/22） - 「大人の教養・知識・気付き」を伸ばすブログ

　計量経済学を学んでいく。
　まずは

計量経済学 (y21)

作者:皙, 浅野,二朗, 中村
有斐閣

Amazon

を中心に参照して基礎を学んでいく。

前回

power-of-awareness.com

今日のまとめ

古典的 $K$ 変数回帰モデルにおける推定および検定を扱う。

前回
今日のまとめ
5.　古典的変数回帰モデル
次回

5.　古典的 $K$ 変数回帰モデル

　以降、 $K\gt 1$ とする。

5.1　古典的 $K$ 変数回帰モデルの導入

　 $\boldsymbol{Y}\in\mathbb{R}^{n\times k},\ \boldsymbol{X}\in\mathbb{R}^{k},\ \boldsymbol{\beta}\in\mathbb{R}^{k},\ ,\ \boldsymbol{\varepsilon}\in\mathbb{R}^{n}$ として重回帰モデル

$\begin{aligned} \boldsymbol{Y}=\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon} \end{aligned}$

を考える。更に以下の5つを仮定する。

仮定(1)： $\boldsymbol{X}$ は非確率的である。
仮定(2)： $E[\boldsymbol{Y}]=\boldsymbol{X}\boldsymbol{\beta},\ E[\boldsymbol{\varepsilon}]=\boldsymbol{0}$ が成り立つ。
仮定(3)： $V[\boldsymbol{\varepsilon}]=\sigma^2I$ で、各要素は他から独立である。
仮定(4)： $\boldsymbol{X}$ の階数は $k$ である。
仮定(5)： $\boldsymbol{Y}\sim N(\boldsymbol{X}\boldsymbol{\beta},\sigma^2 I)$

　このうち、仮定(1)-(4)を満たす重回帰モデルを古典的回帰モデルといい、仮定(1)-(5)を満たす重回帰モデルを古典的正規回帰モデルという。

5.2　古典的回帰モデルにおける最小二乗推定量の分布

5.2.4　古典的正規回帰モデルにおける統計量の分布

　確認のために書くと $\boldsymbol{\beta}$ について

$\begin{aligned} \hat{\boldsymbol{\beta}}\sim \mathbb{N}(\boldsymbol{\beta},\sigma^2({}^{t}\boldsymbol{X}\boldsymbol{X})^{-1}) \end{aligned}$

が成り立つ。これを規格化してから二乗すると

$\begin{aligned} \displaystyle{\frac{(\hat{\beta}_i-\beta_i)^2}{{\sigma_{\hat{\beta}i}}^2}}\sim \chi^2(1) \end{aligned}$

となる。
　さらに

$\begin{aligned} {}^{t}(\hat{\boldsymbol{\beta}}-\boldsymbol{\beta})\mathbb{V}[\hat{\boldsymbol{\beta}}](\hat{\boldsymbol{\beta}}-\boldsymbol{\beta})= {}^{t}(\hat{\boldsymbol{\beta}}-\boldsymbol{\beta})\displaystyle{\frac{{}^{t}\tilde{\boldsymbol{X}}\tilde{\boldsymbol{X}}}{\sigma^2}}(\hat{\boldsymbol{\beta}}-\boldsymbol{\beta})\sim \chi^2(k) \end{aligned}$

が成り立つ。正規性の仮定のもとでは、

$\begin{aligned} \displaystyle{\frac{{}^{t}\boldsymbol{e}\boldsymbol{e}}{\sigma^2}}=\displaystyle{\frac{(n-k)S^2}{\sigma^2}}\sim \chi^2(n-k) \end{aligned}$

が成立する。

5.2.5　分散の推定

　ここまでで統計量の分布を導いてきた。しかしこれらは未知数である $\sigma$ を含むため、その推定量である $S$ を用いればよい。
　まず個別の回帰係数 $\hat{\beta}$ をその標準誤差などで規格化したものは自由度 $n-k$ の $t$ 分布に従う。

$\begin{aligned} \displaystyle{\frac{\hat{\beta}_i-\beta_i}{S_{\hat{\beta}_i}}}\sim t(n-k) \end{aligned}$

（ $\because$ 　示すべき式の左辺は

$\begin{aligned} \displaystyle{\frac{\hat{\beta}_i-\beta_i}{S_{\hat{\beta}_i}}}=\displaystyle{\frac{\displaystyle{\frac{\hat{\beta}_i-\beta_i}{\sigma_{\hat{\beta}_i}}}}{\displaystyle{\frac{S_{\hat{\beta}_i}}{\sigma_{\hat{\beta}_i}}}}} \end{aligned}$

と書き換えられる。この分子は標準正規分布に従い、分母の二乗は自由度 $n-k$ のカイ二乗分布に従う。
　ここで分子は $\hat{\boldsymbol{\beta}}$ の関数である一方で、分母は残差ベクトル $\boldsymbol{e}$ の関数であるから両者は独立であり、そのため上式は自由度 $n-k$ の $t$ 分布の定義に合致することになる。　 $\blacksquare$ ）

5.3　仮説検定

　個別の係数についての検定は、仮説

$\begin{aligned} &H_0: \beta_i=\beta_{i0}\\ v.s.&H_1: \beta_i\neq\beta_{i0} \end{aligned}$

の帰無仮説 $H_0$ において、

$\begin{aligned} t_0=\displaystyle{\frac{\hat{\beta}_i-\beta_{i0}}{S_{\hat{\beta}_i}}}\sim t(n-k) \end{aligned}$

が成り立つことを活用すればよい。

5.3.1　回帰の $F$ 検定

　複数の係数について、定数項以外の係数がすべて $0$ であることを検定する。回帰モデル

$\begin{aligned} \boldsymbol{Y}&=\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon},\\ \boldsymbol{\beta}&=\begin{bmatrix} \beta_0\\ \beta_1\\ \vdots\\ \beta_n \end{bmatrix},\\ \boldsymbol{X}&=[\boldsymbol{1}\ X_1\ X_2\ \cdots\ X_n] \end{aligned}$

において $\boldsymbol{\beta_{-1}}=\begin{bmatrix}\beta_1\\ \beta_2\\ \vdots\\ \beta_n\end{bmatrix},\ \boldsymbol{X}_{-1}=[X_1\ X_2\ \cdots\ X_n]$ とおき、仮説検定

$\begin{aligned} &H_0: \beta_1=\beta_2=\cdots=\beta_n=0\\ v.s.\ \ &H_1: {}^{\exists}k\ s.t.\ \beta_k\neq0,\ k=1,2,\cdots,n \end{aligned}$

を考える。この検定を回帰の $F$ 検定という。

$\begin{aligned} ESS={}^{t}\boldsymbol{\beta}_{-1}{}^{t}\tilde{\boldsymbol{X}}_{-1}\tilde{\boldsymbol{X}}_{-1}\boldsymbol{\beta}_{-1},\ RSS={}^{t}\boldsymbol{e}\boldsymbol{e}=(n-k)S^2 \end{aligned}$

が成り立つから、

$\begin{aligned} F_0=\displaystyle{\frac{\displaystyle{\frac{ESS}{k-1}}}{\displaystyle{\frac{RSS}{n-k}}}}=\displaystyle{\frac{R^2}{1-R^2}}\displaystyle{\frac{n-k}{k-1}} \end{aligned}$

について、もし帰無仮説 $H_0:\boldsymbol{\beta}_{-1}=\boldsymbol{0}$ が真ならば、その推定値 $\hat{\boldsymbol{\beta}}_{-1}$ も $\boldsymbol{0}$ に近いはずである。これは説明変数 $\boldsymbol{X}_{-1}$ を入れても説明力は上がらず、それはすなわち $ESS$ は小さい( $RSS$ は大きい)ことを意味する。逆に対立仮説 $H_1$ が正しいならば $RSS$ は小さい( $ESS$ は大きい)はずである。
　したがって

$\begin{aligned} H_0: \boldsymbol{\beta}_{-1}&=\boldsymbol{0} が真である\\ &\Leftrightarrow \hat{\boldsymbol{\beta}}_{-1}が\boldsymbol{0}に近い\\ &\Leftrightarrow RSSが大きい\\ &\Leftrightarrow F_0が小さい (H_0を棄却しない)\\ H_1: \boldsymbol{\beta}_{-1}&\neq\boldsymbol{0} が真である\\ &\Leftrightarrow \hat{\boldsymbol{\beta}}_{-1}が\boldsymbol{0}から遠い\\ &\Leftrightarrow RSSが小さい\\ &\Leftrightarrow F_0が大きい (H_0を棄却する) \end{aligned}$

が成り立つ。

5.3.2　残差二乗和による検定

　一般に仮説が係数 $\boldsymbol{\beta}$ に $p$ 個の制約を課する場合の検定は以下の統計量に注目する：

$\begin{aligned} F_0=\displaystyle{\frac{\displaystyle{\frac{{RSS}_R-{RSS}_{UR}}{p}}}{\displaystyle{\frac{{RSS}_{UR}}{n-k}}}} \end{aligned}$

ここで $RSS_{R}$ は制約が課されたときの残差二乗和であり、 $RSS_{UR}$ は制約がないときの残差二乗和である。

5.4　Gauss-Markovの定理

　 $K$ 変数古典的回帰モデルであってもGauss-Markovの定理が成り立つ。

Gauss-Markovの定理　　古典的 $K$ 変数回帰モデルにおいて最小二乗推定量は最良線形不偏推定量である。

次回

power-of-awareness.com

前回

今日のまとめ

5. 古典的変数回帰モデル

5.1 古典的変数回帰モデルの導入

5.2 古典的回帰モデルにおける最小二乗推定量の分布

5.2.4 古典的正規回帰モデルにおける統計量の分布

5.2.5 分散の推定

5.3 仮説検定

5.3.1 回帰の検定

5.3.2 残差二乗和による検定

5.4 Gauss-Markovの定理

次回