「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。

MENU

計量経済学の基礎(09/22)

 計量経済学を学んでいく。
 まずは

を中心に参照して基礎を学んでいく。

今日のまとめ

  • 古典的K変数回帰モデルにおける推定および検定を扱う。

5. 古典的K変数回帰モデル

 以降、K\gt 1とする。

5.1 古典的K変数回帰モデルの導入

 \boldsymbol{Y}\in\mathbb{R}^{n\times k},\ \boldsymbol{X}\in\mathbb{R}^{k},\ \boldsymbol{\beta}\in\mathbb{R}^{k},\ ,\ \boldsymbol{\varepsilon}\in\mathbb{R}^{n}として重回帰モデル


\begin{aligned}
\boldsymbol{Y}=\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon}
\end{aligned}

を考える。更に以下の5つを仮定する。

  • 仮定(1):\boldsymbol{X}は非確率的である。
  • 仮定(2):E[\boldsymbol{Y}]=\boldsymbol{X}\boldsymbol{\beta},\ E[\boldsymbol{\varepsilon}]=\boldsymbol{0}が成り立つ。
  • 仮定(3):V[\boldsymbol{\varepsilon}]=\sigma^2Iで、各要素は他から独立である。
  • 仮定(4):\boldsymbol{X}の階数はkである。
  • 仮定(5):\boldsymbol{Y}\sim N(\boldsymbol{X}\boldsymbol{\beta},\sigma^2 I)

 このうち、仮定(1)-(4)を満たす重回帰モデルを古典的回帰モデルといい、仮定(1)-(5)を満たす重回帰モデルを古典的正規回帰モデルという。

5.2 古典的回帰モデルにおける最小二乗推定量の分布

5.2.4 古典的正規回帰モデルにおける統計量の分布

 確認のために書くと\boldsymbol{\beta}について


\begin{aligned}
\hat{\boldsymbol{\beta}}\sim \mathbb{N}(\boldsymbol{\beta},\sigma^2({}^{t}\boldsymbol{X}\boldsymbol{X})^{-1})
\end{aligned}

が成り立つ。これを規格化してから二乗すると


\begin{aligned}
\displaystyle{\frac{(\hat{\beta}_i-\beta_i)^2}{{\sigma_{\hat{\beta}i}}^2}}\sim \chi^2(1)
\end{aligned}

となる。
 さらに


\begin{aligned}
{}^{t}(\hat{\boldsymbol{\beta}}-\boldsymbol{\beta})\mathbb{V}[\hat{\boldsymbol{\beta}}](\hat{\boldsymbol{\beta}}-\boldsymbol{\beta})=
{}^{t}(\hat{\boldsymbol{\beta}}-\boldsymbol{\beta})\displaystyle{\frac{{}^{t}\tilde{\boldsymbol{X}}\tilde{\boldsymbol{X}}}{\sigma^2}}(\hat{\boldsymbol{\beta}}-\boldsymbol{\beta})\sim \chi^2(k)
\end{aligned}

が成り立つ。正規性の仮定のもとでは、


\begin{aligned}
\displaystyle{\frac{{}^{t}\boldsymbol{e}\boldsymbol{e}}{\sigma^2}}=\displaystyle{\frac{(n-k)S^2}{\sigma^2}}\sim \chi^2(n-k)
\end{aligned}

が成立する。

5.2.5 分散の推定

 ここまでで統計量の分布を導いてきた。しかしこれらは未知数である\sigmaを含むため、その推定量であるSを用いればよい。
 まず個別の回帰係数\hat{\beta}をその標準誤差などで規格化したものは自由度n-kt分布に従う。


\begin{aligned}
\displaystyle{\frac{\hat{\beta}_i-\beta_i}{S_{\hat{\beta}_i}}}\sim t(n-k)
\end{aligned}
\because 示すべき式の左辺は

\begin{aligned}
\displaystyle{\frac{\hat{\beta}_i-\beta_i}{S_{\hat{\beta}_i}}}=\displaystyle{\frac{\displaystyle{\frac{\hat{\beta}_i-\beta_i}{\sigma_{\hat{\beta}_i}}}}{\displaystyle{\frac{S_{\hat{\beta}_i}}{\sigma_{\hat{\beta}_i}}}}}
\end{aligned}

と書き換えられる。この分子は標準正規分布に従い、分母の二乗は自由度n-kカイ二乗分布に従う。
 ここで分子は\hat{\boldsymbol{\beta}}の関数である一方で、分母は残差ベクトル\boldsymbol{e}の関数であるから両者は独立であり、そのため上式は自由度n-kt分布の定義に合致することになる。 \blacksquare

5.3 仮説検定

 個別の係数についての検定は、仮説


\begin{aligned}
     &H_0: \beta_i=\beta_{i0}\\
v.s.&H_1: \beta_i\neq\beta_{i0}
\end{aligned}
帰無仮説H_0において、

\begin{aligned}
t_0=\displaystyle{\frac{\hat{\beta}_i-\beta_{i0}}{S_{\hat{\beta}_i}}}\sim t(n-k)
\end{aligned}

が成り立つことを活用すればよい。

5.3.1 回帰のF検定

 複数の係数について、定数項以外の係数がすべて0であることを検定する。回帰モデル


\begin{aligned}
\boldsymbol{Y}&=\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon},\\
\boldsymbol{\beta}&=\begin{bmatrix}
\beta_0\\
\beta_1\\
\vdots\\
\beta_n
\end{bmatrix},\\
\boldsymbol{X}&=[\boldsymbol{1}\ X_1\ X_2\ \cdots\ X_n]
\end{aligned}

において\boldsymbol{\beta_{-1}}=\begin{bmatrix}\beta_1\\ \beta_2\\ \vdots\\ \beta_n\end{bmatrix},\ \boldsymbol{X}_{-1}=[X_1\ X_2\ \cdots\ X_n]とおき、仮説検定


\begin{aligned}
          &H_0: \beta_1=\beta_2=\cdots=\beta_n=0\\
v.s.\ \ &H_1: {}^{\exists}k\ s.t.\ \beta_k\neq0,\ k=1,2,\cdots,n
\end{aligned}

を考える。この検定を回帰のF検定という。


\begin{aligned}
ESS={}^{t}\boldsymbol{\beta}_{-1}{}^{t}\tilde{\boldsymbol{X}}_{-1}\tilde{\boldsymbol{X}}_{-1}\boldsymbol{\beta}_{-1},\ RSS={}^{t}\boldsymbol{e}\boldsymbol{e}=(n-k)S^2
\end{aligned}

が成り立つから、


\begin{aligned}
F_0=\displaystyle{\frac{\displaystyle{\frac{ESS}{k-1}}}{\displaystyle{\frac{RSS}{n-k}}}}=\displaystyle{\frac{R^2}{1-R^2}}\displaystyle{\frac{n-k}{k-1}}
\end{aligned}

について、もし帰無仮説H_0:\boldsymbol{\beta}_{-1}=\boldsymbol{0}が真ならば、その推定値\hat{\boldsymbol{\beta}}_{-1}\boldsymbol{0}に近いはずである。これは説明変数\boldsymbol{X}_{-1}を入れても説明力は上がらず、それはすなわちESSは小さい(RSSは大きい)ことを意味する。逆に対立仮説H_1が正しいならばRSSは小さい(ESSは大きい)はずである。
 したがって


\begin{aligned}
H_0: \boldsymbol{\beta}_{-1}&=\boldsymbol{0} が真である\\
&\Leftrightarrow \hat{\boldsymbol{\beta}}_{-1}が\boldsymbol{0}に近い\\
&\Leftrightarrow RSSが大きい\\
&\Leftrightarrow F_0が小さい (H_0を棄却しない)\\
H_1: \boldsymbol{\beta}_{-1}&\neq\boldsymbol{0} が真である\\
&\Leftrightarrow \hat{\boldsymbol{\beta}}_{-1}が\boldsymbol{0}から遠い\\
&\Leftrightarrow RSSが小さい\\
&\Leftrightarrow F_0が大きい (H_0を棄却する)
\end{aligned}

が成り立つ。

5.3.2 残差二乗和による検定

 一般に仮説が係数\boldsymbol{\beta}p個の制約を課する場合の検定は以下の統計量に注目する:


\begin{aligned}
F_0=\displaystyle{\frac{\displaystyle{\frac{{RSS}_R-{RSS}_{UR}}{p}}}{\displaystyle{\frac{{RSS}_{UR}}{n-k}}}}
\end{aligned}

ここでRSS_{R}は制約が課されたときの残差二乗和であり、RSS_{UR}は制約がないときの残差二乗和である。

5.4 Gauss-Markovの定理

 K変数古典的回帰モデルであってもGauss-Markovの定理が成り立つ。


Gauss-Markovの定理  古典的K変数回帰モデルにおいて最小二乗推定量は最良線形不偏推定量である。

プライバシーポリシー お問い合わせ