「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。データ分析・語学に力点を置いています。 →現在、コンサルタントの雛になるべく、少しずつ勉強中です(※2024年1月21日改訂)。

MENU

計量経済学の基礎(03/22)

 計量経済学を学んでいく。
 まずは

を中心に参照して基礎を学んでいく。

今日のまとめ

  • 単回帰モデル
    \begin{aligned}Y_i=\alpha+\beta X_i+\varepsilon_i,\ i=1,\cdots,n\end{aligned}
    において

     (1)X_iは非確率的、

     (2)E[\varepsilon_i]=0

     (3){}^{\forall}i=1,\cdots,n,V[\varepsilon_i]=\sigma^2,\ \sigma\gt0

     (4)Cov[\varepsilon_i,\varepsilon_j]=0,i\neq j

     (5)\varepsilon_i\sim N(0,\sigma^2)

    を満たすものを古典的正規回帰モデルという。
  • 古典的(正規)回帰モデルにおいて
    \begin{aligned}\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})(Y_i-\overline{Y})}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}},\\\overline{Y}-\hat{\beta}\overline{X},\\\displaystyle{\frac{1}{n-2}\sum_{i=1}^{n}{e_i}^2}\end{aligned}
    は不偏性を持ち、また分散も簡単に計算できる。

3. 古典的2変数回帰モデル

3.1 古典的回帰モデルとは

 データに直線を当てはめるに当たり、誤差を評価したり撹乱項の性質を考察したりするために様々な仮定を置くことにする。
 単回帰モデル


\begin{aligned}
Y_i=\alpha+\beta X_i+\varepsilon_i,\ i=1,\cdots,n
\end{aligned}

において以下の5つの仮定を置いたものである:

(1) X_iは非確率的である。
(2) 攪乱項の期待値は0、すなわちE[\varepsilon_i]=0である。
(3) 攪乱項の分散は均一で一定、すなわち任意のiに対してV[\varepsilon_i]=\sigma^2,\ \sigma\gt0である。
(4) 攪乱項同士は無相関、すなわちCov[\varepsilon_i,\varepsilon_j]=0,i\neq jである。
(5) 攪乱項は正規分布に従う、すなわち\varepsilon_i\sim N(0,\sigma^2)である。

このうち(1)-(4)を満たすものを古典的回帰モデルといい、更に(1)-(5)を満たすものを古典的正規回帰モデルという。

3.2 係数の誤差評価

 最小二乗法で推定した係数には誤差が含まれている。そこで推定値の誤差を考えることにする。
 まずは係数\hat{\beta}を真の値\betaを含んだ形で書き下し、誤差を評価していこう。


\begin{aligned}
\displaystyle{\sum_{i=1}^{n}(X_j-\overline{X})\overline{Y}}=\overline{Y}\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})}=0
\end{aligned}

であるから、


\begin{aligned}
\hat{\beta}&=\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})(Y_i-\overline{Y})}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}\\
&=\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})Y_i}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}\\
&=\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})(\alpha+\beta X_i+\varepsilon_i)}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}\\
&=\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})(\alpha+\beta X_i)}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}+\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}\varepsilon_i}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}\\
&=\alpha\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}+\beta\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})X_i}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}+\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}\varepsilon_i}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}\\
&=\beta\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})X_i}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}+\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}\varepsilon_i}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}
\end{aligned}

が成り立つ。
 ここで


\begin{aligned}
\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})\overline{X}}=\overline{X}\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})}=0
\end{aligned}

であるから、\hat{\beta}の式の右辺に上式の最左辺を加えることで


\begin{aligned}
\hat{\beta}&=\beta\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})^2}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}+\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}\varepsilon_i}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}\\
&=\beta+\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}\varepsilon_i}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}
\end{aligned}

と変形できる。

3.2.1 \hat{\beta}の不偏性と誤差評価

 では\hat{\beta}の不偏性、すなわち\hat{\beta}=\betaを確認する。


\begin{aligned}
E[\hat{\beta}]&=E\left[\beta+\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}\varepsilon_i}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}\right]\\
&=E\left[\beta\right]+E\left[\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}\varepsilon_i}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}\right]\\
&=E\left[\beta\right]+\displaystyle{\frac{1}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}\displaystyle{\sum_{i=1}^{n}E\left[\varepsilon_i\right]}\\
&=\beta
\end{aligned}

ここで古典的回帰モデルの仮定(2)、すなわちE\left[\varepsilon_i\right]=0を用いた。
 次に誤差(分散)を評価しよう


\begin{aligned}
V[\hat{\beta}]&=V\left[\beta+\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}\varepsilon_i}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}\right]\\
&=\left\{\displaystyle{\frac{1}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}\right\}^2\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})^2V\left[\varepsilon_i\right]}\\
&=\displaystyle{\frac{\sigma^2}{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})^2}}}
\end{aligned}

3.2.2 \hat{\alpha}の評価

 次に\hat{\alpha}を評価する。


\begin{aligned}
\hat{\alpha}=\overline{Y}-\hat{\beta}\overline{X}
\end{aligned}


\begin{aligned}
\overline{Y}&=\displaystyle{\sum_{i=1}^{n}Y_i}=\displaystyle{\sum_{i=1}^{n}(\alpha+\beta X_i+\varepsilon_i)}=\alpha+\beta\overline{X}+\overline{\varepsilon},\\
\overline{\varepsilon}&=\displaystyle{\frac{1}{n}\sum_{i=1}^{n}\varepsilon_i}
\end{aligned}

を代入することで


\begin{aligned}
\hat{\alpha}&=\alpha+\beta\overline{X}+\overline{\varepsilon}-\hat{\beta}\overline{X}\\
&=\alpha+(\beta-\hat{\beta})\overline{X}+\overline{\varepsilon}
\end{aligned}

である。

 次に\hat{\alpha}の不偏性を調べよう。E[\varepsilon_i]=0,\ E[\hat{\beta}]=0であることに注意すれば


\begin{aligned}
E[\hat{\alpha}]=E[\alpha+(\beta-\hat{\beta})\overline{X}+\overline{\varepsilon}]=\alpha
\end{aligned}

であるから、\hat{\alpha}は不偏推定量である。
 更に\hat{\alpha}の誤差を評価しよう。


\begin{aligned}
V[\hat{\alpha}]&=E[(\hat{\alpha}-\alpha)^2]\\
&=E[\{(\beta-\hat{\beta})\overline{X}+\overline{\varepsilon}\}^2]\\
&=(\beta-\hat{\beta})^2E[{\overline{X}}^2]+2\overline{X}E[(\beta-\hat{\beta})\overline{\varepsilon}]+E[{\overline{\varepsilon}}^2]\\
&={\overline{X}}^2E[(\beta-\hat{\beta})^2]+E[{\overline{\varepsilon}}^2]\\
&={\overline{X}}^2V[\hat{\beta}]+V[\overline{\varepsilon}]\\
&=\displaystyle{\frac{{\overline{X}}^2\sigma^2}{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})^2}}}+\displaystyle{\frac{\sigma^2}{n}}\\
&=\left\{\displaystyle{\frac{{\overline{X}}^2}{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})^2}}}+\displaystyle{\frac{1}{n}}\right\}\sigma^2\\
\end{aligned}

である。

3.3 誤差項の分散の推定量

 \hat{\alpha},\ \hat{\beta}の誤差(分散)には攪乱項の分散の真の値である\sigma^2が含まれている。当然ながらその値は未知である。そこで攪乱項の分散\sigma^2の推定量S^2を考え、それで代替する。
 \varepsilon_iが未知であるため、残差e_iをその推定値として用いることにすれば、


\begin{aligned}
S^2=\displaystyle{\frac{1}{n-2}\sum_{i=1}^{n}{e_i}^2}
\end{aligned}

が“良い”推定量と言える。なぜならば、これは不偏性を持つからである。
 実際、


\begin{aligned}
Y_i-(\alpha+\beta X_i)=(\hat{α}+\hat{\beta}X_i+e_i )=(\hat{\alpha}-\alpha)+(\hat{\beta}-\beta)X_i+e_i
\end{aligned}

であるから、


\begin{aligned}
\{Y_i-(\alpha+\beta X_i)\}^2=&(\hat{\alpha}-\alpha)^2+(\hat{\beta}-\beta)^2{X_i}^2+{e_i}^2+\\
&2(\hat{\alpha}-\alpha)(\hat{\beta}-\beta)X_i+2(\hat{\alpha}-\alpha)e_i+2(\hat{\beta}-\beta)X_i e_i
\end{aligned}

であり、


\begin{aligned}
\displaystyle{\sum_{i=1}^{n}\{Y_i-(\alpha+\beta X_i)\}^2}=&n(\hat{\alpha}-\alpha)^2+(\hat{\beta}-\beta)^2\displaystyle{\sum_{i=1}^{n}{X_i}^2+\sum_{i=1}^{n}{e_i}^2}+\\
&2n(\hat{\alpha}-\alpha)(\hat{\beta}-\beta)\overline{X}+2(\hat{\alpha}-\alpha)\displaystyle{\sum_{i=1}^{n}e_i}+2(\hat{\beta}-\beta)\displaystyle{\sum_{i=1}^{n}X_ie_i}
\end{aligned}

が成り立つ。ただし\displaystyle{\sum_{i=1}^{n}\varepsilon_i}=\displaystyle{\sum_{i=1}^{n}X_i \varepsilon_i}=0であるから


\begin{aligned}
\displaystyle{\sum_{i=1}^{n}\{Y_i-(\alpha+\beta X_i)\}^2}=&n(\hat{\alpha}-\alpha)^2+(\hat{\beta}-\beta)^2\displaystyle{\sum_{i=1}^{n}{X_i}^2+\sum_{i=1}^{n}{e_i}^2}+\\
&2n(\hat{\alpha}-\alpha)(\hat{\beta}-\beta)\overline{X}
\end{aligned}

となる。したがって


\begin{aligned}
E\left[\displaystyle{\sum_{i=1}^{n}\{Y_i-(\alpha+\beta X_i)\}^2}\right]=&E\left[n(\hat{\alpha}-\alpha)^2+(\hat{\beta}-\beta)^2\displaystyle{\sum_{i=1}^{n}{X_i}^2+\sum_{i=1}^{n}{e_i}^2}+2n(\hat{\alpha}-\alpha)(\hat{\beta}-\beta)\overline{X}\right]\\
=&nV[\hat{\alpha}]+\left(\displaystyle{\sum_{i=1}^{n}{X_i}^2}\right)V[\hat{\beta}]+E\left[\displaystyle{\sum_{i=1}^{n}{e_i}^2}\right]\\
&+2n\overline{X}E[(\hat{\alpha}-\alpha)(\hat{\beta}-\beta)]
\end{aligned}

である。
 ここで


\begin{aligned}
V[\hat{\alpha}]&=\left\{\displaystyle{\frac{{\overline{X}}^2}{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})^2}}+\frac{1}{n}}\right\}\sigma^2,\\
V[\hat{\beta}]&=\displaystyle{\frac{\sigma^2}{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})^2}}},\\
E\left[\displaystyle{\sum_{i=1}^{n}\{Y_i-(\alpha+\beta X_i)\}^2}\right]&=\displaystyle{\sum_{i=1}^{n}E[{\varepsilon_i}^2]}=n\sigma^2,\\
E[(\hat{\alpha}-\alpha)(\hat{\beta}-\beta)]&=\displaystyle{\frac{\overline{X}}{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})^2}}}\sigma^2
\end{aligned}

であり、これらを代入することで


\begin{aligned}
n\sigma^2=&\left\{\displaystyle{\frac{n{\overline{X}}^2}{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})^2}}+1}\right\}\sigma^2+\displaystyle{\frac{\sum_{i=1}^{n}{\overline{X}}^2}{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})^2}}}\sigma^2+E\left[\displaystyle{\sum_{i=1}^{n}{e_i}^2}\right]\\
&+\displaystyle{\frac{2n{\overline{X}}^2}{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})^2}}}\sigma^2
\end{aligned}

が成り立ち、これは


\begin{aligned}
E\left[\displaystyle{\sum_{i=1}^{n}{e_i}^2}\right]=&\left[n-\left\{\displaystyle{\frac{n{\overline{X}}^2}{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})^2}}+1}\right\}-\displaystyle{\frac{\sum_{i=1}^{n}{\overline{X}}^2}{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})^2}}}-\displaystyle{\frac{2n{\overline{X}}^2}{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})^2}}}\right]\sigma^2\\
=&(n-2)\sigma^2
\end{aligned}

となり、したがって


\begin{aligned}
E\left[\displaystyle{\frac{1}{n-2}\sum_{i=1}^{n}{e_i}^2}\right]=\sigma^2
\end{aligned}
が成り立つ。

3.4 まとめ

 回帰モデル


\begin{aligned}
Y_i=\alpha+\beta X_i+\varepsilon_i,\ i=1,2,\cdots,n,\ \varepsilon_i\sim N(0,\sigma^2)
\end{aligned}
に対して以下のとおり推定する。

推定対象
平均
分散
\beta
\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})(Y_i-\overline{Y})}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}
\beta
\displaystyle{\frac{\sigma^2}{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})^2}}}
\alpha
\overline{Y}-\hat{\beta}\overline{X}
\alpha
\left\{\displaystyle{\frac{{\overline{X}}^2}{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})^2}}}+\displaystyle{\frac{1}{n}}\right\}\sigma^2
\sigma^2
\displaystyle{\frac{1}{n-2}\sum_{i=1}^{n}{e_i}^2}
\sigma^2
-

ただしe_i=Y_i-(\hat{\alpha}+\hat{\beta}X_i)である。

プライバシーポリシー お問い合わせ