計量経済学の基礎（04/22） - 「大人の教養・知識・気付き」を伸ばすブログ

　計量経済学を学んでいく。
　まずは

計量経済学 (y21)

作者:皙, 浅野,二朗, 中村
有斐閣

Amazon

を中心に参照して基礎を学んでいく。

前回

power-of-awareness.com

今日のまとめ

Gauss-Markovの定理（　古典的回帰モデル
$\begin{aligned}Y_i=\alpha+\beta X_i+\varepsilon_i,\ i=1,2,\cdots,n\end{aligned}$
において最小二乗推定量
$\begin{aligned}\hat{\alpha}&=\overline{Y}-\hat{\beta}\overline{X},\\\hat{\beta}&=\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})(Y_i-\overline{Y})}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}}\end{aligned}$
は最良線形不偏推定量（Best Linear Unbiased Estimator）である。）が成り立つ。

前回
今日のまとめ
3.　古典的2変数回帰モデル
次回

3.　古典的2変数回帰モデル

3.5　Gauss-Markovの定理

　ここまでで議論してきた最小二乗法だが、なぜこの方法による推定量が利用されるのか。推定量の構成方法は一つではない。となると、その“良さ”を判断する必要がある。
　結論を先取りすれば、最小二乗法は他の様々な推定量の中でも“良い”ものであることが証明される。
　この一連の議論をGauss-Markovの定理という。先にその定理の内容を述べよう：

　古典的回帰モデル
$\begin{aligned} Y_i=\alpha+\beta X_i+\varepsilon_i,\ i=1,2,\cdots,n \end{aligned}$
において最小二乗推定量
$\begin{aligned} \hat{\alpha}&=\overline{Y}-\hat{\beta}\overline{X},\\ \hat{\beta}&=\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})(Y_i-\overline{Y})}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}} \end{aligned}$
は最良線形不偏推定量（Best Linear Unbiased Estimator）である。

3.5.1　不偏性

　Gauss-Markovの定理を説明する前に、まずは推定量の“良さ”について説明する。
　（古典的）統計学の理論において推定量（推定対象の真の値を標本から統計的に推測するために定義する、標本（確率変数）の関数）は観測しない限り未知であるから、確定的にその良さを評価することは出来ない。そのため、確率という道具を用いてその評価を行なう。
　直観的にも分かりやすい推定量の良い性質の1つが「不偏性」である。これは推定量の期待値が真の値に一致するという性質である。（特に正規分布のような対称で分かりやすい分布を考えたときに）同じ散らばり具合なのであれば、真の値の周りで散らばった方が得た推定値が真の値ないしそれからなるべく近く散らばった値を得ることが出来そう（つまりそういった確率が高くなり得る）になる。

3.5.2　有効性

　不偏性だけでは推定量を1つに絞ることはできるとは限らない。つまり共に不偏性を持つ推定量が2つあったとき、どちらをより望ましいものとして選ぶべきであるかを考えるためには、推定量の“良さ”を表す別の基準が必要になる。そのうちの1つが「有効性」である。
　ある母数 $\theta$ の推定量として $\theta_1,\theta_2,\cdots$ *1があるときに、そのうちの1つ $\theta_k$ が有効であるとは、

$\begin{aligned} V[\theta_k]\leq V[\theta_i],\ i=,1,2,\cdots \end{aligned}$

を満たすことを言う。すなわちある母数の推定量のうち最も分散が小さい推定量を有効推定量という。
　ある推定量が不偏かつ有効であれば、推定を行なうとその推定値は真の値の周辺に散らばり（特に正規分布であれば平均的には真の値になる。）、さらに散らばりは最も小さいため、真の値またはなるべくそれに近い値を得ることが期待できる。

3.5.3　Gauss-Markovの定理の意味と証明

　Gauss-Markovの定理では、最小二乗推定量が最良線形不偏推定量であることを主張している。線形とは推定量が $Y_1,Y_2,\cdots,Y_n$ の線形結合

$\begin{aligned} k_0+\displaystyle{\sum_{i=1}^{n}k_i Y_i},\ k_j\in\mathbb{R},\ j=0,1,2\cdots,n \end{aligned}$

で表されることを言う。またここでいう“最良性”とは有効性があることを意味している。つまり、最小二乗推定量は、回帰モデルの推定量の中でも、不偏性をもち最も分散が小さいものであるという意味で最も良い推定量である。

（ $\because$ 　 $\hat{\beta}$ についてのみ考える。
　不偏性は前回既に示したので、線形性と有効性を示す。

$\begin{aligned} \hat{\beta}&=\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\overline{X})(Y_i-\overline{Y})}}{\displaystyle{\sum_{i=1}^{n}}(X_i-\overline{X})^2}},\\ &=\displaystyle{\sum_{i=1}^{n}\left\{\frac{\displaystyle{(X_i-\overline{X})}}{\displaystyle{\sum_{j=1}^{n}}(X_j-\overline{X})^2}\right\}Y_i}-\displaystyle{\sum_{i=1}^{n}\left\{\sum_{k=1}^{n}\frac{\displaystyle{(X_k-\overline{X})}}{n\displaystyle{\sum_{j=1}^{n}}(X_j-\overline{X})^2}\right\}Y_i},\\ &=\displaystyle{\sum_{i=1}^{n}\left\{\frac{\displaystyle{(X_i-\overline{X})}}{\displaystyle{\sum_{j=1}^{n}}(X_j-\overline{X})^2}-\sum_{k=1}^{n}\frac{\displaystyle{(X_k-\overline{X})}}{n\displaystyle{\sum_{j=1}^{n}}(X_j-\overline{X})^2}\right\}Y_i} \end{aligned}$

であるから、 $\hat{\beta}$ は線形推定量である。なお以降のために

$\begin{aligned} \omega_i=\frac{\displaystyle{(X_i-\overline{X})}}{\displaystyle{\sum_{j=1}^{n}}(X_j-\overline{X})^2}-\sum_{k=1}^{n}\frac{\displaystyle{(X_k-\overline{X})}}{n\displaystyle{\sum_{j=1}^{n}}(X_j-\overline{X})^2} \end{aligned}$

とおく。
　有効性について考える。任意の線形推定量

$\begin{aligned} \tilde{\beta}=k_0+\displaystyle{\sum_{i=1}^{n}k_i Y_i},\ k_j\in\mathbb{R},j=1,2,\cdots,n \end{aligned}$

の分散 $V[\tilde{\beta}]$ は

$\begin{aligned} V[\tilde{\beta}]&=V\left[k_0+\displaystyle{\sum_{i=1}^{n}k_i Y_i}\right],\\ &=\displaystyle{V\left[\displaystyle{\sum_{i=1}^{n}k_i Y_i}\right]},\\ &=\displaystyle{\sum_{i=1}^{n}{k_i}^2V\left[Y_i\right]},\\ &=\displaystyle{\sum_{i=1}^{n}{k_i}^2\sigma^2} \end{aligned}$

である。
　係数の差として $d_i=k_i-\omega_i$ を定義すると、

$\begin{aligned} V[\tilde{\beta}]&=\displaystyle{\sum_{i=1}^{n}{(\omega_i+d_i)}^2\sigma^2},\\ &=\displaystyle{\sum_{i=1}^{n}{\omega_i}^2\sigma^2}+2\displaystyle{\sum_{i=1}^{n}\omega_i d_i\sigma^2}+\displaystyle{\sum_{i=1}^{n}{d_i}^2\sigma^2} \end{aligned}$

ここで

$\begin{aligned} \displaystyle{\sum_{i=1}^{n}\omega_i d_i}&=\displaystyle{\sum_{i=1}^{n}d_i \left\{\frac{\displaystyle{(X_i-\overline{X})}}{\displaystyle{\sum_{j=1}^{n}}(X_j-\overline{X})^2}\right\}}-\displaystyle{\sum_{i=1}^{n}d_i \left\{\sum_{k=1}^{n}\frac{\displaystyle{(X_k-\overline{X})}}{n\displaystyle{\sum_{j=1}^{n}}(X_j-\overline{X})^2}\right\}},\\ &=\displaystyle{\frac{1}{\displaystyle{\sum_{j=1}^{n}(X_j-\overline{X})^2}}\sum_{i=1}^{n}d_i \left\{\displaystyle{(X_i-\overline{X})}-\sum_{k=1}^{n}\frac{\displaystyle{(X_k-\overline{X})}}{n}\right\}},\\ &=\displaystyle{\frac{1}{\displaystyle{\sum_{j=1}^{n}(X_j-\overline{X})^2}}\left(\sum_{i=1}^{n}\displaystyle{X_i d_i}-\bar{X}\sum_{i=1}^{n}d_i\right)},\\ \end{aligned}$

であり、 $\sum_{i=1}^{n}\displaystyle{X_i d_i}=0,\ \sum_{i=1}^{n}d_i=0$ であるから、 $\displaystyle{\sum_{i=1}^{n}\omega_i d_i}=0$ である。
　したがって

$\begin{aligned} V[\tilde{\beta}]&=\displaystyle{\sum_{i=1}^{n}({\omega_i}^2+{d_i}^2)\sigma^2}\geq \displaystyle{\sum_{i=1}^{n}{\omega_i}^2\sigma^2} \end{aligned}$

が成り立つ。この等号が成り立つのは $d_1=d_2=\cdots=d_n=0$ のときであり、このときこの推定量は最小二乗推定量に一致する。　 $\blacksquare$ ）

3.6　係数の仮説検定

　古典的正規回帰モデルを仮定し、 $\hat{\beta}$ の検定を行うこととする。
　
　仮説検定

$\begin{aligned} H_0:\ \beta=\beta_0\\ H_1:\ \beta\neq\beta_0 \end{aligned}$

を考える。帰無仮説 $H_0$ が正しいと仮定すれば、 $\displaystyle{\frac{\hat{\beta}-\beta_0}{S_{\hat{\beta}}}}\sim t(n-2)$ と $t$ 分布に従うため、
　信頼水準 $\alpha,\ 0\lt\alpha\lt1$ を導入すれば

$\begin{aligned} &P\left(\left|\displaystyle{\frac{\hat{\beta}-\beta_0}{S_{\hat{\beta}}}}\right|\gt t_{\alpha/2}\right)=\alpha\\ \Leftrightarrow&P\left(\left|\hat{\beta}-\beta_0\right|\gt t_{\alpha/2}S_{\hat{\beta}}\right)=\alpha \end{aligned}$