計量経済学の基礎（02/22） - 「大人の教養・知識・気付き」を伸ばすブログ

　計量経済学を学んでいく。
　まずは

計量経済学 (y21)

作者:皙, 浅野,二朗, 中村
有斐閣

Amazon

を中心に参照して基礎を学んでいく。

前回

power-of-awareness.com

今日のまとめ

線形モデル
$\begin{aligned}Y_i=\alpha+\beta X_i+\varepsilon_i\end{aligned}$
を考えるとき、 $\varepsilon_i$ を攪乱項または誤差項と呼ぶ。

最小二乗法によれば、パラメータは
$\begin{aligned}\hat{\beta}=&\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})}}{\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})^2}}}\\\hat{\alpha}=&\bar{Y}-\hat{\beta}\bar{X}\end{aligned}$
で推定できる。

線形モデルの当てはまりを表す尺度として決定係数 $R^2$ を
$\begin{aligned}R^2=\displaystyle{\frac{{\hat{\beta}}^2\displaystyle{\sum_{i=1}^{n}\left(X_i-\bar{X}\right)^2}}{\displaystyle{\sum_{i=1}^{n}(Y_i-\bar{Y})^2}}}\end{aligned}$
で定義する。

前回
今日のまとめ
2.　条件付き期待値と直線の当てはめ
次回

2.　条件付き期待値と直線の当てはめ

2.1　条件付き期待値関数

　条件付き期待値は $X$ の関数でもあり、母集団回帰関数という。
　観測値の添字を $i$ として観測値 $X_i,Y_i$ の関係は

$\begin{aligned} Y_i=E[Y|X_i]+\varepsilon_i,\ i=1,2,\cdots,n \end{aligned}$

と書かれる。 $\varepsilon_i$ は攪乱項または誤差項と呼ばれる。
　以下では、 $E[Y|X_i]=\alpha+\beta X_i$ とおき、

$\begin{aligned} Y_i=\alpha+\beta X_i+\varepsilon_i \end{aligned}$

と書くことにする。このときの $(\alpha,\beta)$ を母集団回帰係数と呼ぶ。

2.2　標本回帰関数

　標本から母集団回帰関数を推定したものを標本回帰関数といい、標本から標本回帰関数を求める手続きを回帰、標本回帰関数の係数を標本回帰係数と呼ぶ。

2.3　最小二乗法による回帰

　観測値 $(X_i,Y_i ),i=1,\cdots,n$ が得られたとする。これらの観測値が母集団回帰関数で表されるモデルで記述できると仮定する。このときに残差 $e_i$ を

$\begin{aligned} e_i=Y_i-(\alpha+\beta X_i ) \end{aligned}$

で定義する。この残差は攪乱項とは異なる点に注意せよ。
　以下、最小二乗基準による推定を考える。すなわち

$\begin{aligned} L(α,β)=\displaystyle{\sum_{i=1}^{n}{e_i}^2}=\displaystyle{\sum_{i=1}^{n}\{Y_i-(\alpha+\beta X_i)\}^2} \end{aligned}$

を最小化するような $(\alpha,\beta)$ を推定量とする。この関数が $\alpha,\beta$ それぞれに関して凸関数であることを踏まえれば、それぞれで偏微分した式の方程式の解を求めればよい。すなわち

$\begin{aligned} \begin{eqnarray} \left\{ \begin{array}{l} \displaystyle{\frac{\partial }{\partial \alpha}\left[\sum_{i=1}^{n}\{Y_i-(\alpha+\beta X_i)\}^2\right]}=-2\displaystyle{\sum_{i=1}^{n}\{Y_i-(\alpha+\beta X_i)\}}=0,\\ \displaystyle{\frac{\partial }{\partial \beta}\left[\sum_{i=1}^{n}\{Y_i-(\alpha+\beta X_i)\}^2\right]}=-2\displaystyle{\sum_{i=1}^{n}X_{i}\{Y_i-(\alpha+\beta X_i)\}}=0 \end{array} \right. \end{eqnarray} \end{aligned}$

を解く。この式を回帰の正規方程式という。
　求める推定量を $(\hat{\alpha},\hat{\beta})$ とおけば、上式を整理することで

$\begin{aligned} \begin{eqnarray} \left\{ \begin{array}{l} \displaystyle{\sum_{i=1}^{n}\{Y_i-(\hat{\alpha}+\hat{\beta}{X}_i)\}}=0,&\ \ \ \ \ \ \ \ \ \ \ (a)\\ \displaystyle{\sum_{i=1}^{n}\{{X_i}{Y_i}-(\hat{\alpha}+\hat{\beta}{X}_i)X_i\}}=0&\ \ \ \ \ \ \ \ \ \ \ (b)\\ \end{array} \right. \end{eqnarray} \end{aligned}$

が得られる。(a)より

$\begin{aligned} &\displaystyle{\sum_{i=1}^{n}Y_i-n\hat{\alpha}-\hat{\beta}\sum_{i=1}^{n}X_i=0}\\ \Leftrightarrow&\hat{\alpha}=\bar{Y}-\hat{\beta}\bar{X} \end{aligned}$

が得られる。ここで

$\begin{aligned} \bar{X}=\displaystyle{\frac{1}{n}\sum_{i=1}^{n} X_i},\\ \bar{Y}=\displaystyle{\frac{1}{n}\sum_{i=1}^{n} Y_i} \end{aligned}$

とおいた。
　式 $\hat{\alpha}=\bar{Y}-\hat{\beta}\bar{X}$ を(b)に代入することで

$\begin{aligned} \ &\displaystyle{\sum_{i=1}^{n}\{X_iY_i-(\bar{Y}-\hat{\beta}\bar{X}+\hat{\beta}X_i)X_i\}}=0,\\ \Leftrightarrow\ &\displaystyle{\sum_{i=1}^{n}[X_iY_i-\{\bar{Y}+\hat{\beta}(X_i-\bar{X})X_i]}=0,\\ \Leftrightarrow\ &\displaystyle{\sum_{i=1}^{n}X_iY_i}-\bar{Y}\displaystyle{\sum_{i=1}^{n}X_i}-\hat{\beta}\displaystyle{\sum_{i=1}^{n}{(X_i-\bar{X})X_i}}=0 \end{aligned}$

が成り立つ。ここで

$\begin{aligned} \hat{\beta}\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})\bar{X}}=\hat{\beta}\bar{X}\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})}=0 \end{aligned}$

であるから左辺第3項にこれを加えることで

$\begin{aligned} \ &\displaystyle{\sum_{i=1}^{n}X_iY_i-\bar{Y}\sum_{i=1}^{n}X_i-\hat{\beta}\sum_{i=1}^{n}(X_i-\bar{X})X_i}=0,\\ \Leftrightarrow\ &\displaystyle{\sum_{i=1}^{n}X_iY_i-\bar{Y}\sum_{i=1}^{n}X_i-\hat{\beta}\sum_{i=1}^{n}X_i(Y_i-\hat{Y})}=0,\\ \Leftrightarrow\ &\hat{\beta}\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})^2}=\displaystyle{\sum_{i=1}^{n}X_iY_i}-\bar{Y}\displaystyle{\sum_{i=1}^{n}X_i},\\ \Leftrightarrow\ &\hat{\beta}\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})^2}=\displaystyle{\sum_{i=1}^{n}X_i(Y_i-\bar{Y})} \end{aligned}$

　先程と同様に

$\begin{aligned} \displaystyle{\sum_{i=1}^{n}(Y_i-\bar{Y})\bar{X}}=\bar{X}\displaystyle{\sum_{i=1}^{n}(Y_i-\bar{Y})}=0 \end{aligned}$

が成り立つから右辺からこれを引くことで

$\begin{aligned} \ \hat{\beta}\displaystyle{\sum_{i=1}^{n}(X_i\bar{X})^2}=&\displaystyle{\sum_{i=1}^{n}X_i(Y_i-\bar{Y})}-\bar{X}\displaystyle{\sum_{i=1}^{n}(Y_i-\bar{Y})}\\ =&\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})},\\ \therefore\ \hat{\beta}=&\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})}}{\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})^2}}}\\ \therefore\ \hat{\alpha}=&\bar{Y}-\hat{\beta}\bar{X} \end{aligned}$

　以上において

$\begin{aligned} S_{XY}=\displaystyle{\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})} \end{aligned}$

を標本共分散という。

$\begin{aligned} S_X=&\displaystyle{\frac{1}{n-1}\sum_{i=1}^n\left(X_i-\bar{X}\right)^2},\\ S_Y=&\displaystyle{\frac{1}{n-1}\sum_{i=1}^n\left(Y_i-\bar{Y}\right)^2} \end{aligned}$

をそれぞれ $X,Y$ の標本分散という。

2.3.1　残差の性質

　残差は

$\begin{aligned} e_i=Y_i-(\hat{\alpha}+\hat{\beta}X_i)=Y_i-\hat{Y}_i \end{aligned}$

と書ける。

(1) 残差の総和は $0$ である：正規方程式(a)から明らかである。
(2) 残差と $X$ の積和は $0$ である：正規方程式(b)から明らかである。

2.4　当てはまりの尺度、決定係数・重相関係数

　回帰により $X$ が $Y$ をどの程度説明したかを測る尺度を考える。
　完全に説明できた場合とは ${}^{\forall}i=1,2,\cdots,n(e_i=0)$ が成り立つときである。逆に全く説明が出来ない場合とは ${}^{\exists}K\in\mathbb{R}({}^{\forall}i=1,2,\cdots,n)(\hat{Y}_i=K)$ を指す。

図表1　当てはまりのイメージ

出典：浅野・中村（2009）*1

2.4.1　総変動

　各観測値の平均からの乖離の二乗和を $Y$ の総変動 $TSS$ という。
　 $\hat{Y}=\hat{\alpha}+\hat{\beta}X$ とおけば

$\begin{aligned} TSS=&\displaystyle{\sum_{i=1}^{n}(Y_i-\bar{Y})^2}\\ =&\displaystyle{\sum_{i=1}^{n}\{e_i+(\hat{Y}_i-\bar{Y})\}^2}\\ =&\displaystyle{\sum_{i=1}^{n}{e_i}^2+2\sum_{i=1}^{n}e_i(\hat{Y}_i-\bar{Y})+\sum_{i=1}^{n}(\hat{Y}_i-\bar{Y})^2} \end{aligned}$

ここで(a)および(b)から

$\begin{aligned} \displaystyle{\sum_{i=1}^{n}e_i(\hat{Y}_i-\bar{Y})}=\displaystyle{\sum_{i=1}^{n}e_i\hat{Y}_i}-\bar{Y}\displaystyle{\sum_{i=1}^{n}e_i}=0 \end{aligned}$

　したがって

$\begin{aligned} TSS=&\displaystyle{\sum_{i=1}^{n}{e_i}^2+\sum_{i=1}^{n}(\hat{Y}-\bar{Y})^2}\\ =&RSS+ESS \end{aligned}$

が得られる。前者を残差二乗和（ $X$ により説明されなかった部分）、後者を $ESS$ （ $X$ により説明された部分）という。
　 $ESS$ は

$\begin{aligned} ({\hat{Y}}_i-\bar{Y})^2 =&\{(\hat{\alpha}+\hat{\beta}X_i)-(\hat{\alpha }+\hat{\beta}\bar{X})\}^2\\ =&{\hat{\beta}}^2(X_i-\bar{X})^2 \end{aligned}$