「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。

MENU

計量経済学の基礎(02/X)

 計量経済学を学んでいく。
 まずは

を中心に参照して基礎を学んでいく。

今日のまとめ

  • 線形モデル
    \begin{aligned}Y_i=\alpha+\beta X_i+\varepsilon_i\end{aligned}
    を考えるとき、\varepsilon_iを攪乱項または誤差項と呼ぶ。
  • 最小二乗法によれば、パラメータは
    \begin{aligned}\hat{\beta}=&\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})}}{\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})^2}}}\\\hat{\alpha}=&\bar{Y}-\hat{\beta}\bar{X}\end{aligned}
    で推定できる。
  • 線形モデルの当てはまりを表す尺度として決定係数R^2
    \begin{aligned}R^2=\displaystyle{\frac{{\hat{\beta}}^2\displaystyle{\sum_{i=1}^{n}\left(X_i-\bar{X}\right)^2}}{\displaystyle{\sum_{i=1}^{n}(Y_i-\bar{Y})^2}}}\end{aligned}
    で定義する。

2. 条件付き期待値と直線の当てはめ

2.1 条件付き期待値関数

 条件付き期待値はXの関数でもあり、母集団回帰関数という。
 観測値の添字をiとして観測値X_i,Y_iの関係は


\begin{aligned}
Y_i=E[Y|X_i]+\varepsilon_i,\ i=1,2,\cdots,n
\end{aligned}
と書かれる。\varepsilon_iは攪乱項または誤差項と呼ばれる。
 以下では、E[Y|X_i]=\alpha+\beta X_iとおき、

\begin{aligned}
Y_i=\alpha+\beta X_i+\varepsilon_i
\end{aligned}
と書くことにする。このときの(\alpha,\beta)を母集団回帰係数と呼ぶ。

2.2 標本回帰関数

 標本から母集団回帰関数を推定したものを標本回帰関数といい、標本から標本回帰関数を求める手続きを回帰、標本回帰関数の係数を標本回帰係数と呼ぶ。

2.3 最小二乗法による回帰

 観測値(X_i,Y_i ),i=1,\cdots,nが得られたとする。これらの観測値が母集団回帰関数で表されるモデルで記述できると仮定する。このときに残差e_i


\begin{aligned}
e_i=Y_i-(\alpha+\beta X_i )
\end{aligned}
で定義する。この残差は攪乱項とは異なる点に注意せよ。
 以下、最小二乗基準による推定を考える。すなわち

\begin{aligned}
L(α,β)=\displaystyle{\sum_{i=1}^{n}{e_i}^2}=\displaystyle{\sum_{i=1}^{n}\{Y_i-(\alpha+\beta X_i)\}^2}
\end{aligned}
を最小化するような(\alpha,\beta)を推定量とする。この関数が\alpha,\betaそれぞれに関して凸関数であることを踏まえれば、それぞれで偏微分した式の方程式の解を求めればよい。すなわち

\begin{aligned}
\begin{eqnarray}
\left\{
\begin{array}{l}
\displaystyle{\frac{\partial }{\partial \alpha}\left[\sum_{i=1}^{n}\{Y_i-(\alpha+\beta X_i)\}^2\right]}=-2\displaystyle{\sum_{i=1}^{n}\{Y_i-(\alpha+\beta X_i)\}}=0,\\
\displaystyle{\frac{\partial }{\partial \beta}\left[\sum_{i=1}^{n}\{Y_i-(\alpha+\beta X_i)\}^2\right]}=-2\displaystyle{\sum_{i=1}^{n}X_{i}\{Y_i-(\alpha+\beta X_i)\}}=0
\end{array}
\right.
\end{eqnarray}
\end{aligned}
を解く。この式を回帰の正規方程式という。
 求める推定量(\hat{\alpha},\hat{\beta})とおけば、上式を整理することで

\begin{aligned}
\begin{eqnarray}
\left\{
\begin{array}{l}
\displaystyle{\sum_{i=1}^{n}\{Y_i-(\hat{\alpha}+\hat{\beta}{X}_i)\}}=0,&\ \ \ \ \ \ \ \ \ \ \ (a)\\
\displaystyle{\sum_{i=1}^{n}\{{X_i}{Y_i}-(\hat{\alpha}+\hat{\beta}{X}_i)X_i\}}=0&\ \ \ \ \ \ \ \ \ \ \ (b)\\
\end{array}
\right.
\end{eqnarray}
\end{aligned}
が得られる。(a)より


\begin{aligned}
&\displaystyle{\sum_{i=1}^{n}Y_i-n\hat{\alpha}-\hat{\beta}\sum_{i=1}^{n}X_i=0}\\
\Leftrightarrow&\hat{\alpha}=\bar{Y}-\hat{\beta}\bar{X}
\end{aligned}
が得られる。ここで

\begin{aligned}
\bar{X}=\displaystyle{\frac{1}{n}\sum_{i=1}^{n} X_i},\\
\bar{Y}=\displaystyle{\frac{1}{n}\sum_{i=1}^{n} Y_i}
\end{aligned}
とおいた。
 式\hat{\alpha}=\bar{Y}-\hat{\beta}\bar{X}を(b)に代入することで

\begin{aligned}
\ &\displaystyle{\sum_{i=1}^{n}\{X_iY_i-(\bar{Y}-\hat{\beta}\bar{X}+\hat{\beta}X_i)X_i\}}=0,\\
\Leftrightarrow\ &\displaystyle{\sum_{i=1}^{n}[X_iY_i-\{\bar{Y}+\hat{\beta}(X_i-\bar{X})X_i]}=0,\\
\Leftrightarrow\ &\displaystyle{\sum_{i=1}^{n}X_iY_i}-\bar{Y}\displaystyle{\sum_{i=1}^{n}X_i}-\hat{\beta}\displaystyle{\sum_{i=1}^{n}{(X_i-\bar{X})X_i}}=0
\end{aligned}
が成り立つ。ここで

\begin{aligned}
\hat{\beta}\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})\bar{X}}=\hat{\beta}\bar{X}\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})}=0
\end{aligned}
であるから左辺第3項にこれを加えることで

\begin{aligned}
\ &\displaystyle{\sum_{i=1}^{n}X_iY_i-\bar{Y}\sum_{i=1}^{n}X_i-\hat{\beta}\sum_{i=1}^{n}(X_i-\bar{X})X_i}=0,\\
\Leftrightarrow\ &\displaystyle{\sum_{i=1}^{n}X_iY_i-\bar{Y}\sum_{i=1}^{n}X_i-\hat{\beta}\sum_{i=1}^{n}X_i(Y_i-\hat{Y})}=0,\\
\Leftrightarrow\ &\hat{\beta}\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})^2}=\displaystyle{\sum_{i=1}^{n}X_iY_i}-\bar{Y}\displaystyle{\sum_{i=1}^{n}X_i},\\
\Leftrightarrow\ &\hat{\beta}\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})^2}=\displaystyle{\sum_{i=1}^{n}X_i(Y_i-\bar{Y})}
\end{aligned}
 先程と同様に

\begin{aligned}
\displaystyle{\sum_{i=1}^{n}(Y_i-\bar{Y})\bar{X}}=\bar{X}\displaystyle{\sum_{i=1}^{n}(Y_i-\bar{Y})}=0
\end{aligned}
が成り立つから右辺からこれを引くことで

\begin{aligned}
\ \hat{\beta}\displaystyle{\sum_{i=1}^{n}(X_i\bar{X})^2}=&\displaystyle{\sum_{i=1}^{n}X_i(Y_i-\bar{Y})}-\bar{X}\displaystyle{\sum_{i=1}^{n}(Y_i-\bar{Y})}\\
=&\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})},\\
\therefore\ \hat{\beta}=&\displaystyle{\frac{\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})}}{\displaystyle{\sum_{i=1}^{n}(X_i-\bar{X})^2}}}\\
\therefore\ \hat{\alpha}=&\bar{Y}-\hat{\beta}\bar{X}
\end{aligned}
 以上において

\begin{aligned}
S_{XY}=\displaystyle{\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})}
\end{aligned}
を標本共分散という。

\begin{aligned}
S_X=&\displaystyle{\frac{1}{n-1}\sum_{i=1}^n\left(X_i-\bar{X}\right)^2},\\
S_Y=&\displaystyle{\frac{1}{n-1}\sum_{i=1}^n\left(Y_i-\bar{Y}\right)^2}
\end{aligned}
をそれぞれX,Yの標本分散という。

2.3.1 残差の性質

 残差は


\begin{aligned}
e_i=Y_i-(\hat{\alpha}+\hat{\beta}X_i)=Y_i-\hat{Y}_i
\end{aligned}
と書ける。

  • (1) 残差の総和は0である:正規方程式(a)から明らかである。
  • (2) 残差とXの積和は0である:正規方程式(b)から明らかである。

2.4 当てはまりの尺度、決定係数・重相関係数

 回帰によりXYをどの程度説明したかを測る尺度を考える。
 完全に説明できた場合とは{}^{\forall}i=1,2,\cdots,n(e_i=0)が成り立つときである。逆に全く説明が出来ない場合とは{}^{\exists}K\in\mathbb{R}({}^{\forall}i=1,2,\cdots,n)(\hat{Y}_i=K)を指す。


図表1 当てはまりのイメージ
f:id:suguru_125:20211019013445p:plain
出典:浅野・中村(2009)*1

2.4.1 総変動

 各観測値の平均からの乖離の二乗和をYの総変動TSSという。
 \hat{Y}=\hat{\alpha}+\hat{\beta}Xとおけば


\begin{aligned}
TSS=&\displaystyle{\sum_{i=1}^{n}(Y_i-\bar{Y})^2}\\
=&\displaystyle{\sum_{i=1}^{n}\{e_i+(\hat{Y}_i-\bar{Y})\}^2}\\
=&\displaystyle{\sum_{i=1}^{n}{e_i}^2+2\sum_{i=1}^{n}e_i(\hat{Y}_i-\bar{Y})+\sum_{i=1}^{n}(\hat{Y}_i-\bar{Y})^2}
\end{aligned}
ここで(a)および(b)から

\begin{aligned}
\displaystyle{\sum_{i=1}^{n}e_i(\hat{Y}_i-\bar{Y})}=\displaystyle{\sum_{i=1}^{n}e_i\hat{Y}_i}-\bar{Y}\displaystyle{\sum_{i=1}^{n}e_i}=0
\end{aligned}
 したがって

\begin{aligned}
TSS=&\displaystyle{\sum_{i=1}^{n}{e_i}^2+\sum_{i=1}^{n}(\hat{Y}-\bar{Y})^2}\\
=&RSS+ESS
\end{aligned}
が得られる。前者を残差二乗和(Xにより説明されなかった部分)、後者をESSXにより説明された部分)という。
 ESS

\begin{aligned}
({\hat{Y}}_i-\bar{Y})^2
=&\{(\hat{\alpha}+\hat{\beta}X_i)-(\hat{\alpha }+\hat{\beta}\bar{X})\}^2\\
=&{\hat{\beta}}^2(X_i-\bar{X})^2
\end{aligned}
より

\begin{aligned}
ESS={\hat{\beta}}^2\displaystyle{\sum_{i=1}^{n}\left(X_i-\bar{X}\right)^2}
\end{aligned}
と書ける。また式を変形して

\begin{aligned}
RSS=TSS-ESS
\end{aligned}
が得られる。
 以上を踏まえて、当てはまりを表す尺度として決定係数R^2

\begin{aligned}
R^2=\displaystyle{\frac{ESS}{TSS}}=1-\displaystyle{\frac{RSS}{TSS}}
\end{aligned}
で定義する。決定係数の平方根を重相関係数という。

*1:浅野皙・中村二朗(2009)「計量経済学(第2版)」 有斐閣 P.18参照。

プライバシーポリシー お問い合わせ