「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。

MENU

計量経済学の基礎(06/22)

 計量経済学を学んでいく。
 まずは

を中心に参照して基礎を学んでいく。

今日のまとめ

  • 一般に複数の説明変数が存在する
    \begin{aligned}Y=\beta_0+\beta_1 X_1+\beta_2 X_2+\cdots+\beta_K X_K+\varepsilon\end{aligned}
    K変数回帰モデルという。
  • 行列を用いることで
    \begin{aligned}\boldsymbol{Y}={}^{t}[\boldsymbol{1}|\boldsymbol{x}]\boldsymbol{\beta}+\boldsymbol{\varepsilon}=\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon},\ \boldsymbol{X}=[\boldsymbol{1}|\boldsymbol{x}]\end{aligned}
    と表現できる。

4. K変数回帰モデル

 以降、K\gt 1とする。

4.1 K変数回帰モデルとは

 まず大雑把に定義すると、一般に複数の説明変数が存在する


\begin{aligned}
Y=\beta_0+\beta_1 X_1+\beta_2 X_2+\cdots+\beta_K X_K+\varepsilon
\end{aligned}

K変数回帰モデルという。これは座標空間\mathbb{R}^{K+1}においてデータ(x_{i,1},\cdots,x_{i,K},y_i),\ i=1,2,\cdots,nに対して平面を当てはめる問題と等価である。

4.2 K変数回帰モデルの行列表示

 n組の観測値に対してK変数回帰モデルは


\begin{aligned}
\boldsymbol{Y}=\begin{bmatrix}
Y_1\\
Y_2\\
\vdots\\
Y_n
\end{bmatrix},\ 
\boldsymbol{1}=\begin{bmatrix}
1\\
1\\
\vdots\\
1
\end{bmatrix},\ 
\boldsymbol{x}=\begin{bmatrix}
X_1\\
X_2\\
\vdots\\
X_n
\end{bmatrix},\ 
\boldsymbol{\beta}=\begin{bmatrix}
\beta_0\\
\beta_1\\
\vdots\\
\beta_K
\end{bmatrix},\ 
\boldsymbol{\varepsilon}=\begin{bmatrix}
\varepsilon_1\\
\varepsilon_2\\
\vdots\\
\varepsilon_n
\end{bmatrix},\ 
\end{aligned}

と書くことで


\begin{aligned}
\boldsymbol{Y}={}^{t}[\boldsymbol{1}|\boldsymbol{x}]\boldsymbol{\beta}+\boldsymbol{\varepsilon}=\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon},\ \boldsymbol{X}=[\boldsymbol{1}|\boldsymbol{x}]
\end{aligned}

と表現できる。

4.3 最小二乗法

 最小二乗法は前節で用いたベクトル表示を用いることで


\begin{aligned}
\boldsymbol{e}^2={}^{t}\boldsymbol{e}\boldsymbol{e}={}^{t}\left(\boldsymbol{Y}-\boldsymbol{X}\boldsymbol{\beta}\right)\left(\boldsymbol{Y}-\boldsymbol{X}\boldsymbol{\beta}\right)
\end{aligned}

を最小化するような\boldsymbol{\beta}=\hat{\boldsymbol{\beta}}を得るような最適化問題だと考えることができる。
 {}^{t}\boldsymbol{e}\boldsymbol{e}はベクトル\boldsymbol{e}の長さの二乗であるから、これは幾何学的にはベクトル\boldsymbol{Y}とベクトル\boldsymbol{X}\boldsymbol{\beta}の距離を最小にする問題だとも言うことが出来る。そう解釈すれば、この最適化問題の解はこれらが直交するときに得られる、すなわち


\begin{aligned}
{}^{t}\boldsymbol{X}\boldsymbol{e}=\boldsymbol{0}
\end{aligned}

が成り立つときに最小化される。したがって\boldsymbol{\beta}=\hat{\boldsymbol{\beta}}であるとき、


\begin{aligned}
{}^{t}\boldsymbol{X}\boldsymbol{e}=\boldsymbol{0}&\Longleftrightarrow {}^{t}\boldsymbol{X}\left(\boldsymbol{Y}-\boldsymbol{X}\hat{\boldsymbol{\beta}}\right)=\boldsymbol{0}\\
&\Longleftrightarrow {}^{t}\boldsymbol{X}\boldsymbol{Y}={}^{t}\boldsymbol{X}\boldsymbol{X}\hat{\boldsymbol{\beta}}
\end{aligned}

が成立する。最後の方程式を正規方程式と呼ぶ。
 {}^{t}\boldsymbol{X}\boldsymbol{X}逆行列をもつならば、


\begin{aligned}
\hat{\boldsymbol{\beta}}=\left({}^{t}\boldsymbol{X}\boldsymbol{X}\right)^{-1}{}^{t}\boldsymbol{X}\boldsymbol{Y}
\end{aligned}

となる。

4.4 K変数回帰の代数

 以降、Q={}^{t}\boldsymbol{X}\boldsymbol{X}とおく。

 これを用いると、


\begin{aligned}
\hat{\beta}=\left({}^{t}\boldsymbol{X}\boldsymbol{X}\right)^{-1}{}^{t}\boldsymbol{X}\boldsymbol{Y}=A\boldsymbol{Y}
\end{aligned}

と書ける。ここでA=Q^{-1}{}^{t}\boldsymbol{X}とおいた。このA\boldsymbol{Y}を係数ベクトルに1次変換する作用素と言える。
 また


\begin{aligned}
\hat{\boldsymbol{Y}}=\boldsymbol{X}\hat{\beta}=N\boldsymbol{Y}
\end{aligned}

と書くことができる。ここでN=\boldsymbol{X}A=\boldsymbol{X}Q^{-1}{}^{t}\boldsymbol{X}とおいた。このNは射影ベクトルの作用素と言える。
 また残差ベクトル\boldsymbol{e}


\begin{aligned}
\boldsymbol{e}=\boldsymbol{Y}-\hat{\boldsymbol{Y}}=(I-N)\boldsymbol{Y}=M\boldsymbol{Y}
\end{aligned}

と書くことができる。M=I-N=I-\boldsymbol{X}Q^{-1}{}^{t}\boldsymbol{X}は射影の残差ベクトルを作る作用素である。
 これらについて


\begin{aligned}
&{}^{t}(Q^{-1})=Q^{-1}\\
&A\boldsymbol{X}=(Q^{-1}{}^{t}\boldsymbol{X})\boldsymbol{X}=Q^{-1}Q=I\\
&A{}^{t}A=(Q^{-1}{}^{t}\boldsymbol{X})(\boldsymbol{X}Q^{-1})=Q^{-1}QQ^{-1}=Q^{-1}\\
&{}^{t}N={}^{t}A{}^{t}\boldsymbol{X}=\boldsymbol{X}{}^{t}(Q^{-1}){}^{t}\boldsymbol{X}\\
&NN=(\boldsymbol{X}A)\boldsymbol{X}A=\boldsymbol{X}(A\boldsymbol{X})A=\boldsymbol{X}IA=\boldsymbol{X}A=N\\
&{}^{t}M=I-{}^{t}N=I-N=M\\
&MM=(I-N)(I-N)=I-2N+N^2=M\\
&N\boldsymbol{X}=(\boldsymbol{X}A)\boldsymbol{X}=\boldsymbol{X}(A\boldsymbol{X})=\boldsymbol{X}I=\boldsymbol{X}\\
&M\boldsymbol{X}=(I-N)\boldsymbol{X}=\boldsymbol{X}-N\boldsymbol{X}=X-X=\boldsymbol{0}\\
&MN=NM=\boldsymbol{0}
\end{aligned}

が成り立つ。

4.5 残差回帰

 \hat{\beta}の個々の成分や部分のベクトルはどのように求めればよいのか。1つは先に\hat{\beta}をまず計算し、そこから必要な部分を取り出す。もう1つは残差による回帰である。\boldsymbol{Y}k個の変数からなる行列\boldsymbol{X}に回帰した結果は以下のように表される:


\begin{aligned}
\boldsymbol{Y}=&\boldsymbol{X}\hat{\boldsymbol{\beta}}+\boldsymbol{e}\\
                         =&\boldsymbol{X}_1\boldsymbol{\hat{\beta}_1}+\boldsymbol{X}_2\boldsymbol{\hat{\beta}}_2+\boldsymbol{e},\\
\hat{\boldsymbol{\beta}}=&\begin{bmatrix}\boldsymbol{\beta}_1\\\boldsymbol{\beta}_2\end{bmatrix},\\
\boldsymbol{X}=&[\boldsymbol{X}_1|\boldsymbol{X}_2]
\end{aligned}

このとき、残差回帰とは\boldsymbol{\beta}_2を以下の3ステップを通じて推定する方法である。

(1) \boldsymbol{Y}\boldsymbol{X}_1に単回帰して残差\tilde{\boldsymbol{Y}}を求める。
(2) \boldsymbol{X}_2\boldsymbol{X}_1に回帰して残差の行列\tilde{\boldsymbol{X}}_2を求める。
(3) 残差\tilde{\boldsymbol{Y}}を残差の行列\tilde{\boldsymbol{X}}_2に回帰させる。

 残差回帰の代数的結果はFWL定理(Frisch-Waugh-Lovell定理)と呼ばれる。


FWL定理(1) 回帰分析

\begin{aligned}
\boldsymbol{Y}=&\boldsymbol{X}\hat{\boldsymbol{\beta}}+\boldsymbol{e}\\
                         =&\boldsymbol{X}_1\boldsymbol{\hat{\beta}_1}+\boldsymbol{X}_2\boldsymbol{\hat{\beta}}_2+\boldsymbol{e},\\
\hat{\boldsymbol{\beta}}=&\begin{bmatrix}\boldsymbol{\beta}_1\\\boldsymbol{\beta}_2\end{bmatrix},\\
\boldsymbol{X}=&[\boldsymbol{X}_1|\boldsymbol{X}_2]
\end{aligned}
において\hat{\beta}_2は、以下の3ステップを通じて推定できる:

(a) \boldsymbol{Y}\boldsymbol{X}_1に単回帰して残差\tilde{\boldsymbol{Y}}を求める。
(b) \boldsymbol{X}_2\boldsymbol{X}_1に回帰して残差の行列\tilde{\boldsymbol{X}}_2を求める。
(c) 残差\tilde{\boldsymbol{Y}}を残差の行列\tilde{\boldsymbol{X}}_2に回帰させる。

(2) (c)における回帰の残差は残差\boldsymbol{e}に一致する。

\because 


 \blacksquare

プライバシーポリシー お問い合わせ