計量経済学の基礎（06/22） - 「大人の教養・知識・気付き」を伸ばすブログ

　計量経済学を学んでいく。
　まずは

計量経済学 (y21)

作者:皙, 浅野,二朗, 中村
有斐閣

Amazon

を中心に参照して基礎を学んでいく。

前回

power-of-awareness.com

今日のまとめ

一般に複数の説明変数が存在する
$\begin{aligned}Y=\beta_0+\beta_1 X_1+\beta_2 X_2+\cdots+\beta_K X_K+\varepsilon\end{aligned}$
を $K$ 変数回帰モデルという。

行列を用いることで
$\begin{aligned}\boldsymbol{Y}={}^{t}[\boldsymbol{1}|\boldsymbol{x}]\boldsymbol{\beta}+\boldsymbol{\varepsilon}=\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon},\ \boldsymbol{X}=[\boldsymbol{1}|\boldsymbol{x}]\end{aligned}$
と表現できる。

前回
今日のまとめ
4.　変数回帰モデル
次回

4.　 $K$ 変数回帰モデル

　以降、 $K\gt 1$ とする。

4.1　 $K$ 変数回帰モデルとは

　まず大雑把に定義すると、一般に複数の説明変数が存在する

$\begin{aligned} Y=\beta_0+\beta_1 X_1+\beta_2 X_2+\cdots+\beta_K X_K+\varepsilon \end{aligned}$

を $K$ 変数回帰モデルという。これは座標空間 $\mathbb{R}^{K+1}$ においてデータ $(x_{i,1},\cdots,x_{i,K},y_i),\ i=1,2,\cdots,n$ に対して平面を当てはめる問題と等価である。

4.2　 $K$ 変数回帰モデルの行列表示

　 $n$ 組の観測値に対して $K$ 変数回帰モデルは

$\begin{aligned} \boldsymbol{Y}=\begin{bmatrix} Y_1\\ Y_2\\ \vdots\\ Y_n \end{bmatrix},\ \boldsymbol{1}=\begin{bmatrix} 1\\ 1\\ \vdots\\ 1 \end{bmatrix},\ \boldsymbol{x}=\begin{bmatrix} X_1\\ X_2\\ \vdots\\ X_n \end{bmatrix},\ \boldsymbol{\beta}=\begin{bmatrix} \beta_0\\ \beta_1\\ \vdots\\ \beta_K \end{bmatrix},\ \boldsymbol{\varepsilon}=\begin{bmatrix} \varepsilon_1\\ \varepsilon_2\\ \vdots\\ \varepsilon_n \end{bmatrix},\ \end{aligned}$

と書くことで

$\begin{aligned} \boldsymbol{Y}={}^{t}[\boldsymbol{1}|\boldsymbol{x}]\boldsymbol{\beta}+\boldsymbol{\varepsilon}=\boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon},\ \boldsymbol{X}=[\boldsymbol{1}|\boldsymbol{x}] \end{aligned}$

と表現できる。

4.3　最小二乗法

　最小二乗法は前節で用いたベクトル表示を用いることで

$\begin{aligned} \boldsymbol{e}^2={}^{t}\boldsymbol{e}\boldsymbol{e}={}^{t}\left(\boldsymbol{Y}-\boldsymbol{X}\boldsymbol{\beta}\right)\left(\boldsymbol{Y}-\boldsymbol{X}\boldsymbol{\beta}\right) \end{aligned}$

を最小化するような $\boldsymbol{\beta}=\hat{\boldsymbol{\beta}}$ を得るような最適化問題だと考えることができる。
　 ${}^{t}\boldsymbol{e}\boldsymbol{e}$ はベクトル $\boldsymbol{e}$ の長さの二乗であるから、これは幾何学的にはベクトル $\boldsymbol{Y}$ とベクトル $\boldsymbol{X}\boldsymbol{\beta}$ の距離を最小にする問題だとも言うことが出来る。そう解釈すれば、この最適化問題の解はこれらが直交するときに得られる、すなわち

$\begin{aligned} {}^{t}\boldsymbol{X}\boldsymbol{e}=\boldsymbol{0} \end{aligned}$

が成り立つときに最小化される。したがって $\boldsymbol{\beta}=\hat{\boldsymbol{\beta}}$ であるとき、

$\begin{aligned} {}^{t}\boldsymbol{X}\boldsymbol{e}=\boldsymbol{0}&\Longleftrightarrow {}^{t}\boldsymbol{X}\left(\boldsymbol{Y}-\boldsymbol{X}\hat{\boldsymbol{\beta}}\right)=\boldsymbol{0}\\ &\Longleftrightarrow {}^{t}\boldsymbol{X}\boldsymbol{Y}={}^{t}\boldsymbol{X}\boldsymbol{X}\hat{\boldsymbol{\beta}} \end{aligned}$

が成立する。最後の方程式を正規方程式と呼ぶ。
　 ${}^{t}\boldsymbol{X}\boldsymbol{X}$ が逆行列をもつならば、

$\begin{aligned} \hat{\boldsymbol{\beta}}=\left({}^{t}\boldsymbol{X}\boldsymbol{X}\right)^{-1}{}^{t}\boldsymbol{X}\boldsymbol{Y} \end{aligned}$

となる。

4.4　 $K$ 変数回帰の代数

　以降、 $Q={}^{t}\boldsymbol{X}\boldsymbol{X}$ とおく。

　これを用いると、

$\begin{aligned} \hat{\beta}=\left({}^{t}\boldsymbol{X}\boldsymbol{X}\right)^{-1}{}^{t}\boldsymbol{X}\boldsymbol{Y}=A\boldsymbol{Y} \end{aligned}$

と書ける。ここで $A=Q^{-1}{}^{t}\boldsymbol{X}$ とおいた。この $A$ は $\boldsymbol{Y}$ を係数ベクトルに1次変換する作用素と言える。
　また

$\begin{aligned} \hat{\boldsymbol{Y}}=\boldsymbol{X}\hat{\beta}=N\boldsymbol{Y} \end{aligned}$

と書くことができる。ここで $N=\boldsymbol{X}A=\boldsymbol{X}Q^{-1}{}^{t}\boldsymbol{X}$ とおいた。この $N$ は射影ベクトルの作用素と言える。
　また残差ベクトル $\boldsymbol{e}$ は

$\begin{aligned} \boldsymbol{e}=\boldsymbol{Y}-\hat{\boldsymbol{Y}}=(I-N)\boldsymbol{Y}=M\boldsymbol{Y} \end{aligned}$

と書くことができる。 $M=I-N=I-\boldsymbol{X}Q^{-1}{}^{t}\boldsymbol{X}$ は射影の残差ベクトルを作る作用素である。
　これらについて

$\begin{aligned} &{}^{t}(Q^{-1})=Q^{-1}\\ &A\boldsymbol{X}=(Q^{-1}{}^{t}\boldsymbol{X})\boldsymbol{X}=Q^{-1}Q=I\\ &A{}^{t}A=(Q^{-1}{}^{t}\boldsymbol{X})(\boldsymbol{X}Q^{-1})=Q^{-1}QQ^{-1}=Q^{-1}\\ &{}^{t}N={}^{t}A{}^{t}\boldsymbol{X}=\boldsymbol{X}{}^{t}(Q^{-1}){}^{t}\boldsymbol{X}\\ &NN=(\boldsymbol{X}A)\boldsymbol{X}A=\boldsymbol{X}(A\boldsymbol{X})A=\boldsymbol{X}IA=\boldsymbol{X}A=N\\ &{}^{t}M=I-{}^{t}N=I-N=M\\ &MM=(I-N)(I-N)=I-2N+N^2=M\\ &N\boldsymbol{X}=(\boldsymbol{X}A)\boldsymbol{X}=\boldsymbol{X}(A\boldsymbol{X})=\boldsymbol{X}I=\boldsymbol{X}\\ &M\boldsymbol{X}=(I-N)\boldsymbol{X}=\boldsymbol{X}-N\boldsymbol{X}=X-X=\boldsymbol{0}\\ &MN=NM=\boldsymbol{0} \end{aligned}$

が成り立つ。

4.5　残差回帰

　 $\hat{\beta}$ の個々の成分や部分のベクトルはどのように求めればよいのか。1つは先に $\hat{\beta}$ をまず計算し、そこから必要な部分を取り出す。もう1つは残差による回帰である。 $\boldsymbol{Y}$ を $k$ 個の変数からなる行列 $\boldsymbol{X}$ に回帰した結果は以下のように表される：

$\begin{aligned} \boldsymbol{Y}=&\boldsymbol{X}\hat{\boldsymbol{\beta}}+\boldsymbol{e}\\ =&\boldsymbol{X}_1\boldsymbol{\hat{\beta}_1}+\boldsymbol{X}_2\boldsymbol{\hat{\beta}}_2+\boldsymbol{e},\\ \hat{\boldsymbol{\beta}}=&\begin{bmatrix}\boldsymbol{\beta}_1\\\boldsymbol{\beta}_2\end{bmatrix},\\ \boldsymbol{X}=&[\boldsymbol{X}_1|\boldsymbol{X}_2] \end{aligned}$

このとき、残差回帰とは $\boldsymbol{\beta}_2$ を以下の3ステップを通じて推定する方法である。

(1)	$\boldsymbol{Y}$ を $\boldsymbol{X}_1$ に単回帰して残差 $\tilde{\boldsymbol{Y}}$ を求める。
(2)	$\boldsymbol{X}_2$ を $\boldsymbol{X}_1$ に回帰して残差の行列 $\tilde{\boldsymbol{X}}_2$ を求める。
(3)	残差 $\tilde{\boldsymbol{Y}}$ を残差の行列 $\tilde{\boldsymbol{X}}_2$ に回帰させる。

　残差回帰の代数的結果はFWL定理(Frisch-Waugh-Lovell定理)と呼ばれる。

FWL定理(1) 回帰分析

において $\hat{\beta}_2$ は、以下の3ステップを通じて推定できる：

(a)	$\boldsymbol{Y}$ を $\boldsymbol{X}_1$ に単回帰して残差 $\tilde{\boldsymbol{Y}}$ を求める。
(b)	$\boldsymbol{X}_2$ を $\boldsymbol{X}_1$ に回帰して残差の行列 $\tilde{\boldsymbol{X}}_2$ を求める。
(c)	残差 $\tilde{\boldsymbol{Y}}$ を残差の行列 $\tilde{\boldsymbol{X}}_2$ に回帰させる。

(2) (c)における回帰の残差は残差 $\boldsymbol{e}$ に一致する。

次回

power-of-awareness.com

前回

今日のまとめ

4. 変数回帰モデル

4.1 変数回帰モデルとは

4.2 変数回帰モデルの行列表示

4.3 最小二乗法

4.4 変数回帰の代数

4.5 残差回帰

次回