「大人の教養・知識・気付き」を伸ばすブログ

一流の大人（ビジネスマン、政治家、リーダー…）として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。データ分析・語学に力点を置いています。　→諸事情により、2023年4月～8月くらいまで更新を不定期にします(8/23追記：10月末まで更新不定期期間を延期します。)。

MENU

計量経済学の基礎（07/22）

経済学 統計学 金融・ファイナンス

　計量経済学を学んでいく。
　まずは

計量経済学 (y21)

計量経済学 (y21)

Amazon

を中心に参照して基礎を学んでいく。

前回

power-of-awareness.com

今日のまとめ

  • 残差回帰とは\boldsymbol{\beta}_2を以下の3ステップを通じて推定する方法である。

    (1)\boldsymbol{Y}を\boldsymbol{X}_1に単回帰して残差\tilde{\boldsymbol{Y}}を求める。

    (2)\boldsymbol{X}_2を\boldsymbol{X}_1に回帰して残差の行列\tilde{\boldsymbol{X}}_2を求める。

    (3)残差\tilde{\boldsymbol{Y}}を残差の行列\tilde{\boldsymbol{X}}_2に回帰させる。
  • Yの総変動は以下のとおりで与えられる：

    \begin{aligned}TSS={}^{t}(\hat{\boldsymbol{Y}}-\boldsymbol{1}\bar{Y})(\hat{\boldsymbol{Y}}-\boldsymbol{1}\bar{Y})+{}^{t}\boldsymbol{e}\boldsymbol{e}\end{aligned}
  • 決定係数R^2は以下で定義できる：
    \begin{aligned}R^2=1-\displaystyle{\frac{RSS}{TSS}}=\displaystyle{\frac{ESS}{TSS}}\end{aligned}
  • ただし決定係数は採用する説明変数の個数を増やせば必然的に改善するため、説明変数の数による上昇を控除した自由度修正済み決定係数\bar{R}^2を以下で定義する：
    \begin{aligned}\bar{R}^2=1-\displaystyle{\frac{RSS}{TSS}\frac{n-1}{n-k}}=1-(1-R^2)\displaystyle{\frac{n-1}{n-k}}\end{aligned}
  • （自由度修正済み）決定係数は当てはまりの良さを表しているもので、良い予測をするモデルの診断に用いることが出来るわけではない点に留意が必要である。

4.　K変数回帰モデル

　以降、K\gt 1とする。

4.5　残差回帰

　\hat{\beta}の個々の成分や部分のベクトルはどのように求めればよいのか。1つは先に\hat{\beta}をまず計算し、そこから必要な部分を取り出す。もう1つは残差による回帰である。\boldsymbol{Y}をk個の変数からなる行列\boldsymbol{X}に回帰した結果は以下のように表される：

\begin{aligned} \boldsymbol{Y}=&\boldsymbol{X}\hat{\boldsymbol{\beta}}+\boldsymbol{e}\\ =&\boldsymbol{X}_1\boldsymbol{\hat{\beta}_1}+\boldsymbol{X}_2\boldsymbol{\hat{\beta}}_2+\boldsymbol{e},\\ \hat{\boldsymbol{\beta}}=&\begin{bmatrix}\boldsymbol{\beta}_1\\\boldsymbol{\beta}_2\end{bmatrix},\\ \boldsymbol{X}=&[\boldsymbol{X}_1|\boldsymbol{X}_2] \end{aligned}

このとき、残差回帰とは\boldsymbol{\beta}_2を以下の3ステップを通じて推定する方法である。

(1) \boldsymbol{Y}を\boldsymbol{X}_1に単回帰して残差\tilde{\boldsymbol{Y}}を求める。
(2) \boldsymbol{X}_2を\boldsymbol{X}_1に回帰して残差の行列\tilde{\boldsymbol{X}}_2を求める。
(3) 残差\tilde{\boldsymbol{Y}}を残差の行列\tilde{\boldsymbol{X}}_2に回帰させる。

　残差回帰の代数的結果はFWL定理(Frisch-Waugh-Lovell定理)と呼ばれる。


FWL定理(1) 回帰分析
\begin{aligned} \boldsymbol{Y}=&\boldsymbol{X}\hat{\boldsymbol{\beta}}+\boldsymbol{e}\\ =&\boldsymbol{X}_1\boldsymbol{\hat{\beta}_1}+\boldsymbol{X}_2\boldsymbol{\hat{\beta}}_2+\boldsymbol{e},\\ \hat{\boldsymbol{\beta}}=&\begin{bmatrix}\boldsymbol{\beta}_1\\\boldsymbol{\beta}_2\end{bmatrix},\\ \boldsymbol{X}=&[\boldsymbol{X}_1|\boldsymbol{X}_2] \end{aligned}
において\hat{\beta}_2は、以下の3ステップを通じて推定できる：

(a) \boldsymbol{Y}を\boldsymbol{X}_1に単回帰して残差\tilde{\boldsymbol{Y}}を求める。
(b) \boldsymbol{X}_2を\boldsymbol{X}_1に回帰して残差の行列\tilde{\boldsymbol{X}}_2を求める。
(c) 残差\tilde{\boldsymbol{Y}}を残差の行列\tilde{\boldsymbol{X}}_2に回帰させる。

(2) (c)における回帰の残差は残差\boldsymbol{e}に一致する。

（\because　\boldsymbol{X}_2を\boldsymbol{X}_1へ回帰し残差する作用素は以下で定義できる：

\begin{aligned} M_1=I-\boldsymbol{X}_1({}^{t}\boldsymbol{X}_1\boldsymbol{X}_1)^{-1}{}^{t}\boldsymbol{X}_1 \end{aligned}

　この回帰により
\tilde{\boldsymbol{X}}_2=M_1\boldsymbol{X}_2,\ \tilde{\boldsymbol{Y} }=M_1\boldsymbol{Y}
が得られる。このとき\boldsymbol{Y}は

\begin{aligned} \tilde{\boldsymbol{Y} }=&M_1(\boldsymbol{X}_1\boldsymbol{\hat{\beta}_1}+\boldsymbol{X}_2\boldsymbol{\hat{\beta} }_2+\boldsymbol{e})\\ =&M_1\boldsymbol{X}_1\boldsymbol{\hat{\beta}_1}+M_1\boldsymbol{X}_2\boldsymbol{\hat{\beta} }_2+M_1\boldsymbol{e} \end{aligned}

である。M_1\boldsymbol{X}_1=\boldsymbol{0},\ M_1\boldsymbol{e}=\boldsymbol{e}が成り立つから、

\begin{aligned} \tilde{\boldsymbol{Y} }=&M_1\boldsymbol{X}_1\boldsymbol{\hat{\beta}_1}+M_1\boldsymbol{X}_2\boldsymbol{\hat{\beta} }_2+M_1\boldsymbol{e}\\ =&M_1\boldsymbol{X}_2\boldsymbol{\hat{\beta} }_2+\boldsymbol{e}\\ =&\tilde{\boldsymbol{X}}_2\boldsymbol{\beta}_2+\boldsymbol{e} \end{aligned}

でもある。
　ここで

\begin{aligned} {}^{t}\tilde{\boldsymbol{X}}_2\boldsymbol{e}={}^{t}(M_1\boldsymbol{X}_2)\boldsymbol{e}={}^{t}\boldsymbol{X}_2 M_1\boldsymbol{e}=\boldsymbol{0} \end{aligned}

が成り立つ。これは\tilde{\boldsymbol{X}}_2と\boldsymbol{e}とは直交していることを意味する。以上から、\hat{\boldsymbol{\beta}}_2は\tilde{\boldsymbol{Y}}を\tilde{\boldsymbol{X}}_2に回帰した手順(c)における正規方程式の解である。
　(2)について、

\begin{aligned} \tilde{\boldsymbol{Y}}=&\tilde{\boldsymbol{X}}_2\boldsymbol{\beta}_2+\boldsymbol{e} \end{aligned}

および(1)の手順より、\tilde{\boldsymbol{Y}}を\tilde{\boldsymbol{X}}_2に回帰した残差は\boldsymbol{e}と一致する。　\blacksquare）

　以上より、一般に回帰係数の部分ベクトル\tilde{\boldsymbol{\beta}}_2は\boldsymbol{Y}の一次結合で求められる：

\begin{aligned} \hat{\boldsymbol{\beta}}_2=&({}^{t}\tilde{\boldsymbol{X}}_2 \tilde{\boldsymbol{X}}_2)^{-1}{}^{t}\tilde{\boldsymbol{X}}_2\tilde{\boldsymbol{Y}}\\ =&({}^{t}\tilde{\boldsymbol{X}}_2 \tilde{\boldsymbol{X}}_2)^{-1}{}^{t}(M_1 \boldsymbol{X}_2)M_1\boldsymbol{Y}\\ =&({}^{t}\tilde{\boldsymbol{X}}_2 \tilde{\boldsymbol{X}}_2)^{-1}{}^{t}\boldsymbol{X}_2{}^{t}M_1M_1\boldsymbol{Y}\\ =&({}^{t}\tilde{\boldsymbol{X}}_2 \tilde{\boldsymbol{X}}_2)^{-1}{}^{t}\boldsymbol{X}_2M_1\boldsymbol{Y}\\ =&({}^{t}\tilde{\boldsymbol{X}}_2 \tilde{\boldsymbol{X}}_2)^{-1}{}^{t}\tilde{\boldsymbol{X}}_2\boldsymbol{Y} \end{aligned}

4.6　分散の分解と決定係数

　K変数回帰モデルで定数項が説明変数に含まれている事例を考える。定数項を\boldsymbol{X}_1, その他すべての説明変数を\boldsymbol{X}_2とすると、以下が成り立つ：

\begin{aligned} \tilde{\boldsymbol{Y}}=\boldsymbol{Y}-\boldsymbol{1}\bar{Y}=\left(\hat{\boldsymbol{Y}}-\boldsymbol{1}\bar{Y}\right)+\boldsymbol{e}=\tilde{\boldsymbol{X}}_2\boldsymbol{\beta}_2+\boldsymbol{e} \end{aligned}

ここで\tilde{\boldsymbol{Y}},\ \tilde{\boldsymbol{X}}_2はそれぞれ\boldsymbol{Y},\ \boldsymbol{X}_2をその標本平均により推定した結果を表す。
　\left(\hat{\boldsymbol{Y}}-\boldsymbol{1}\bar{Y}\right)と\boldsymbol{e}、更に\tilde{\boldsymbol{X}}_2と\boldsymbol{e}が直交していることを踏まえつつ、二乗和を取ることでYの総変動が分解できる：

\begin{aligned} TSS=\displaystyle{\sum_{i=1}^{n}\left(Y_i-\bar{Y}\right)}=&{}^{t}\tilde{\boldsymbol{Y}}\tilde{\boldsymbol{Y}}={}^{t}\hat{\boldsymbol{\beta}}_2{}^{t}\tilde{\boldsymbol{X}}_2\tilde{\boldsymbol{X}}_2\hat{\boldsymbol{\beta}}_2+{}^{t}\boldsymbol{e}\boldsymbol{e}\\ =&{}^{t}(\hat{\boldsymbol{Y}}-\boldsymbol{1}\bar{Y})(\hat{\boldsymbol{Y}}-\boldsymbol{1}\bar{Y})+{}^{t}\boldsymbol{e}\boldsymbol{e} \end{aligned}

　{}^{t}(\hat{\boldsymbol{Y}}-\boldsymbol{1}\bar{Y})(\hat{\boldsymbol{Y}}-\boldsymbol{1}\bar{Y})がESSで、{}^{t}\boldsymbol{e}\boldsymbol{e}が残差変動(RSS)である。そしてこれを基に決定係数R^2を定義できる：

\begin{aligned} R^2=1-\displaystyle{\frac{RSS}{TSS}}=\displaystyle{\frac{ESS}{TSS}} \end{aligned}

決定係数は0\leq R^2\leq1を満たす。R^2=1ならば\boldsymbol{Y}が\boldsymbol{X}で完全に説明されていることを意味する。R^2=0あならば\boldsymbol{Y}は\boldsymbol{X}の線形関数ではまったく説明できないと解釈できる。
　ただし説明変数の個数が増えれば、残差二乗和は必ず減少しR^2は良くなる。この説明変数の増加による決定係数の増加を割引いた当てはまりの尺度として、自由度修正済み決定係数を以下で定義する：

\begin{aligned} \bar{R}^2=1-\displaystyle{\frac{RSS}{TSS}\frac{n-1}{n-k}}=1-(1-R^2)\displaystyle{\frac{n-1}{n-k}} \end{aligned}

なお（自由度修正済み）決定係数は当てはまりの良さを表しているものである。すなわち既に観測したデータを再現するようなモデル式を推計しにかかるものであるから、良い予測をするモデルの診断に用いることが出来るわけではない点に留意が必要である。

次回

power-of-awareness.com

プライバシーポリシー お問い合わせ