計量経済学を学んでいく。
まずは
を中心に参照して基礎を学んでいく。
今日のまとめ
- 残差回帰とはを以下の3ステップを通じて推定する方法である。(1)をに単回帰して残差を求める。(2)をに回帰して残差の行列を求める。(3)残差を残差の行列に回帰させる。
- の総変動は以下のとおりで与えられる:
- 決定係数は以下で定義できる:
- ただし決定係数は採用する説明変数の個数を増やせば必然的に改善するため、説明変数の数による上昇を控除した自由度修正済み決定係数を以下で定義する:
- (自由度修正済み)決定係数は当てはまりの良さを表しているもので、良い予測をするモデルの診断に用いることが出来るわけではない点に留意が必要である。
4. 変数回帰モデル
以降、とする。
4.5 残差回帰
の個々の成分や部分のベクトルはどのように求めればよいのか。1つは先にをまず計算し、そこから必要な部分を取り出す。もう1つは残差による回帰である。を個の変数からなる行列に回帰した結果は以下のように表される:
このとき、残差回帰とはを以下の3ステップを通じて推定する方法である。
(1) | をに単回帰して残差を求める。 |
(2) | をに回帰して残差の行列を求める。 |
(3) | 残差を残差の行列に回帰させる。 |
残差回帰の代数的結果はFWL定理(Frisch-Waugh-Lovell定理)と呼ばれる。
FWL定理(1) 回帰分析においては、以下の3ステップを通じて推定できる:
(a) | をに単回帰して残差を求める。 |
(b) | をに回帰して残差の行列を求める。 |
(c) | 残差を残差の行列に回帰させる。 |
(2) (c)における回帰の残差は残差に一致する。
( をへ回帰し残差する作用素は以下で定義できる:
この回帰により
が得られる。このときは
である。が成り立つから、
でもある。
ここで
が成り立つ。これはととは直交していることを意味する。以上から、はをに回帰した手順(c)における正規方程式の解である。
(2)について、
および(1)の手順より、をに回帰した残差はと一致する。 )
以上より、一般に回帰係数の部分ベクトルはの一次結合で求められる:
4.6 分散の分解と決定係数
変数回帰モデルで定数項が説明変数に含まれている事例を考える。定数項を, その他すべての説明変数をとすると、以下が成り立つ:
ここではそれぞれをその標本平均により推定した結果を表す。
と、更にとが直交していることを踏まえつつ、二乗和を取ることでの総変動が分解できる:
がESSで、が残差変動(RSS)である。そしてこれを基に決定係数を定義できる:
決定係数はを満たす。ならばがで完全に説明されていることを意味する。あならばはの線形関数ではまったく説明できないと解釈できる。
ただし説明変数の個数が増えれば、残差二乗和は必ず減少しは良くなる。この説明変数の増加による決定係数の増加を割引いた当てはまりの尺度として、自由度修正済み決定係数を以下で定義する:
なお(自由度修正済み)決定係数は当てはまりの良さを表しているものである。すなわち既に観測したデータを再現するようなモデル式を推計しにかかるものであるから、良い予測をするモデルの診断に用いることが出来るわけではない点に留意が必要である。