計量経済学を学んでいく。
まずは
を中心に参照して基礎を学んでいく。
今日のまとめ
- 残差回帰とは
を以下の3ステップを通じて推定する方法である。(1)
を
に単回帰して残差
を求める。(2)
を
を求める。(3)残差
の総変動は以下のとおりで与えられる：
- 決定係数
は以下で定義できる：
- ただし決定係数は採用する説明変数の個数を増やせば必然的に改善するため、説明変数の数による上昇を控除した自由度修正済み決定係数
を以下で定義する：
- （自由度修正済み）決定係数は当てはまりの良さを表しているもので、良い予測をするモデルの診断に用いることが出来るわけではない点に留意が必要である。
4. 
変数回帰モデル
以降、とする。
4.5 残差回帰
の個々の成分や部分のベクトルはどのように求めればよいのか。1つは先に
をまず計算し、そこから必要な部分を取り出す。もう1つは残差による回帰である。
を
個の変数からなる行列
に回帰した結果は以下のように表される：
このとき、残差回帰とはを以下の3ステップを通じて推定する方法である。
| (1) | |
| (2) | |
| (3) | 残差 |
残差回帰の代数的結果はFWL定理(Frisch-Waugh-Lovell定理)と呼ばれる。
FWL定理(1) 回帰分析
| (a) | |
| (b) | |
| (c) | 残差 |
(2) (c)における回帰の残差は残差に一致する。
（
を
へ回帰し残差する作用素は以下で定義できる：
この回帰により
が得られる。このときは
である。が成り立つから、
でもある。
ここで
が成り立つ。これはと
とは直交していることを意味する。以上から、
は
を
に回帰した手順(c)における正規方程式の解である。
(2)について、
および(1)の手順より、を
に回帰した残差は
と一致する。
）
以上より、一般に回帰係数の部分ベクトルは
の一次結合で求められる：
4.6 分散の分解と決定係数
変数回帰モデルで定数項が説明変数に含まれている事例を考える。定数項を
, その他すべての説明変数を
とすると、以下が成り立つ：
ここではそれぞれ
をその標本平均により推定した結果を表す。
と
、更に
と
が直交していることを踏まえつつ、二乗和を取ることで
の総変動が分解できる：
がESSで、
が残差変動(RSS)である。そしてこれを基に決定係数
を定義できる：
決定係数はを満たす。
ならば
が
で完全に説明されていることを意味する。
あならば
は
の線形関数ではまったく説明できないと解釈できる。
ただし説明変数の個数が増えれば、残差二乗和は必ず減少しは良くなる。この説明変数の増加による決定係数の増加を割引いた当てはまりの尺度として、自由度修正済み決定係数を以下で定義する：
なお（自由度修正済み）決定係数は当てはまりの良さを表しているものである。すなわち既に観測したデータを再現するようなモデル式を推計しにかかるものであるから、良い予測をするモデルの診断に用いることが出来るわけではない点に留意が必要である。