「大人の教養・知識・気付き」を伸ばすブログ

一流の大人(ビジネスマン、政治家、リーダー…)として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。目下、データ分析・語学に力点を置いています。今月(2022年10月)からは多忙につき、日々の投稿数を減らします。

MENU

統計学のための線形代数(019/X)

 統計学に習熟するには線形代数の習得が不可欠である。が、初等的な線形代数ではカバーしきれないような分野も存在する。そこで以下の参考書

を基により高等な線形代数を学ぶ。

4. 行列の因数分解と行列ノルム

4.1 特異値分解

例:多重共線性と特異値分解
 標準化された回帰モデル



\begin{aligned}
\boldsymbol{y}=\delta_0\boldsymbol{1}+Z_1\boldsymbol{\delta}_1+\boldsymbol{\varepsilon}
\end{aligned}


を考える。これのパラメータに推定値\delta_0=\bar{y},\boldsymbol{\delta}_1=\hat{\boldsymbol{\delta}}_1を代入して得た予測値



\begin{aligned}
\hat{\boldsymbol{y}}=\bar{y}\boldsymbol{1}+Z_1\hat{\boldsymbol{\delta}}_1
\end{aligned}


\mathbb{R}^{k+1}内の超平面上に点を与える。
 いまZ_1=VDU^{\prime}N\times k行列Z_1特異値分解だとする。すなわちVn次正方行列で、Uk次直交行列であり、DZ_1^{\prime}Z_1固有値平方根を対角要素に配し、それ以外の要素が0であるようなN\times k行列である。
 モデル\boldsymbol{y}=\delta_0\boldsymbol{1}+Z_1\boldsymbol{\delta}_1+\boldsymbol{\varepsilon}\alpha_0=\delta_0,\boldsymbol{\alpha}_1=U^{\prime}\boldsymbol{\delta}_1,W_1=VDと定義することで、



\begin{aligned}
\boldsymbol{y}=\alpha_0\boldsymbol{1}+W_1\boldsymbol{\alpha}_1+\boldsymbol{\varepsilon}
\end{aligned}


と書き換えることができる。
 Dの対角要素のうち、ちょうどr個、特に最後のr個が0で、DU,Vに適切に分割することでZ_1=V_1D_1U_1^{\prime}が得られると仮定する。ここでD_1(k-r)次対角行列である。これはZ_1の行空間が\mathbb{R}^k(k-r)次元部分空間であり、その部分空間はU_1の列によって張られていることを意味している。すなわち当てはめられた回帰超平面上の点はk次元の標準化された説明変数空間上に射影されると、実質的に(k-r)次元部分空間に留まる。
 またモデル\boldsymbol{y}=\alpha_0\boldsymbol{1}+W_1\boldsymbol{\alpha}_1+\boldsymbol{\varepsilon}



\begin{aligned}
\boldsymbol{y}=\alpha_0\boldsymbol{1}+W_{11}\boldsymbol{\alpha}_{11}+\boldsymbol{\varepsilon}
\end{aligned}


に簡約化される。ここでW_{11}=V_1D_1,\boldsymbol{\alpha}_{11}=U_1^{\prime}\boldsymbol{\delta}_1であり、



\begin{aligned}
\hat{\boldsymbol{\alpha}}_{11}&=(W_{11}^{\prime}W_{11})^{-1}W_{11}^{\prime}\boldsymbol{y}\\
&=( (V_1D_1)^{\prime}(V_1D_1))^{-1}v^{\prime}\boldsymbol{y}\\
&=D_1^{-1}V_1^{\prime}\boldsymbol{y}
\end{aligned}


で与えられる。また\hat{\boldsymbol{\alpha}}_{11}=U_1^{\prime}\hat{\boldsymbol{\delta}}_1でなければならないため、\hat{\boldsymbol{\alpha}}_{11}\boldsymbol{\delta}_1の最小二乗推定量を得るのにも利用できる。
 更に\hat{\boldsymbol{\delta}}_{11}\in\mathbb{R}^{k-r}を用いて\hat{\boldsymbol{\delta}}_1=(\hat{\boldsymbol{\delta}}_{11}^{\prime},\hat{\boldsymbol{\delta}}_{12}^{\prime})^{\prime}, U_1^{\prime}=(U_{11}^{\prime},U_{12}^{\prime})と分割すると



\begin{aligned}
\hat{\boldsymbol{\alpha}}_{11}=U_{11}^{\prime}\hat{\boldsymbol{\delta}}_{11}+U_{12}^{\prime}\hat{\boldsymbol{\delta}}_{12}
\end{aligned}


を得、両辺に左からU_{11}^{\prime-1}を掛けることで



\begin{aligned}
\hat{\boldsymbol{\delta}}_{11}=U_{11}^{\prime-1}\hat{\boldsymbol{\alpha}}_{11}-U_{11}^{\prime-1}U_{12}^{\prime}\hat{\boldsymbol{\delta}}_{12}
\end{aligned}


を得る。この恒等式を満たしている限り、任意に選択した\hat{\boldsymbol{\delta}}_{12}に対して\hat{\boldsymbol{\delta}}_1=(\hat{\boldsymbol{\delta}}_{11},\hat{\boldsymbol{\delta}}_{12})^{\prime}は最小二乗推定量になるから、\boldsymbol{\delta}_1の最小二乗推定量は一意でない。
 今度は、\boldsymbol{z}\in\mathbb{R}^kで与えられた値を標準化された説明変数として持つような観測対象に対応している目的変数yの推定が目的であると想定する。最小二乗推定量\hat{\boldsymbol{\delta}}_1を用いることで推定値\hat{y}=\bar{y}+\boldsymbol{z}^{\prime}\hat{\boldsymbol{\delta}}_1が得られる。この推定値\hat{y}は一意でない可能性がある。なぜならば、\boldsymbol{z}_1\in\mathbb{R}^{k-r}を用いて\boldsymbol{z}=(\boldsymbol{z}_1^{\prime},\boldsymbol{z}_2^{\prime})^{\prime}と分割すると、



\begin{aligned}
\hat{y}&=\bar{y}+\boldsymbol{z}^{\prime}\hat{\boldsymbol{\delta}}_1\\
&=\bar{y}+\boldsymbol{z}^{\prime}_1\hat{\boldsymbol{\delta}}_{11}+\boldsymbol{z}^{\prime}_2\hat{\boldsymbol{\delta}}_{12}\\
&=\bar{y}+\boldsymbol{z}^{\prime}_1U_{11}^{\prime-1}\hat{\boldsymbol{\alpha}}_{11}+(\boldsymbol{z}^{\prime}_2-\boldsymbol{z}^{\prime}_1U_{11}^{\prime-1}U_{12}^{\prime})\hat{\boldsymbol{\delta}}_{12}
\end{aligned}


が得られるからである。すなわち



\begin{aligned}
\boldsymbol{z}^{\prime}_2-\boldsymbol{z}^{\prime}_1U_{11}^{\prime-1}U_{12}^{\prime}=\boldsymbol{0}^{\prime}
\end{aligned}

が成立する場合にのみ\hat{y}は一意になり、このとき唯一の推定値は\hat{y}=\bar{y}+\boldsymbol{z}^{\prime}_1U_{11}^{\prime-1}\hat{\boldsymbol{\alpha}}_{11}+(\boldsymbol{z}^{\prime}_2で与えられる。\boldsymbol{z}^{\prime}_2-\boldsymbol{z}^{\prime}_1U_{11}^{\prime-1}U_{12}^{\prime}=\boldsymbol{0}^{\prime}を満たすすべてのベクトル\boldsymbol{z}=(\boldsymbol{z}_1^{\prime},\boldsymbol{z}_2^{\prime})^{\prime}の集合はU_1の列空間である。したがって\hat{\boldsymbol{\delta}}_1を計算するために得られる規格化された説明変数で成立するすべてのベクトルの集まりで張られた空間に\boldsymbol{z}が含まれている場合にのみ、yは一意に推定される。

 多重共線が生じている場合において、Z_1は最大階数となるため、行列Dは対角要素に0を持たない代わりに、他の値に比べて値が非常に小さいr個の成分を対角成分に持つ。この場合Z_1の行空間が\mathbb{R}^kのすべてであるが、Z_1の行に対応する点はすべて\mathbb{R}^k(k-r)次元部分集合Sに近接している。これらの点に対応する目的変数の値へ与える小さな変動は、Sの外側に離れて位置するベクトル\boldsymbol{z}に対して当てはめられた回帰超平面\hat{y}=\bar{y}+\boldsymbol{z}^{\prime}\hat{\boldsymbol{\delta}}_1の位置合いを実質的に変化させる。

 目的変数の小さな変動は交点の直線の位置と平面の傾きの双方に小さな変動をもたらす。しかし回帰平面の傾きは、微小な変動でさえSから離れたベクトル\boldsymbol{z}についてこの平面の表面に大きな変動をもたらす。

 この傾きへの影響は主成分回帰により打ち消すことができる。

プライバシーポリシー お問い合わせ