「大人の教養・知識・気付き」を伸ばすブログ

一流の大人（ビジネスマン、政治家、リーダー…）として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。データ分析・語学に力点を置いています。　→現在、コンサルタントの雛になるべく、少しずつ勉強中です(※2024年1月21日改訂)。

MENU

計量経済学の基礎（18/22）

経済学 統計学

　計量経済学を学んでいく。
　まずは

計量経済学 (y21)

計量経済学 (y21)

Amazon

を中心に参照して基礎を学んでいく。

前回

power-of-awareness.com

今日のまとめ

  • 最尤法は観測されたデータの組み合わせが生じる確率を最大にするような母数を母数の推定値と見なす方法である

10.　最尤法

　最尤法は観測されたデータの組み合わせが生じる確率を最大にするような母数を母数の推定値と見なす方法である。最尤法による推定量を最尤推定量（MLE: Maximum Likelihood Estimator）という。
　確率変数Xの確率密度関数をf(x;\boldsymbol{\theta}),\ \boldsymbol{\theta}\in\Theta(\Thetaは母数空間)とし、母数(ベクトル)は未知だとする。このとき標本が与えられたときに確率密度関数を母数(ベクトルのみ)の関数としてみたL(\boldsymbol{\theta})=f(x;\boldsymbol{\theta})を尤度関数という。これを最大化するような母数(ベクトル)を推定量とするのが最尤法である。
　実際には計算上の都合から、標本X_1,\cdots,X_nが無作為に得られたと仮定し、尤度関数の対数を取った対数尤度関数

\begin{aligned} l(\boldsymbol{\theta})=\log{L(\boldsymbol{\theta})}=\displaystyle{\sum_{i=1}^{n}\log{f(x_i;\boldsymbol{\theta})}} \end{aligned}

を最大にするような\boldsymbol{\theta}を求める。

例：正規分布の最尤推定量
　標本X_1,\cdots,X_n\sim N(\mu,\sigma^2),\ i.i.d.に対して母数ベクトル\boldsymbol{\theta}=(\mu,\sigma^2)の最尤推定量\boldsymbol{\theta}_{ML}=(\mu_{ML},\sigma^2_{ML})を求める。
　このとき対数尤度関数l(\boldsymbol{\theta})は

\begin{aligned} l(\boldsymbol{\theta})&=\displaystyle{\sum_{i=1}^{n}\log\left[\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left\{-\frac{(x_i-\mu)^2}{2\sigma^2}\right\}\right]}\\ &=n\log\left(\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}}\right)+\displaystyle{\sum_{i=1}^{n}}\left\{-\frac{(x_i-\mu)^2}{2\sigma^2}\right\}\\ &=-\displaystyle{\frac{n}{2}\log{2\pi}}-n\log{\sqrt{\sigma^2}}-\displaystyle{\sum_{i=1}^{n}}\left\{\frac{(x_i-\mu)^2}{2\sigma^2}\right\} \end{aligned}

である。
　\boldsymbol{\theta}_{ML}=(\mu_{ML},\sigma^2_{ML})は対数尤度関数が母数に関して上に凸であるから、これを各母数に関して偏微分して0とおいた方程式を解けばよい。すなわち

\begin{aligned} \displaystyle{\frac{\partial l}{\partial \mu}}&=-2\displaystyle{\sum_{i=1}^{n}}\left(\frac{x_i-\mu}{2\sigma^2}\right)=0,\\ \displaystyle{\frac{\partial l}{\partial \sigma^2}}&=-\displaystyle{\frac{n}{2\sqrt{\sigma^4}}}+\displaystyle{\sum_{i=1}^{n}}\left\{\frac{(x_i-\mu)^2}{2\sigma^4}\right\}=0 \end{aligned}

を\mu,\sigma^2について解けばよい。したがって

\begin{aligned} \mu_{ML}&=\displaystyle{\frac{1}{n}\sum_{i=1}^{n}x_i},\\ \sigma_{ML}^2&=\displaystyle{\frac{1}{n}\sum_{i=1}^{n}(x_i-\mu_{ML})^2} \end{aligned}

を得る。

11.1　最尤推定量の性質

　最尤推定量は以下の性質をもつ：

利点
　 (1) 一致推定量である。
　 (2) 漸近的に不偏である。
　 (3) 漸近的に正規分布に従う。
　 (4) 漸近的に有効性をもつ。
　 (5) 母数の関数h(\theta)の最尤推定量はh(\theta_{ML})に等しい。
欠点
　 (1) 攪乱項の分布を特定する必要がある。
　 (2) 計算が煩雑になる場合がある。
　 (3) 小標本では不偏ではない。

次回

power-of-awareness.com

プライバシーポリシー お問い合わせ