観測データから尤もらしい平均や分散を推定する方法

最尤法

最尤法は、観測データからその母集団の性質(パラメーター)を推定する方法の一つである。観測データから尤度が最大となるようにパラメーターを推測する。

確率変数 X が従う密度あるいは確率分布を f とする。

\[ f(X;\theta) \]

X は確率変換で、θ は分布のパラメーターを表す。例えば正規分布ならば θ = (μ, σ2) となる。

ことの時、尤度関数は密度・確率関数と同じ形となる。すなわち、

\[ L(\theta ; X) = f(X;\theta) \]

多くの場合、尤度関数は計算上扱いづらい。そのため、それを対数化した対数尤度関数が一般に用いられる。

\[ l(\theta; X) = \log L(\theta ; X) \]

尤度関数が単調関数であり、その対数化した対数尤度関数も単調関数である。尤度があるいは対数尤度が最大となるような θ を求める場合、θ で偏微分し、その式がゼロになるときの θ を求めればよい。すなわち、

\[ \frac{\partial l(\mathbf{\theta}; X)}{\partial \mathbf{\theta}} = 0 \]

パラメーター θ が複数要素からなるベクトルの場合、その要素数だけの連立方程式ができるため、この式は理論的に解が求まる。