事後分布

原因を θ、結果を z とし、原因 θi の事前確率 P(θi) を w(θi)、事後確率 P(θi|z) を w'(θi|z)、また P(z|θi) を z の関数として f(z|θi) と書けば、ベイズの定理は次のような形で書ける。

\[ w'(\theta_{i}|z) = \frac{w(\theta_{i})f(z|\theta_{i})}{\sum w(\theta_{j})f(z|\theta_{j})} \]

θ が連続的に動くならば、ベイズの定理は積分を用いて次のように書ける。このとき、w を事前分布(prior distribution)、w' を事後分布(posterior distribution)という。また、f(z|θ) はパラメーターが θ の時の標本の確率分布(= 尤度)となる。

\[ w'(\theta|z) = \frac{w(\theta)f(z|\theta)}{\int_{\Theta} w(\theta)f(z|\theta)d\theta} \]

ベイズの定理の式をみると、分母はパラメーター θ を含まない定数となっている。そのため、ベイズ推定を行う上で、次のような式で計算する。

\[ w'(\theta) \propto w(\theta) f(z|\theta) \]

とくに、ベイズ推定を行うのにあたり事前分布に関する情報がない場合、無情報事前分布の一つとして一様分布が使われる。一様分布において、各確率変数が取りうる確率が一定であると仮定している。例えばサイコロを振る試行の一様分布では p(1) = p(2) = ... = p(6) = 1/6 である。つまり、ベイズ推定の式の中に現れている w(θ) の値を一定とみなすことができる。このとき、ベイズ推定は、次のようなシンプルな式で推定することができるようになる。

\[ w'(\theta) \propto f(z|\theta) \]

ベイズ推定により推定された事後分布について、事後分布の最頻値を maximum a posteriori probability (MAP) 推定値といい、事後分布の平均値を expected a posteriori (EAP) 推定値という。事前分布として一様分布を用いたとき、上の式からもわかるように MAP 推定値は最尤推定値と同じ値にある。