ベイズ推定は、事後確率に基づいて行動決定を行う

事後分布

原因を θ、結果を z とし、原因 θi の事前確率 P(θi) を w(θi)、事後確率 P(θi|z) を w'(θi|z)、また P(z|θi) を z の関数として f(z|θi) と書けば、ベイズの定理は次のような形で書ける。

\[ w'(\theta_{i}|z) = \frac{w(\theta_{i})f(z|\theta_{i})}{\sum w(\theta_{j})f(z|\theta_{j})} \]

θ が連続的に動くならば、ベイズの定理は積分を用いて次のように書ける。このとき、w を事前分布(prior distribution)、w' を事後分布(posterior distribution)という。また、f(z|θ) はパラメーターが θ の時の標本の確率分布(= 尤度)となる。

\[ w'(\theta|z) = \frac{w(\theta)f(z|\theta)}{\int_{\Theta} w(\theta)f(z|\theta)d\theta} \]

ベイズの定理の式をみると、文法にはパラメーター θ を含まない定数となっている。そのため、ベイズ更新・ベイズ推定を行う上で、次のような式で計算する。

\[ w'(\theta) \propto w(\theta) f(z|\theta) \]