ベイズの定理

確率変数が離散値のとき

事象 F が起こるという条件のもとで、事象 E が起こる条件付き確率は次のように書ける。

\[ P(E|F) = \frac{P(E\cap F)}{P(F)} \]

いま、標本空間 Ω の分割を {E1, E2, ...} および任意の事象 F が与えられたとき、事象 F が起こるという条件のもとで、事象 Ei が起こる条件付き確率は次のように書ける。

\[ P(E_{i}|F) = \frac{P(E_{i}\cap F)}{P(F)} = \frac{P(E_{i})P(F|E_{i})}{P(F)} \]

{E1∩F, E2∩F, ...} は F の分割であることに注意すれば、

\[ P(F) = \sum_{j=1}^{\infty}P(E_{j}\cap F) = \sum_{j=1}^{\infty}P(E_{j})P(F|E_{j}) \]

とかける。このとき、P(Ei|F) は次のように書ける。これがベイズの定理。

\[ P(E_{i}|F) = \frac{P(E_{i})P(F|E_{i})}{\sum_{j=1}^{\infty}P(E_{j})P(F|E_{j})} \]

このベイズの定理をもって、事象 F が起きたとき、原因が Ei である確率 P(Ei|F) を簡単に計算することができる。P(Ei) は原因 Ei の事前確率といい、P(Ei|F) は事後確率という。また、P(F|Ei) を尤度という。

確率変数が連続値のとき

観測される事象が連続値からなるとき、結果である確率変数 x が観測されたときに、その原因が確率変数 θ である確率は、ベイズの定理を用いて次のように書ける。

\[ p(\theta | x) = \frac{p(\theta)p(x|\theta)}{\int_{\infty}^{\infty}p(\theta)p(x|\theta)d\theta} \]

この場合、p(θ) を事前分布、p(θ|x) を事後分布、p(x|θ) を尤度という。