確率変数が離散値のとき
事象 F が起こるという条件のもとで、事象 E が起こる条件付き確率は次のように書ける。
\[ P(E|F) = \frac{P(E\cap F)}{P(F)} \]いま、標本空間 Ω の分割を {E1, E2, ...} および任意の事象 F が与えられたとき、事象 F が起こるという条件のもとで、事象 Ei が起こる条件付き確率は次のように書ける。
\[ P(E_{i}|F) = \frac{P(E_{i}\cap F)}{P(F)} = \frac{P(E_{i})P(F|E_{i})}{P(F)} \]{E1∩F, E2∩F, ...} は F の分割であることに注意すれば、
\[ P(F) = \sum_{j=1}^{\infty}P(E_{j}\cap F) = \sum_{j=1}^{\infty}P(E_{j})P(F|E_{j}) \]とかける。このとき、P(Ei|F) は次のように書ける。これがベイズの定理。
\[ P(E_{i}|F) = \frac{P(E_{i})P(F|E_{i})}{\sum_{j=1}^{\infty}P(E_{j})P(F|E_{j})} \]このベイズの定理をもって、事象 F が起きたとき、原因が Ei である確率 P(Ei|F) を簡単に計算することができる。P(Ei) は原因 Ei の事前確率といい、P(Ei|F) は事後確率という。また、P(F|Ei) を尤度という。
確率変数が連続値のとき
観測される事象が連続値からなるとき、結果である確率変数 x が観測されたときに、その原因が確率変数 θ である確率は、ベイズの定理を用いて次のように書ける。
\[ p(\theta | x) = \frac{p(\theta)p(x|\theta)}{\int_{\infty}^{\infty}p(\theta)p(x|\theta)d\theta} \]この場合、p(θ) を事前分布、p(θ|x) を事後分布、p(x|θ) を尤度という。