確率の定義

事象の起こりやすさを定量的に示すものが確率である。初期の確率論において、パスカル、オイヘンス、ヤコブ・ベルヌーイ、ド・モアブル、ベイズ、ダニエル・ベルヌーイなどの数学者ら取り組み、のちにラプラスによって体系的にまとめられた（基礎統計学 I, 1991）。ラプラスは次のように定義した。試行の根元事象が N 個あり、それらは同程度に確からしいときに、ある事象 A にとって都合のよい根元事象が R 個であれば、事象 A の起こる確率 P(A) を次のように定義する。

しかし、すべての根元事象が同程度に確からしいとは限らない。歪んだコインを投げれば、表になりやすさと裏になりやすさは必ずしも同程度であると限らない。そこで、より広範囲に確率を定義するためには、ある事象の起こりやすさ、すなわち頻度に着目する必要がある。確率の頻度説において、試行を n 回繰り返して、事象 A が生じた回数を n_A としたとき、事象 A の起こりやすさは n/n_A によって計算できる。試行回数を増やせば、全体にお対する事象 A の起こりやすさがある値 α に収束すると考えられる。

頻度説に基づく確率を正確に求めるために無限回の試行を行う必要がある。そのため、極限への収束に対する現実の裏付けが不足する。そこで、確率を数学的に構成するための公理を設けて、それに基づいて確率を論じることが提唱された。現在は、数学者コルモゴロフの公理主義的定義が使われて、次の三つの公理からなる。

• すべての事象 A に対して、事象 A の起こる確率 P(A) は、0 ≤ P(A) ≤ 1 である。
• 全事象 Ω に対して、P(Ω) = 1 である。
• 互いに排反な事象 A₁、A₂、A₃、・・・に対して、P(A₁∪A₂∪A₃∪...) = P(A₁) + P(A₂) + A₃ + ... が成り立つ。

加法定理

事象 A と事象 B が互いに排反な事象であるとき、コルモゴロフの公理主義的定義により、次のことが成り立つ。

これを確率の加法定理とよぶ。

乗法定理

事象 B が起こった前提で事象 A が起こる確率を、B を条件とする A の条件付き確率とよび、P(A|B) と表す。この条件付き確率は次のように書ける。

この式を変形して、次式が得られる。

これを確率の乗法定理とよぶ。