確率変数（random variable）は、前もって知ることのできない何らかの試行の結果を表す変数である。例えば、サイコロを振る試行において、その試行の結果は 1、2、3、4、5、6 のどれかとなるため、確率変数はこれらの値をとる。試行前ではどの目が出るのかが不明であるため、それを変数 X とおく。そして、試行後に得られた結果で置き換える。例えば、試行後に 6 の目が出たならば、X = 6 とする。他の例として、ある植物の乾燥重量を考えるとき、その乾燥重量を変数 X とおくことができる。そして、実際に乾燥重量を測り、10.3g となれば、X = 10.3 とかけるようになる。このように、確率変数は、離散値と連続値の両方を取りうる。サイコロを振る試行やコインを投げる試行などの場合は、試行結果が離散値となる。一方、身長や体重を測る試行等の場合は、試行結果が連続値となる。
確率変数 X がある値をとる確率を関数の形で書き表したものを確率質量関数あるいは確率密度関数である。例えば、公平なサイコロを振ったとき、1、2、3、4、5、6 の目が出る確率はすべて 1/6 である。すなわち、
\[ P(X=1) = P(X=2) = \cdots = P(X=6) = \frac{1}{6} \]このとき、P(X) を確率質量関数という。これに対して、X が連続値である場合、各値をとる確率を関数の形で書き表したものを確率密度関数という。
確率分布
確率変数がとる値とその値をとる確率の関係を示した分布を確率分布という。この分布を表す関数を、確率変数の取りうる値に応じて、確率質量関数または確率密度関数と呼んたりする。
確率質量関数 (probability mass function)
数列 {pn} があり、\( \forall k\ge 0, \forall p_{k}\ge 0 \)で、かつ \( \sum_{k=0}^{\infty}p_{k}=1 \)のとき、
\[ p_{k} = P(X=k) \] \[ k=0,1,2,... \]ならば、pk (k = 0, 1, 2, ...) を X の確率質量関数という。単に確率関数（probability function）あるいは確率分布（probability distribution）ともいう。
また、確率変数の X が k 以下の値をとるときの確率の和を表す関数のことを累積分布関数（cumulative distribution function）という。単に分布関数（distribution function）ともいう。
\[ F(k)=P(X\le k)=\sum_{i\le k}p(i) \]集取されたデータの統計的な分析結果に基づいて、判断を下したい場合、累積分布関数が必要とされることが多い。例えば、レントゲンや CT などの医療診断で被曝によって健康が損なわれない確率を最低でも 99.999% 保ちたい場合は、F(k) = 0.99999 となる被曝量 k を調べて、k を超えないように処置をとることができるようになる。
確率密度関数 probability density function
確率変数が\( (-\infty,\infty) \)連続かつ \( \int_{- \infty}^{\infty}f(x)dx=1 \) となる非負数関数が存在し、任意の区間 (a, b) において、
\[ P(a \le X \le b)= \int_{a}^{b}f(x)dx \]ならば、f(x) を X の確率密度関数という。
また、
\[ F(x)=P(X\le x)=\int_{-\infty}^{x}f(t)dt \]となる F(x) を X の累積分布関数という。
期待値
確率変数は様々な値を取りうる。これらの値を代表する指標として、確率の重み付き平均が考えられる。この確率変数の平均値のことを期待値とよぶ。離散型分布の期待値は、確率変数 X が k の値をとる確率を p(k) とすると、X の取りうるすべての値の確率の重み付き平均を求めればよい。
\[ E[X] = \sum_{k}kp(k) \]ジャンボ宝くじを例にして、期待値を計算してみる。宝くじの購入を試行と考えた場合、その当選金を確率変数とみなすことができる。宝くじを買う前に当選金が不明であるので、変数 X とおく。宝くじを買って抽選日後に 1000 円当選したのならば X = 1000 であり、ハズレであれば X = 0 である。ここから計算される期待値は、1 回の試行で観測できそうな値である。つまり、1 つの宝くじを買って当選しそうな金額である。この期待値を求めてみる。ジャンボ宝くじの当選金額と当選確率は、年によってやや異なるが、例えば以下のようになっている。
| 1 等 | 7 億円 | 0.00000005 |
| 前後賞 | 1.5 億円 | 0.00000010 |
| 組違い賞 | 10 万円 | 0.00000995 |
| 2 等 | 1000 万円 | 0.00000015 |
| 3 等 | 100 万円 | 0.00000500 |
| 4 等 | 10 万円 | 0.00010000 |
| 5 等 | 1 万円 | 0.00200000 |
| 6 等 | 3000 円 | 0.01000000 |
| 7 等 | 300 円 | 0.1000000 |
| ハズレ | 0 円 | 0.88788480 |
公式に基づいて期待値を計算してみると、147.495 が得られる。つまり、300 円で 1 枚ジャンボ宝くじを買ったとしても、約 147 円ぐらいしか戻ってこないと客観的にみることができる。
\[ E[X] = 700000000\times 0.00000005 + \cdots + 300\times 0.1 + 0\times 0.88788480 = 147.495 \]期待値の性質
期待値は、次に示す性質を持つ。ただし、X と Y は確率変数であり、c を定数である。
\[ E[c] = c \] \[ E[X + c] = E[X] + c \] \[ E[cX] = cE[X] \] \[ E[X+Y] = E[X] + E[Y] \]分散
確率変数 X の取りうる値の代表値として平均値、すなわち期待値がある。すべての確率変数 X が、その期待値付近に集中して分布していることもあれば、期待値を中心として幅広く分布していることもある。確率変数 X が期待値からどれぐらい散らばっているのかを測る指標として分散が用いられる。確率変数 X が期待値からどれぐらい離れているかを測る指標として距離 |X - E[X]| を用いることができる。しかし、距離の計算に絶対値が含まれているため計算上扱いにくい。そこで、この絶対値を 2 乗した (X - E[X])2 を扱う。これを用いて、次のように分散を定義する。
\[ V(X) = E\left[ (X - E[X])^{2} \right] \]この式を展開して、分散を下のように書き表すこともできる。分散を計算する上で、上の定義式よりも下の式が計算しやすいため、下の式に基づいて分散が計算されことが多い。
\[ \begin{eqnarray} V(X) &=& E\left[ X^{2} - 2E[X]X (E[X])^{2} \right] \\ &=& E[X^{2}] - 2E[X]E[X] + (E[X])^{2} \\ &=& E[X^{2}] - (E[X])^{2} \end{eqnarray} \]分散の性質
分散について次のような性質が知られている。ただし、X は確率変数であり、c は定数である。
\[ V[c] = c \] \[ V[X + c] = V[X] \] \[ V[cX] = cE[X] \]