サンプルサイズ n が十分に大きければ、標本平均は母平均に収束する。これを大数の法則という。大数の法則は、その収束の定義により、大数の弱法則と大数の強法則に区別される。
大数の弱法則
いま、平均 μ および分散 σ2 の任意の分布から、n 個の確率変数 X1、X2、...、Xn を独立に抽出したとする。このとき、n が十分に大きければ、任意の ε>0 に対して、次の式が成り立つ。
\[ \lim_{n\to\infty}P\left(\left|\dfrac{X_1+X_2+\cdots +X_n}{n}-\mu \right| \geq \epsilon\right) =0 \]証明
Sn = X1 + X2 + ... + Xn とおくと、X1、X2、...、Xn は互いに独立であるから次の式が成り立つ。
\[ Var(S_{n}) = \sum_{i=1}^{n}\sum_{j=1}^{n}E[(X_{i}-\mu)(E_{j}-\mu)] = \sum_{j=1}^{n}Var(X_{j}) = n\sigma^{2} \]また、チェビシェフの不等式から次のような不等式が得られる。
\[ \begin{eqnarray} P\left(\left|\frac{1}{n}S_{n} - \mu\right| > \epsilon\right) &=& P\left(|S_{n} - n\mu| > n\epsilon\right) \\ &\le& \frac{E\left[|S_{n}-nm|^{2}\right]}{n^{2}\epsilon^{2}} \\ &=& \frac{Var(S_{n})}{n^{2}\epsilon^{2}} \\ &=& \frac{\sigma^{2}}{n\epsilon^{2}} \end{eqnarray} \]よって、
\[ \lim_{n\to \infty}P\left(\left|\frac{1}{n}S_{n} - \mu\right| > \epsilon\right) = 0 \]大数の強法則
平均 μ および分散 σ2 の任意の分布から、n 個の確率変数 X1、X2、...、Xn を独立に抽出したとする。このとき、n が十分に大きければ、任意の ε>0 に対して、次の式が成り立つ。
\[ P\left(\lim_{n\to \infty} \frac{X_{1} + X_{2} + \cdots + X_{n}}{n} = \mu \right) = 1 \]