中心極限定理は、母集団の分布の形に関係なく、その母集団から独立にサンプリングした n 個の標本の和 Sn = x1 + x2 + ... + xn の分布が、n が十分に大きくなると、正規分布に近似できることを定理として表したものである。中心極限定理は次のような形で表される。
\[ \lim_{n\to \infty} P\left( a \le \frac{S_{n} - n\mu }{\sqrt{n}\sigma}\le b \right) = \int_{a}^{b}\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{x^{2}}{2}\right) dx \]この式を言い換えると、n が十分に大きければ、n 個の標本の和 Sn は、平均 nμ および分散 nσ2 の正規分布に近づく。
\[ S_{n} = x_{1} + x_{2} + \cdots + x_{n} \sim \mathcal{N} \left(n\mu, n\sigma^{2} \right) \]また、「母集団からサンプリングを行い、Sn を計算する」試行を m 回繰り返したときに得られる m 個の Sn の分布は、平均 μ および分散 σ2/m の正規分布に近づく。
\[ \overline{x} = \frac{S_{n}}{n} \sim \mathcal{N} \left(\mu, \frac{\sigma^{2}}{m}\right) \]そのため、母平均を正確に推定するためには、母集団からサンプリングする際の標本数を増やし、かつサンプリング作業を繰り返すことが必要である。