パラメーターの最尤推定に十分な統計量

十分統計量

十分統計量 sufficient statisticとは、言葉の通りで、確率分布のパラメーターの最尤推定において、十分な統計量を意味する。

ポアソン分布の十分統計量

ポアソン分布のパラメーター λ の最尤推定により、λ は次のように推定(計算)される。

\[ \lambda = \frac{1}{n}\sum_{i=1}^{n}x_{i} \]

この式をみると、λ を推定するのに個々のデータ(x1, x2, ..., xn)は必ずしも必要ではないことがわかる。その一方で、\(\sum x_{i}\) があれば、十分に λ を推定することができる。このような統計量(この場合は合計値)のことを、十分統計量という。

正規分布の十分統計量

正規分布のパラメーターである平均 μ と分散 σ2 の最尤推定では、次の 2 式によって推定(計算)される。

\[ \begin{eqnarray} \mu &=& \frac{1}{n}\sum_{i=1}^{n}x_{i} \\ \sigma^{2} &=& \frac{1}{n}\sum_{i=1}^{n}(x_{i}-\bar{x})^2\\ &=& \frac{1}{n}\sum_{i=1}^{n}x_{i}^{2} - \bar{x}^{2} \end{eqnarray} \]

この式からは平均および分散を推定するのに個々のデータ(x1, x2, ..., xn)は必ずしも必要ではないことがわかる。その一方で、\(\sum x_{i}^{2}\) と \(\bar{x}=\frac{1}{n}\sum x_{i}\) があれば、十分に μ と σ2 を推定することができる。したがって、正規分布の場合、十分統計量は \(\left(\sum x_{i}^{2}, \sum x_{i}\right)\) となる。

References

  1. 十分統計量. Wikipedia
  2. a_bicky. 十分統計量(Sufficient Statistics)って何なのさ?. 2014. あらびき日記
  3. 土居. 最尤法と十分統計量. PDF