多様な分布が存在している中で、正規分布、二項分布、ポアソン分布などの分布は指数型分布族という大きなカテゴリの中に分類することができる。指数型分布族に属している分布の確率質量関数あるいは確率密度関数は下式のように書き表すことができる。
\[
f(x; \theta) = h(x)\exp\left(\eta (\theta) T(x) - A(\theta)\right)
\]
ここで、g(x) = exp(-A(θ)) または h(x) = exp(B(x)) と置くことによって、分布関数は以下のようにも表現できる。
\[
\begin{eqnarray}
f(x; \theta) &=& \exp\left(\eta (\theta)T(x) - A(\theta) + B(x)\right) \\
&=& h(x)g(\theta)\exp\left(\eta (\theta) T(x)\right)
\end{eqnarray}
\]
各関数 h(x)、η(θ)、T(x)、および A(θ) は既知の関数として扱われる。また、関数 η(θ) は自然パラメータ、関数 T(x) は十分統計量とよばれている。ここで、変数変換により A(θ) を A(η) で表すことができれば、分布関数は以下の形に書き換えることができる。
\[
f(x; \eta) = h(x)\exp\left(\eta T(x) - A(\eta)\right)
\]
例えば、正規分布の場合 η(θ) = μ/σ かつ A(θ) = μ2/2σ2 であるから、変数変換で η をスカラーとして改めて η = μ/σ としたとき、A(η) = η2/2 となる。
指数型分布族の尤度関数
分布関数を以下の形とする。
\[
f(x; \eta) = h(x)g(\eta)\exp\left(\eta T(x) - A(x)\right)
\]
n 個のデータ x = {x1, x2, ..., xn} があるとする。これらのデータはパラメーター θ を持つ指数型分布族の分布に従うものとする。このとき、同時確率質量・密度関数は以下のようにかける。
\[
\begin{eqnarray}
f(\mathbf{x}; \eta) &=& \left(\prod h(x_{i})\right)\left(g(\eta)\right)^{n}\exp \left(\sum \eta T(x_{i})\right)\\
&=& \left(\prod h(x_{i})\right)\left(g(\eta)\right)^{n}\exp \left(n\eta \sum T(x_{i})\right)
\end{eqnarray}
\]
尤度関数は分布関数と同じ形になる。すなわち L(η x) = f(x; η) である。このとき対数尤度関数は以下のように書き表すことができる。
\[
\begin{eqnarray}
l(\eta; \mathbf{x}) &=& \log f(\mathbf{x}; \eta) \\
&=& \log\prod h(x_{i}) + n\log g(\eta) + n\eta \sum T(x_{i})
\end{eqnarray}
\]
対数尤度関数の 1 階微分および 2 階微分を計算する。
対数尤度関数の 1 階微分
対数尤度関数を η で微分すると以下のようになる。
\[
\begin{eqnarray}
\frac{\partial l(\eta; \mathbf{x})}{\partial \eta} &=& \frac{\partial}{\partial \eta}\left(\log\prod h(x_{i}) + n\log g(\eta) + n\eta \sum T(x_{i})\right) \\
&=& n\frac{g'(\eta)}{g(\eta)} + nT(\mathbf{x})
\end{eqnarray}
\]
右辺を更に崩していくために、1/g(η) を求める。
\[
\int f(x;\eta)dx = 1 \Leftrightarrow g(\eta)\int h(x)\exp\left(\eta T(x)\right)dx = 1
\]
\[
\therefore \frac{1}{g(\eta)} = \int h(x)\exp\left(\eta T(x) \right)dx
\]
両辺を η で微分する。
\[
\begin{eqnarray}
-\frac{g'(\eta)}{(g(\eta))^{2}} &=& \frac{\partial}{\partial \eta}\int h(x)\exp\left(\eta T(x) \right)dx \\
&=& \int h(x)\frac{\partial}{\partial \eta}\exp\left(\eta T(x) \right)dx \\
&=& \int h(x)T(x)\exp\left(\eta T(x) \right)dx \\
\end{eqnarray}
\]
ここで、対数尤度関数の 1 階微分は次のように式変換できる。
\[
\begin{eqnarray}
\frac{\partial l(\eta; \mathbf{x})}{\partial \eta}
&=& n\frac{g'(\eta)}{g(\eta)} + nT(\mathbf{x}) \\
&=& ng(\eta)\frac{g'(\eta)}{(g(\eta))^{2}} + nT(\mathbf{x}) \\
&=& ng(\eta)\left( - \int h(x)T(x)\exp\left(\eta T(x) \right)dx \right) + nT(\mathbf{x})\\
&=& -n\left(\int T(x)h(x)g(\eta)\exp\left(\eta T(x) \right)dx \right) + nT(\mathbf{x}) \\
&=& -n\left(\int T(x)f(x; \eta)dx \right) + nT(\mathbf{x}) \\
&=& -nE\left[T(x)\right] + nT(\mathbf{x})
\end{eqnarray}
\]
対数尤度関数の 2 階微分
1 階微分したものをさらにもう一回微分する。
\[
\begin{eqnarray}
\frac{\partial^{2} l(\eta; \mathbf{x})}{\partial \eta^{2}}
&=& \frac{\partial}{\partial \eta} \left( n\frac{g'(\eta)}{g(\eta)} + nT(\mathbf{x})\right) \\
&=& n\frac{\partial}{\partial \eta} \left(\frac{g'(\eta)}{g(\eta)} \right) \\
&=& n\left( \frac{g''(\eta)}{g(\eta)} - \left(\frac{g'(\eta)}{g(\eta)}\right)^{2} \right)
\end{eqnarray}
\]
ここで、1 階微分の際に利用した、 \(-\frac{g'(\eta)}{(g(\eta))^{2}} = \int h(x)T(x)\exp\left(\eta T(x) \right)dx \) に対して、もう一度両辺を η で微分する。
\[
\begin{eqnarray}
&& \frac{\partial}{\partial \eta}\left(-\frac{g'(\eta)}{(g(\eta))^{2}}\right) = \frac{\partial}{\partial \eta}\left( \int h(x)T(x)\exp\left(\eta T(x) \right)dx \right) \\
&\Leftrightarrow& -\frac{g''(\eta)\cdot (g(\eta)^{2}) - g'(\eta)\cdot 2g(\eta)g'(\eta)}{(g(\eta))^{4}} = \int h(x)T(x)\frac{\partial}{\partial \eta}\exp\left(\eta T(x) \right)dx \\
&\Leftrightarrow& - \frac{g''(\eta)}{(g(\eta))^{2}} + \frac{2(g'(\eta))^{2}}{(g(\eta))^{3}} = \int h(x)T(x)T(x)\exp\left(\eta T(x) \right)dx \\
&\Leftrightarrow& - \frac{1}{g(\eta)}\left( \frac{g''(\eta)}{g(\eta)} - \frac{2(g'(\eta))^{2}}{(g(\eta))^{2}} \right) = \int h(x)(T(x))^{2}\exp\left(\eta T(x) \right)dx \\
&\Leftrightarrow& - \frac{1}{g(\eta)} \left\{ \left( \frac{g''(\eta)}{g(\eta)} - \left(\frac{g'(\eta)}{g(\eta))}\right)^{2} \right) - \left(\frac{g'(\eta)}{g(\eta))}\right)^{2} \right\} = \int h(x)(T(x))^{2}\exp\left(\eta T(x) \right)dx \\
&\Leftrightarrow& \frac{g''(\eta)}{g(\eta)} - \left(\frac{g'(\eta)}{g(\eta))}\right)^{2} = \left(\frac{g'(\eta)}{g(\eta))}\right)^{2} - g(\eta)\int h(x)(T(x))^{2}\exp\left(\eta T(x) \right)dx \\
&\Leftrightarrow& \frac{g''(\eta)}{g(\eta)} - \left(\frac{g'(\eta)}{g(\eta))}\right)^{2} = \left(\frac{g'(\eta)}{g(\eta))}\right)^{2} - \int(T(x))^{2}f(x;\eta)dx \\
&\Leftrightarrow& \frac{g''(\eta)}{g(\eta)} - \left(\frac{g'(\eta)}{g(\eta))}\right)^{2} = E[T(x)]^{2} - E[(T(x))^{2}] \\
&\Leftrightarrow& \frac{g''(\eta)}{g(\eta)} - \left(\frac{g'(\eta)}{g(\eta))}\right)^{2} = - ( E[(T(x))^{2}] - E[T(x)]^{2}) = -Var[T(x)] \\
\end{eqnarray}
\]
よって、対数尤度関数の 2 階微分は以下のように書き表すことができる。
\[
\begin{eqnarray}
\frac{\partial^{2} l(\eta; \mathbf{x})}{\partial \eta^{2}}
&=& n\left( \frac{g''(\eta)}{g(\eta)} - \left(\frac{g'(\eta)}{g(\eta)}\right)^{2} \right) \\
&=& -nVar[T(x)]
\end{eqnarray}
\]
すなわち、対数尤度関数の 2 階微分は常に負の値をとる。よって、1 階微分において \( \frac{\partial l}{\partial \eta} = 0 \) として求められた η が関数 \(l\) を最大にすることになる。