\[
U(\theta;x) = \frac{\partial}{\partial \theta} \log L(\theta; x) = \frac{1}{L(\theta;x)} \frac{\partial}{\partial \theta} L(\theta;x)
\]
スコア関数の分散
スコア関数の分散はフィッシャー情報量として定義されている。スコア関数の分散は次のように式変換することで、尤度関数の偏微分として表すことができる。
\[
\begin{eqnarray}
Var[U(\theta; x)] &=& E[(U(\theta; x) - E[U(\theta; x)])^{2}] \\
&=& E[U(\theta; x)^{2}] - (E[U(\theta; x)])^{2} \\
&=& E[U(\theta; x)^{2}] \\
&=& E\left[\left( \frac{\partial}{\partial \theta} \log L(\theta; x) \right)^{2}\right]
\end{eqnarray}
\]
この式に対してさらに式変換を行うことができる。
まず、対数尤度関数を θ で 2 回微分する場合を考える。
\[
\begin{eqnarray}
\frac{\partial ^{2}}{\partial \theta ^{2}} \log L(\theta; x) &=& \frac{\partial}{\partial \theta} \left( \frac{1}{L(\theta; x)} \frac{\partial}{\partial \theta} L(\theta; x) \right) \\
&=& \frac{ \frac{\partial ^{2}}{\partial \theta ^{2}}L(\theta; x)\cdot L(\theta; x) - \frac{\partial}{\partial \theta}L(\theta; x)\cdot \frac{\partial}{\partial \theta}L(\theta; x)}{ (L(\theta; x))^2 } \\
&=& \frac{\frac{\partial ^{2}}{\partial \theta ^{2}} L(\theta; x)}{L(\theta; x)} - \left(\frac{\frac{\partial}{\partial \theta}L(\theta; x)}{L(\theta; x)} \right)^{2}\\
&=& \frac{\frac{\partial ^{2}}{\partial \theta ^{2}} L(\theta; x)}{L(\theta; x)} - \left(\frac{\partial}{\partial \theta}\log L(\theta; x) \right)^{2}\\
\end{eqnarray}
\]
この結果をスコア関数の分散に代入し、式変更を行う。
\[
\begin{eqnarray}
E\left[\left( \frac{\partial}{\partial \theta} \log L(\theta; x) \right)^{2}\right] &=& E\left[\frac{\frac{\partial ^{2}}{\partial \theta ^{2}} L(\theta; x)}{L(\theta; x)} \right] - E\left[\frac{\partial ^{2}}{\partial \theta ^{2}} \log L(\theta; x)\right] \\
&=& \int_{-\infty}^{\infty}\frac{\frac{\partial ^{2}}{\partial \theta ^{2}} L(\theta; x)}{L(\theta; x)} f(x;\theta)dx - E\left[\frac{\partial ^{2}}{\partial \theta ^{2}} \log L(\theta; x)\right] \\
&=& \int_{-\infty}^{\infty}\frac{\partial ^{2}}{\partial \theta ^{2}} L(\theta; x) dx - E\left[\frac{\partial ^{2}}{\partial \theta ^{2}} \log L(\theta; x)\right] \\
&=& \frac{\partial ^{2}}{\partial \theta ^{2}} \int_{-\infty}^{\infty} L(\theta; x) dx - E\left[\frac{\partial ^{2}}{\partial \theta ^{2}} \log L(\theta; x)\right] \\
&=& \frac{\partial ^{2}}{\partial \theta ^{2}} 1 - E\left[\frac{\partial ^{2}}{\partial \theta ^{2}} \log L(\theta; x)\right] \\
&=& - E\left[\frac{\partial ^{2}}{\partial \theta ^{2}} \log L(\theta; x)\right]
\end{eqnarray}
\]
つまり、スコア関数の分散(フィッシャー情報量)は次のように、対数尤度関数の 2 次導関数の期待値として表すこともできる。
\[
\begin{eqnarray}
I_{X}(\theta) = Var[U(\theta ;x)]
= E\left[\left( \frac{\partial}{\partial \theta} \log L(\theta; x) \right)^{2}\right]
= - E\left[\frac{\partial ^{2}}{\partial \theta ^{2}} \log L(\theta; x)\right]
\end{eqnarray}
\]