関数 f(x) をベクトル x の関数とする。関数 f(x) のテイラー展開について考える。
関数 g(t) = a + t(x - a) とし、関数 h(t) を次のように定義する。ただし、t は実数とする。
\[ h(t) = f(g(t)) = f(\mathbf{a} + t(\mathbf{x} - \mathbf{a})) \]
ここで、h(t) の関数に対して、t = 0 のまわりでテイラー展開を行う。最初の 3 項は以下のようになる。
\[ h(t) = h(0) + h'(0)(t-0) + \frac{1}{2}h''(0)(t-0)^{2} \ \ \ \cdots (*) \]
h'(t) を求める。
\[ h'(t) = \mathbf{\nabla}(f(g(t))) = \mathbf{\nabla}f(g(t))(\mathbf{x}-\mathbf{a})
\]
h''(t) を求める。
\[ h''(t) = \mathbf{\nabla}^{2}(f(g(t))) = \mathbf{\nabla}^{2}f(g(t))(\mathbf{x}-\mathbf{a})^{2}
\]
ここで t = 1 とすると、h(1) = f(x)、h(0) = f(g(0)) = f(a) だから、式 (*) に代入して整理すると、関数 f(x) のテイラー展開の式が得られる。
\[
\begin{eqnarray}
&& h(1) = h(0) + h'(0) + \frac{1}{2}h''(0) \\
&\Leftrightarrow& f(\mathbf{x}) = f(\mathbf{a}) + \mathbf{\nabla}f(\mathbf{a})(\mathbf{x} - \mathbf{a}) + \frac{1}{2}\mathbf{\nabla}^{2}f(\mathbf{a})(\mathbf{x}-\mathbf{a})^{2}
\end{eqnarray}
\]
∇f(a) と (x - a) の内積を交換して、以下のように書くこともできる。
\[
f(\mathbf{x}) = f(\mathbf{a}) + (\mathbf{x} - \mathbf{a})^{T}\mathbf{\nabla}f(\mathbf{a}) + \frac{1}{2}(\mathbf{x}-\mathbf{a})^{T}\mathbf{\nabla}^{2}f(\mathbf{a})(\mathbf{x}-\mathbf{a})
\]
対数尤度関数のテイラー展開
βT = (β1, β2, ..., βp) からなる対数尤度関数を l(β) とする。また、\(\beta = \hat{\beta}\) を l(β) の最尤推定量とする。このとき、l(β) を \(\hat{\beta}\) のまわりでテイラー展開を行い、最初の 3 項は以下のように書き表せる。
\[
l(\mathbf{\beta}) = l(\hat{\mathbf{\beta}}) + \mathbf{\nabla}l(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}}) +
\frac{1}{2}(\mathbf{\beta}-\hat{\mathbf{\beta}})^{T}\mathbf{\nabla}^{2}l(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}})
\]
ここで、∇l(β) = U(β) 、すなわちスコア関数であるから、上の式は以下のように書き表すことができる。
\[
l(\mathbf{\beta}) = l(\hat{\mathbf{\beta}}) + \mathbf{U}(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}}) +
\frac{1}{2}(\mathbf{\beta}-\hat{\mathbf{\beta}})^{T}\mathbf{\nabla}^{2}l(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}})
\]
また、E[∇2l(β)] = I(β) であるから、∇2l(β) を E[∇2l(β)] = -I(β)、すなわちフィッシャー情報行列で近似すれば、さらに次のように書き換えられる。
\[
l(\mathbf{\beta}) = l(\hat{\mathbf{\beta}}) + \mathbf{U}(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}}) -
\frac{1}{2}(\mathbf{\beta}-\hat{\mathbf{\beta}})^{T}\mathbf{I}(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}})
\]
スコア関数のテイラー展開
スコア関数についても、\(\hat{\beta}\) のまわりでテイラー展開を行い、最初の 2 項は以下のように書き表すことができる。
\[
\mathbf{U}(\mathbf{\beta}) = \mathbf{U}(\hat{\mathbf{\beta}}) + \mathbf{\nabla}\mathbf{U}(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}})
\]
∇U(β) を E[∇U(β)] = -I(β) で近似すれば、さらに次のように書き換えられる。
\[
\mathbf{U}(\mathbf{\beta}) = \mathbf{U}(\hat{\mathbf{\beta}}) - \mathbf{I}(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}})
\]
References
- Applied Mathematics: Body and Soul. 3:54.14. 2004. Body & Soul
- An Introduction to Generalized Linear Models. Second Edition. 2002.
- Taylor series. Wikipedia