状態空間モデルにおけるパラメーター推定 | 同時確率分布を利用して状態空間モデルのパラメーター推定

状態空間モデルでは、状態と観測値の 2 つの変数で構成される。t 時点で観測される観測値 y_t は状態 x_t から生成されると定義する。そして、状態 x_t は、状態 x_t-1 のみに依存して定まる。これらのことを方程式で表すと次のようになる。

x_{t} = g (x_{t - 1}, w_{t})

y_{t} = f (x_{t - 1}, v_{t})

状態空間モデルにおいて、観測値 y₁, y₂, ..., y_T は、パラメーター θ のもとで生成されたと考えることができる。ここでいうパラメーターとは、方程式の関数 g や h の係数や v_t の分散などとする。このとき、観測値の同時分布を p(y_1:T; θ ) とかける。

逆に考えて、観測値 y₁, y₂, ..., y_T が与えられたとき、パラメーター θ の分布関数は f(θ; y_1:T) と書くことができる。いま、与えられたデータから、尤もらしいパラメーターを推測するには、この分布関数（尤度関数）を最大にするパラメーター値を求めればいい。

\begin{array}{rcl} L (θ; y_{1 : T}) & = & f (θ; y_{1 : T}) \\ = & p (y_{1 : T}; θ) \\ = & p (y_{T}, y_{1 : T - 1}; θ) \\ = & p (y_{T} | y_{1 : T - 1}; θ) p (y_{1 : T - 1}; θ) \\ = & \dots \\ = & \prod_{t = 2}^{T} p (y_{t} | y_{t - 1}; θ) p (y_{1}; θ) \end{array}

実際のパラメーター推定において、尤度関数を利用する代わりに、計算しやすい対数尤度を用いる。

l (θ; y_{1 : T}) = \sum_{t = 2}^{T} \log p (y_{t} | y_{t - 1}; θ) \log p (y_{1}; θ)

このように、パラメーターは、尤度関数を利用して観測値から推定される。ただし、これはパラメーターに関して制約条件がつけられるときである。例えば、パラメーターに関して線形で正規分布を仮定する必要がある。パラメーターに制約条件をつけられないとき、ベイズ推定を用いて、パラメーター（と状態の両方を同時に）を推定していく必要がある。