帰無仮説と対立仮説
尤度比検定は 2 つのモデルの尤度の比を利用した検定である。2 つのモデルは、パラメーターをより多く持つ方を full model、パラメーターをより少ない方を reduced model という。
モデル構築する際に考えられるあらゆるのパラメーターの集合を Θ とする。そのうち full model に組み込まれているパラメーターの集合を Θ0 とし、reduced model に組み込まれているパラメーターの集合を Θ1 とすると、各集合は以下の関係を持つ。
このとき full model のパラメーターベクトルを β0 とし、reduced model パラメーターを β1 とすると、帰無仮説および対立仮説は以下のように表すことができる。
尤度比
尤度比と逸脱度
full model および reduced model の尤度関数を L0、L1 とし、
最尤推定量をそれぞれ
尤度関数 L0 は考えられるあらゆるパラメーターが含まれているため、任意の点において他のどの尤度関数(たとえば、L1)よりも大きい値となる。そこで、L1 を最大にする
もし、λ = 1 ならば、2 つのモデルは同じと考えられ、reduced model に組み込まれている少数のパラメーターは、モデル構築する際に有意でないということになる。
検定を行う際に、一般的に尤度比を log 変換を行った上で 2 倍にした値が使われる。これを逸脱度 D という。
対数尤度関数の差の期待値と分散共分散行列
まず、
ここで、
帰無仮説が正しければ、
よって、フィッシャー情報行列が正規性をもつならば、
統計量の分布
一般に、連続した値 t が存在するとき、t は正規分布に従うものと近似できる。また、t を標準化すれば、t は標準正規化に従う。すなわち、
これは以下の式と同じである。
t が要素数 p を持つベクトル t のとき、同じことを以下のように表現できる。ただし V を分散共分散行列とする。
逸脱度
ここで統計量 t を統計量
同様にして t を統計量
この式を利用して、逸脱度 D について整理すると以下のようになる。
ただし、
このように逸脱度は自由度 p - m のカイの二乗分布に従う。尤度比検定ではこのことを利用して行う。