尤度比検定

帰無仮説と対立仮説

尤度比検定は 2 つのモデルの尤度の比を利用した検定である。2 つのモデルは、パラメーターをより多く持つ方を full model、パラメーターをより少ない方を reduced model という。

モデル構築する際に考えられるあらゆるのパラメーターの集合を Θ とする。そのうち full model に組み込まれているパラメーターの集合を Θ0 とし、reduced model に組み込まれているパラメーターの集合を Θ1 とすると、各集合は以下の関係を持つ。

Θ1Θ0Θ

このとき full model のパラメーターベクトルを β0 とし、reduced model パラメーターを β1 とすると、帰無仮説および対立仮説は以下のように表すことができる。

H0:β1=β0Θ0H1:β1β0Θ0

尤度比

尤度比と逸脱度

full model および reduced model の尤度関数を L0、L1 とし、 最尤推定量をそれぞれ β0^β1^ とする。

尤度関数 L0 は考えられるあらゆるパラメーターが含まれているため、任意の点において他のどの尤度関数(たとえば、L1)よりも大きい値となる。そこで、L1 を最大にする β1^ において、両者の比は以下のように計算できる。

λ=L0(β1^)L1(β1^)

もし、λ = 1 ならば、2 つのモデルは同じと考えられ、reduced model に組み込まれている少数のパラメーターは、モデル構築する際に有意でないということになる。

検定を行う際に、一般的に尤度比を log 変換を行った上で 2 倍にした値が使われる。これを逸脱度 D という。

D=2logλ=2(l0(β1^)l1(β1^))

対数尤度関数の差の期待値と分散共分散行列

l(β1^)l(β0^) の期待値と分散共分散行列を求める。

まず、l(β)β=β^ でテイラー展開を行う。最初 3 項は以下のように求まる。

l(β)=l(β^)+U(β^)(ββ^)12(ββ^)TI(β^)(ββ^)

ここで、β=β0^β^=β1^ を上式に代入する。

l(β0^)=l(β1^)+U(β1^)(β0^β1^)12(β0^β1^)TI(β1^)(β0^β1^)

帰無仮説が正しければ、β1^β0^ の最尤推定量とみなすことができる。すなわち、β1^ はスコア関数(対数尤度関数の 1 次導関数)を 0 にする。このとき、上の式は以下のように書き換えられる。

l(β0^)=l(β1^)12(β0^β1^)TI(β1^)(β0^β1^)

よって、フィッシャー情報行列が正規性をもつならば、

2(l(β1^)l(β0^))=(β0^β1^)TI(β1^)(β0^β1^)

統計量の分布

一般に、連続した値 t が存在するとき、t は正規分布に従うものと近似できる。また、t を標準化すれば、t は標準正規化に従う。すなわち、

tE[t]Var[t]N(0,1)

これは以下の式と同じである。

(tE[t])2Var[t]χ2(1)

t が要素数 p を持つベクトル t のとき、同じことを以下のように表現できる。ただし V を分散共分散行列とする。

(tE[t])TV1(t)(tE[t])χ2(p)

逸脱度

ここで統計量 t を統計量 l0(β1^) に置き換えて、帰無仮説が成り立つならば E[l0(β1^)]=l0(β0^) である。このモデルに含まれるパラメーターの個数を p とする。このとき、

2(l0(β1^)l0(β0^))=(β0^β1^)TI(β1^)(β0^β1^)χ2(p)

同様にして t を統計量 l1(β1^) に置き換えて、帰無仮説が成り立つならば E[l1(β1^)]=l1(β0^) である。また、このモデルに含まれるパラメーターの個数を q とする。このとき、

2(l1(β1^)l1(β0^))=(β0^β1^)TI(β1^)(β0^β1^)χ2(q)

この式を利用して、逸脱度 D について整理すると以下のようになる。

D=2(l0(β1^)l1(β1^))=2(l0(β1^)l0(β0^))2(l1(β1^)l1(β0^))+2(l0(β0^)l1(β1^))χ(pm,v)

ただし、v=2(l0(β0^)l1(β1^)) である。また、p は L0 を構築する際に用いたパラメーターの数を表し、q はL1 を構築する際に用いたパラメーターの数を表す。

このように逸脱度は自由度 p - m のカイの二乗分布に従う。尤度比検定ではこのことを利用して行う。

References

  1. Chen H. Chapter 5. Hypothesis Testing. 2010. PDF
  2. Matthew S. Hypothesis Testing. 2013. PDF
  3. Lecture 16: Score and Wald Tests. PDF
  4. Dobson AJ. An Introduction to Generalized Linear Models. Second Edition. 2002.