OSCAR

LASSO を用いてモデルを構築するとき、相関の高い説明変数が複数存在すると、LASSO はその中から任意に 1 つだけ選択してモデル化を行う。相関の高い説明変数が存在しているとき、それらの説明変数をすべて選択したい場合に使われるスパース推定の手法として、cluster LASSO や OSCAR などがある。

OSCAR (octagonal shrinkage and clustering algorithm for regression) は、次式のように、LASSO で使われている L1 正則化項のほかに、2 つの説明変数が同じ値(|βj| - |βk|)となるように正則化項を与えている。

\[ \hat{\boldsymbol{\beta}} = \arg \min_{\boldsymbol{\beta}} \left\{ ||\mathbf{y}-\mathbf{X}\mathbf{\beta}||^{2}_{2} + \lambda_{1} \sum_{j=1}^{p}|\beta_{j}| + \lambda_{2} \sum_{j\lt k} \max \{ |\beta_{j}|, |\beta_{k}| \} \right\} \]

ここで β1, β2, ..., βp をその絶対値に応じて昇順に並べて、昇順に並べたときに i 番目にあるパラメーターを β(i) とする。すなわち、p 個のパラメーターを並べ替えた時に、次の関係が成り立つ。

\[ |\beta^{(1)}| \lt |\beta^{(2)}| \lt \cdots \lt |\beta^{(p)}| \]

このとき、OSCAR のパラメーター推定式は、次のように書き換えることができる。

\[ \hat{\boldsymbol{\beta}} = \arg \min_{\boldsymbol{\beta}} \left\{ ||\mathbf{y}-\mathbf{X}\mathbf{\beta}||^{2}_{2} + \lambda_{1}' \sum_{j=1}^{p}|\beta_{j}| + \lambda_{2}' \sum_{j\lt k} \left( |\beta^{(k)}| - |\beta^{(j)}| \right) \right\} \]

この式に基づいてパラメーターを推定すると、ほぼ同じ性質を持つ説明変数は、その係数が同じ値になる。そのため、推定された係数(パラメーター)の値を元に説明変数のグループ分けを行うことができるようになる。また、OSCAR は、cluster LASSO とは異なり、説明変数 j と説明変数 k が負の相関(例えば βj < 0 かつ βk > 0)でも、両者の係数が同じ値になるように推定される。