adaptive lasso

LASSO の正則化項にはスパース性および連続性を持つ。その正則化項にさらに普遍性を持たせるように拡張をした LASSO が adaptive LASSO である。LASSO のパラメーター推定式をラグランジュ未定乗数法の式で表すと次のようになる。

\[ \hat{\boldsymbol{\beta}} = \arg \min_{\boldsymbol{\beta}} \left\{ ||\mathbf{y} - \mathbf{X}\boldsymbol{\beta}||^{2}_{2} + \lambda ||\boldsymbol{\beta}||_{1}^{1} \right\} \]

この式の正則化項に、ウェイト w をかけることによって、正則化項が普遍性を持つようになる。

\[ \hat{\boldsymbol{\beta}} = \arg \min_{\boldsymbol{\beta}} \left\{ ||\mathbf{y} - \mathbf{X}\boldsymbol{\beta}||^{2}_{2} + \lambda \sum_{j=1}^{p}w_{j}|\beta_{j}| \right\} \]

w の値は、β の最小二乗推定量の逆数とすることが提案されている。すなわち、β の最小二乗推定量をβOLS としたとき、ウェイト w は次のように計算される。

\[ w_{j} = \frac{1}{\beta_{j}^{OLS}} \]