決定係数や二乗平均平方根誤差などを利用して回帰モデルを評価

回帰分析の評価指標

回帰分析で得られたモデルの適合の良さかを評価する指標として、決定係数 R2、二乗平均平方根誤差(RMSE)や平均絶対誤差(MAE)などが一般的に用いられる。ただし、これらの指標は、真の値と回帰モデルから計算された値の差を用いて計算されているため、モデルの複雑度が考慮されていないことに注意する必要があるう。例えば、複雑なモデル(説明変数の多いモデル)は、過剰適合になり RMSE や MAE が小さくなりがちで、単純なモデルは RMSE や MAE が大きくなりがちである。モデルの複雑さと適合性能の両方を同時に評価したい場合は AIC などを利用する。また、これらの RMSE や MAE などの指標の値は、指標を計算するために使われる入力データに依存している。そのため、同じ目的で行われた 2 の研究結果それぞれに対して、別々に回帰モデルを構築し、RMSE を計算した場合、両者の RMSE を直接に比較できない。RMSE などを比較したい場合は、RMSE を計算するためのデータセットを同一のものにするべきである。RMSE の値の大きさでモデルの評価を行うこともできない。例えば、RMSE = 0.1 といっても、象の重さを評価するモデルにおいて RSEM = 0.1 であれば、無視しても構わない誤差である。しかし、小型昆虫の重さを評価するモデルにおいて RMSE = 0.1 は大きな誤差となりうる。このように、RMSE などの値のスケールは独立変数のスケールに応じて変化するため、RMSE を使ったモデル間の比較に十分に注意を支払う必要がある。

決定係数 R2

決定係数は、観測値を yi (i = 1, 2, 3, ..., n)、モデルから計算した計算値(予測値)を \(\hat{y_{i}}\)、観測値の平均を \(\bar{y}\) とすると、次の式によって定義される(他の定義方法も存在する)。観測値とモデルから計算した計算値(予測値)がほぼ同じになると、次式の分子が 0 に近づくため、R2 は 1 に近づく。逆に、観測値と予測値がかけ離れていると、分子が大きな値となり、R2 は 1 から離れた値となる。

\[ R^{2} = 1 -\frac{\sum_{i=1}^{n}\left(y_{i} - \hat{y_{i}}\right)^{2}}{\sum_{i=1}^{n}\left( y_{i} - \bar{y} \right)^{2}} \]

二乗平均平方根誤差 RMSE

RMSE は、root mean squared error の略で、回帰モデルの誤差を評価する指標の一つである。RMSE は、観測値を yi (i = 1, 2, 3, ..., n)、モデルから計算した計算値(予測値)を \(\hat{y_{i}}\) とすると、次の式によって定義される。

\[ RMSE = \sqrt{\frac{1}{n}\sum_{i=1}^{n}\left( y_{i} - \hat{y_{i}} \right)^{2}} \]

観測値と計算値(予測値)が近づくほど、RMSE は小さくなる。逆に、観測値と計算値(予測値)が遠くなると、RMSE が著しく増える。そのため、外れ値が含まれると、観測値と計算値(予測値)の差が大きく離れるため、RMSE が著しく大きくなる。このことから、RMSE は外れ値の影響を受けやすいといわれている。

平均絶対誤差 MAE

MAE は、mean absolute error の略で、、観測値を yi (i = 1, 2, 3, ..., n)、モデルから計算した計算値(予測値)を \(\hat{y_{i}}\) とすると、次の式によって定義される。観測値と計算値(予測値)が近づくほど、MAE は小さくなる。MAE は、誤差を二乗していないので、外れ値の影響を受けにくいと言われている。

\[ RMSE = \frac{1}{n}\sum_{i=1}^{n}| y_{i} - \hat{y_{i}} |\]