Оценка качества регрессии

В задаче регрессии модель предсказывает число: цену квартиры, температуру, стоимость заказа, время выполнения задачи и т.п.

Качество регрессии оценивают, сравнивая настоящие числовые значения и предсказания модели. Разберемся, какие именно метрики качества используются в задачах регрессии и как они вычисляются.

Фактические значения и предсказания

После применения модели к тестовой выборке получаем два вектора:

$y = (y_1, y_2, \ldots, y_n)$ - вектор фактических (целевых) значений;

$pred = (pred_1, pred_2, \ldots, pred_n)$ - вектор предсказаний модели.

Метрики регрессии можно понимать как разные способы измерить расстояние между вектором настоящих значений $y$ и вектором предсказаний $pred$ .

Метрика MAE

MAE (Mean Absolute Error) — средняя абсолютная ошибка. Она вычисляется по формуле:

\operatorname{MAE}(y, pred) = \frac{1}{n} \sum_{i=1}^{n} |pred_i - y_i|

То есть, MAE представляет собой среднее арифметическое абсолютных ошибок.

Заметим, что MAE измеряется в тех же единицах, что и целевая переменная. Если цена измеряется в рублях, MAE тоже измеряется в рублях.

Метрика RMSE

RMSE (Root Mean Squared Error) сначала возводит ошибки в квадрат, затем усредняет эти квадраты и берёт корень:

\operatorname{RMSE}(y, pred) = \sqrt{ \frac{1}{n} \sum_{i=1}^{n} (pred_i - y_i)^2 }

Из-за возведения в квадрат большие ошибки влияют на результат сильнее, чем в MAE. Корень нужен, чтобы вернуть метрику к исходным единицам измерения.

Метрика R2 Score

R2 показывает, насколько модель лучше простого прогноза средним значением.

R^2 = 1 - \frac{ \sum_{i=1}^{n}(y_i - pred_i)^2 }{ \sum_{i=1}^{n}(y_i - \bar{y})^2 }

Здесь $\bar{y}$ — среднее значение настоящих ответов.

R2 близко к 1   модель хорошо объясняет различия между объектами
R2 около 0     модель работает примерно как прогноз средним
R2 меньше 0    модель хуже, чем прогноз средним

Например, R2 = 0.690 означает, что модель объясняет примерно 69% разброса целевого значения на тестовой выборке.

Какие метрики смотреть

Обычно удобно смотреть MAE, RMSE и R2 вместе.

MAE показывает типичную ошибку в понятных единицах.

RMSE показывает, есть ли крупные ошибки, потому что сильнее реагирует на большие промахи.

R2 показывает общую объясняющую способность модели.

Если MAE и RMSE близки, ошибки модели примерно равномерные. Если RMSE заметно больше MAE, значит есть объекты, на которых модель ошибается особенно сильно.

Что дальше

MAE — средняя абсолютная ошибка.
RMSE — метрика с усиленным штрафом за большие ошибки.
R2 Score — доля объяснённого разброса значений.