Программа курса Урок 91 из 250 · Ваши первые модели машинного обучения
Ваши первые модели машинного обучения

Оценка моделей: Доля верных ответов (accuracy) и ошибка

Обученная модель

A бесполезна, пока вы не сможете сказать, насколько она хороша. Правильный показатель зависит от того, что вы предсказываете.

Классификация: доля верных ответов (accuracy)

Когда метка является категорией (спам или нет, вид А/Б/В), самый простой показатель это accuracy: доля предсказаний, которые были верными.

from sklearn.metrics import accuracy_score

acc = accuracy_score(y_true, y_pred)   # e.g. 0.875 means 7 of 8 right

Доля верных ответов (accuracy) меняется от 0 до 1. Но "хорошо" это понятие относительное. Если 95 процентов писем не являются спамом, ленивая модель, которая всегда отвечает "не спам", уже получает 0.95, не находя ни одного спама. Всегда сравнивайте результат с таким наивным базовым уровнем перед тем, как радоваться цифре.

Regression: ошибка

Когда метка является непрерывным числом (цена, температура), accuracy не имеет смысла, вы почти никогда не предскажете точное значение. Вместо этого вы измеряете, насколько вы ошиблись. Распространенный выбор это средняя абсолютная ошибка, средний размер ошибки:

from sklearn.metrics import mean_absolute_error

mae = mean_absolute_error(y_true, y_pred)   # in the same units as y

MAE измеряется в единицах самой метки, что делает его легким для чтения: MAE равный 12 для цен на дома в тысячах означает, что вы ошибаетесь примерно на 12к в среднем. Чем ниже, тем лучше, и 0 это идеал.

Вы вычислите оба показателя: accuracy из данных предсказаний и MAE из крошечной линейной регрессии на идеально прямой линии (так как ее ошибка должна быть практически нулевой).

Твоя очередь

Часть 1: даны массивы y_true и y_pred (по 8 меток в каждом, отличающихся ровно в одном месте). Установите acc = accuracy_score(y_true, y_pred). Часть 2: X и target описывают линию y = 2x. Обучите LinearRegression под названием reg на них, сделайте предсказание на X в reg_pred, затем установите mae = mean_absolute_error(target, reg_pred).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.