Больше чем accuracy: precision, recall и F1
Вы увидели ловушку в прошлом уроке: если 95% писем не являются спамом, модель, которая всегда угадывает "не спам", получает 0.95 accuracy, не выявляя ни одного спама. В любой imbalanced задаче accuracy лжет. Решение заключается в том, чтобы посмотреть, какого рода ошибки делает модель, с помощью confusion matrix.
Для классификатора да/нет (метка 1 = положительный класс, например "спам"), каждый прогноз попадает в одну из четырех категорий:
TP true positive predicted 1, actually 1 (caught real spam)
FP false positive predicted 1, actually 0 (flagged a good email)
FN false negative predicted 0, actually 1 (missed real spam)
TN true negative predicted 0, actually 0 (left a good email alone)Три числа выпадают из этих подсчетов, и именно их реально сообщают настоящие команды:
- Precision =
TP / (TP + FP). Из всего, что вы отметили, какая часть была верной? Низкая точность (precision) = ложный сигнал. - Recall =
TP / (TP + FN). Из всего, что вы должны были поймать, сколько вы поймали? Низкая полнота (recall) = пропуск реальных случаев. - F1 =
2 * P * R / (P + R), гармоническое среднее. Одно число, которое высокое только тогда, когда и точность (precision), и полнота (recall) высоки, поэтому ленивая полностью отрицательная модель (recall 0) получает F1 = 0 и раскрывается.
Компромисс между precision и recall: пометить все и recall будет 1.0, но precision упадет; ничего не помечать и precision будет не определена, но вы ничего не поймаете. F1 держит вас в рамках. Когда знаменатель равен нулю (вы не предсказали ни одного положительного или их нет), сообщайте об этой метрике как 0.0 вместо деления на ноль.
Создайте две функции. confusion(y_true, y_pred) возвращает кортеж (tp, fp, fn, tn) по двум спискам одинаковой длины с метками 0/1. prf(y_true, y_pred) возвращает {"precision", "recall", "f1"}, вычисленный из этих счетчиков (0.0 при любом нулевом знаменателе). Скрытые тесты сверяют ваши числа с scikit-learn, поэтому определения должны быть точными. Нажмите Run, чтобы оценить несбалансированный классификатор.
Напишите confusion(y_true, y_pred), возвращающий (tp, fp, fn, tn) для двух списков одинаковой длины с метками 0/1 (1 это положительный класс), и prf(y_true, y_pred), возвращающий {"precision", "recall", "f1"}, где precision = TP/(TP+FP), recall = TP/(TP+FN), и f1 = 2*P*R/(P+R). Возвращайте 0.0 для любой метрики, знаменатель которой равен нулю (никогда не делите на ноль). Ваши результаты проверяются по scikit-learn.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.