Программа курса Урок 168 из 250 · Оценка и тестирование LLM
Оценка и тестирование LLM

Доля верных ответов (accuracy) против точности (precision), полноты (recall) и F1 для классификации

Большая часть работы с LLM это на самом деле classification: маршрутизировать этот тикет, пометить этот сентимент, пометить это сообщение как спам. Для этих задач одна только accuracy это ловушка. Создайте спам фильтр для почтового ящика, где 95% это ham, и модель, которая помечает everything ham с точностью 95%, не ловя ни одного спама. Цифра выглядит отлично, но продукт бесполезен. Чтобы увидеть это, вам нужны precision, recall и F1 отдельно для того класса, который вам действительно важен.

Выберите positive класс (например spam) и посчитайте четыре корзины:

  • TP истинно положительные результаты: предсказано спам, был спам.
  • FP ложноположительные результаты: предсказанный спам, был ham (хорошее письмо, попавшее в спам).
  • FN ложноотрицательные результаты: предсказано ham, было spam (спам, который пропустили).
precision = TP / (TP + FP)   # of what I flagged, how much was right
recall    = TP / (TP + FN)   # of the real positives, how many I caught
f1        = 2 * P * R / (P + R)
accuracy  = correct / total  # all classes, all predictions

Они тянут в разные стороны. Агрессивное флагирование повышает recall, но снижает precision; консервативное флагирование делает наоборот. F1 это единственное число, которое не дает ни одному из них упасть. На несбалансированном наборе accuracy и F1 сильно расходятся, и в этом вся суть их раздельного вычисления.

Вы реализуете их вручную, потому что эти формулы нужно знать назубок для собеседований. Но вам никогда не стоит ship самописные метрики, когда есть проверенная библиотека, поэтому тесты также проверяют ваши числа против scikit-learn's precision_score, recall_score, и f1_score. Если они совпадают с sklearn, значит вы реализовали всё правильно.

from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")

Что строить. classification_metrics(y_true, y_pred, positive_label) возвращающий dict {"accuracy", "precision", "recall", "f1"}, каждый rounded до 4 знаков. Защитите случаи с нулевым знаменателем (нет предсказанных позитивов, нет реальных позитивов) путем возврата 0.0 для этой метрики вместо деления на ноль. Нажмите Run, чтобы вывести отчет и увидеть, как accuracy и F1 расходятся на несбалансированном наборе.

Твоя очередь

Напишите classification_metrics(y_true, y_pred, positive_label), возвращающий {'accuracy', 'precision', 'recall', 'f1'} для выбранного положительного класса, каждый round округленный до 4 знаков. Считайте TP/FP/FN относительно positive_label; precision = TP/(TP+FP), recall = TP/(TP+FN), f1 = среднее гармоническое, accuracy = правильные/всего. Возвращайте 0.0 для любой метрики, где знаменатель равен нулю. Ваши числа должны совпадать с precision_score/recall_score/f1_score из scikit-learn.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.