Перекрёстная энтропия - замаскированное правдоподобие
Почему это важно Классификаторы обучают с функцией потерь, называемой перекрёстной энтропией. Она звучит как что-то новое, но это идея правдоподобия из урока двумя раньше.
Маленькие числа
Модель говорит, что вероятности цифр 0, 1 и 2 - [0.665, 0.245, 0.090]. Настоящая цифра - 0. Насколько вероятной модель считала правду? 0,665. По максимальному правдоподобию мы хотим, чтобы это число было большим; как потери мы хотим что-то маленькое, поэтому берём минус его логарифм: -log(0,665) = 0,408.
Если бы настоящая цифра была 2, потери были бы -log(0,090) = 2,41: модель отдала правде лишь 9%, поэтому наказана сильно. Идеальное предсказание (вероятность 1) имеет потери 0.
Потери перекрёстной энтропии: минус логарифм вероятности, которую модель отдала правильному ответу, усреднённый по примерам. Это ровно отрицательный логарифм правдоподобия.
Выбор одного элемента на строку
С батчем вам нужна для каждой строки вероятность в верном столбце этой строки. NumPy делает это двумя массивами индексов одной длины: probs[rows, cols] выбирает probs[rows[0], cols[0]], probs[rows[1], cols[1]] и так далее. При probs = [[0.7, 0.3], [0.2, 0.8]] и метках [0, 1] probs[np.arange(2), labels] даёт [0.7, 0.8]: строка 0 столбец 0, затем строка 1 столбец 1. Это называется продвинутой индексацией (fancy indexing).
Полезный ориентир: модель, которая угадывает равномерно по 10 классам, даёт каждому 0,1, поэтому её потери -log(0,1) = 2,30. Свежий классификатор начинается около этого.
Итоги Потери = -log(вероятность, отданная правде).
Слова и символы этого урока
- правдоподобие
- насколько вероятны увиденные вами данные при одной настройке модели
- перекрёстная энтропия
- минус логарифм вероятности, отданной правильному ответу
Напишите cross_entropy(probs, labels): probs - (batch, classes) вероятностей, labels хранит верный класс каждой строки; верните среднее -log(вероятность верного класса). Без циклов. Затем присвойте uniform_10_loss потери равномерной догадки по 10 классам.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.