Ловушка обучения и оценки
Почему это важно Модель, которая хорошо показывает себя на тестах и плохо в использовании без видимой причины, очень часто страдает этим багом. Он обманывал опытных инженеров.
В небольшом классификаторе есть слой BatchNorm. Его обучили правильно, и его скользящие средние хороши. На тестовой выборке, оцениваемой большими батчами, он справляется хорошо. Используемый на одном примере за раз, он ошибается слишком часто.
Сначала детективная работа: выведите, что слой BatchNorm выдаёт для двух разных примеров, и спросите себя, какими статистиками он нормализует. Выясните это по тому, что выведете; если застрянете, три подсказки подведут вас к ответу.
Слова и символы этого урока
- Xavier, LeCun, He
- начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
- BatchNorm (gamma, beta)
- нормализовать каждый признак по батчу, затем перемасштабировать обучаемыми gamma и beta
predict_one(x) используется на одном примере за раз, и его точность плохая. Выясните почему, затем исправьте predict_one, чтобы точность на отложенных данных была хотя бы 90%. Присвойте cause короткую фразу, называющую причину.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.