Программа курса Урок 82 из 246 · Модуль 6: Начальные веса и нормализация
Модуль 6: Начальные веса и нормализация

Ловушка обучения и оценки

Почему это важно Модель, которая хорошо показывает себя на тестах и плохо в использовании без видимой причины, очень часто страдает этим багом. Он обманывал опытных инженеров.

В небольшом классификаторе есть слой BatchNorm. Его обучили правильно, и его скользящие средние хороши. На тестовой выборке, оцениваемой большими батчами, он справляется хорошо. Используемый на одном примере за раз, он ошибается слишком часто.

Сначала детективная работа: выведите, что слой BatchNorm выдаёт для двух разных примеров, и спросите себя, какими статистиками он нормализует. Выясните это по тому, что выведете; если застрянете, три подсказки подведут вас к ответу.

Слова и символы этого урока
Xavier, LeCun, He
начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
BatchNorm (gamma, beta)
нормализовать каждый признак по батчу, затем перемасштабировать обучаемыми gamma и beta
Твоя очередь

predict_one(x) используется на одном примере за раз, и его точность плохая. Выясните почему, затем исправьте predict_one, чтобы точность на отложенных данных была хотя бы 90%. Присвойте cause короткую фразу, называющую причину.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.