Dropout, построенный
Почему это важно Dropout - простой способ не дать сети слишком сильно опираться на один элемент, и вы увидите его внутри многих моделей.
Во время обучения dropout на каждом шаге случайно выключает каждый элемент с вероятностью p (скажем 0,5). Сеть не может полагаться ни на один элемент, потому что на следующем шаге его может не быть, поэтому распределяет то, что знает, по многим.
Как сохранить правильное среднее
Если половина элементов выключена, следующий слой получает примерно вдвое меньше сигнала. Современный инвертированный dropout исправляет это во время обучения: выжившие элементы умножаются на 1 / (1 - p), здесь на 2. Во время оценки dropout вообще ничего не делает, и средний сигнал совпадает с обучением. (Исходная статья 2014 года масштабировала во время оценки; результат тот же, но инвертированный dropout оставляет код оценки нетронутым.)
Доля dropout p: вероятность выключить элемент во время обучения.
Слова и символы этого урока
- dropout (p)
- случайное выключение элементов с вероятностью p во время обучения
Напишите dropout(h, p, training, rng): при обучении обнулите каждый элемент с вероятностью p и масштабируйте выживших на 1 / (1 - p); иначе верните h без изменений. Используйте rng.random(h.shape) >= p как маску сохранения.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.