Масштаб, который держит сигналы ровными (Xavier и He)
Почему это важно На вопрос "насколько большими должны быть начальные веса" есть точный ответ. Используйте его, и глубокие сети становятся обучаемыми.
Маленькие числа
Один выход слоя складывает n_in произведений входа на вес. Если у входов разброс 1, а у весов разброс s, сумма n_in таких членов имеет разброс s × sqrt(n_in) (дисперсии складываются: модуль 2, "Как складывается разброс"). Чтобы держать его на 1, выберите s = 1 / sqrt(n_in). Это инициализация LeCun. Инициализация Xavier (её также называют Glorot) держит ровными и градиенты на обратном пути, которые зависят от n_out, поэтому берёт среднее: s = sqrt(2 / (n_in + n_out)). Когда n_in равно n_out, они совпадают. Обе подходят для tanh.
ReLU отбрасывает отрицательную половину, что вдвое уменьшает средний квадрат размера. Возместите это удвоенной дисперсией: s = sqrt(2 / n_in). Это инициализация He, верная для ReLU. При ширине 100 He даёт sqrt(0,02) = 0,141: ровно масштаб "ok" из прошлого урока.
Итоги tanh: Xavier, sqrt(2 / (n_in + n_out)), или LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).
Слова и символы этого урока
- инициализация
- то, как задаются веса до начала обучения
- Xavier, LeCun, He
- начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
Напишите xavier(n_in, n_out, rng) и he(n_in, n_out, rng), возвращающие матрицы весов. С весами He разброс активаций после 20 слоёв ReLU ширины 256 должен оставаться между 0,2 и 5.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.