Программа курса Урок 77 из 246 · Модуль 6: Начальные веса и нормализация
Модуль 6: Начальные веса и нормализация

Масштаб, который держит сигналы ровными (Xavier и He)

Почему это важно На вопрос "насколько большими должны быть начальные веса" есть точный ответ. Используйте его, и глубокие сети становятся обучаемыми.

Маленькие числа

Один выход слоя складывает n_in произведений входа на вес. Если у входов разброс 1, а у весов разброс s, сумма n_in таких членов имеет разброс s × sqrt(n_in) (дисперсии складываются: модуль 2, "Как складывается разброс"). Чтобы держать его на 1, выберите s = 1 / sqrt(n_in). Это инициализация LeCun. Инициализация Xavier (её также называют Glorot) держит ровными и градиенты на обратном пути, которые зависят от n_out, поэтому берёт среднее: s = sqrt(2 / (n_in + n_out)). Когда n_in равно n_out, они совпадают. Обе подходят для tanh.

ReLU отбрасывает отрицательную половину, что вдвое уменьшает средний квадрат размера. Возместите это удвоенной дисперсией: s = sqrt(2 / n_in). Это инициализация He, верная для ReLU. При ширине 100 He даёт sqrt(0,02) = 0,141: ровно масштаб "ok" из прошлого урока.

Итоги tanh: Xavier, sqrt(2 / (n_in + n_out)), или LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).

Слова и символы этого урока
инициализация
то, как задаются веса до начала обучения
Xavier, LeCun, He
начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
Твоя очередь

Напишите xavier(n_in, n_out, rng) и he(n_in, n_out, rng), возвращающие матрицы весов. С весами He разброс активаций после 20 слоёв ReLU ширины 256 должен оставаться между 0,2 и 5.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.