LayerNorm и RMSNorm
Почему это важно Трансформеры не используют BatchNorm. Они нормализуют каждый пример отдельно, что избегает только что встреченной ловушки батча и работает при любом размере батча.
- LayerNorm нормализует по признакам каждого примера (каждой строки): вычесть среднее строки, разделить на разброс строки, затем gamma и beta по признаку. Одинаково при обучении и при использовании.
- RMSNorm проще и используется многими недавними языковыми моделями: пропустить среднее и разделить каждую строку на её среднеквадратичное значение,
sqrt(mean(x squared) + eps), затем умножить на gamma.
Маленькие числа
Строка [3, 4]. RMS = sqrt((9 + 16) / 2) = 3,536. RMSNorm даёт [0.849, 1.131]. LayerNorm сначала вычитает среднее 3,5: [-1, 1].
Слова и символы этого урока
- Xavier, LeCun, He
- начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
- BatchNorm (gamma, beta)
- нормализовать каждый признак по батчу, затем перемасштабировать обучаемыми gamma и beta
- LayerNorm, RMSNorm
- нормализовать каждый пример отдельно, по его признакам
Напишите layernorm(X, gamma, beta, eps=1e-5) и rmsnorm(X, gamma, eps=1e-6), обе по строкам.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.