Программа курса Урок 83 из 246 · Модуль 6: Начальные веса и нормализация
Модуль 6: Начальные веса и нормализация

LayerNorm и RMSNorm

Почему это важно Трансформеры не используют BatchNorm. Они нормализуют каждый пример отдельно, что избегает только что встреченной ловушки батча и работает при любом размере батча.

  • LayerNorm нормализует по признакам каждого примера (каждой строки): вычесть среднее строки, разделить на разброс строки, затем gamma и beta по признаку. Одинаково при обучении и при использовании.
  • RMSNorm проще и используется многими недавними языковыми моделями: пропустить среднее и разделить каждую строку на её среднеквадратичное значение, sqrt(mean(x squared) + eps), затем умножить на gamma.

Маленькие числа

Строка [3, 4]. RMS = sqrt((9 + 16) / 2) = 3,536. RMSNorm даёт [0.849, 1.131]. LayerNorm сначала вычитает среднее 3,5: [-1, 1].

Слова и символы этого урока
Xavier, LeCun, He
начальные разбросы sqrt(2 / (inputs + outputs)) или 1 / sqrt(inputs) для tanh и sqrt(2 / inputs) для ReLU
BatchNorm (gamma, beta)
нормализовать каждый признак по батчу, затем перемасштабировать обучаемыми gamma и beta
LayerNorm, RMSNorm
нормализовать каждый пример отдельно, по его признакам
Твоя очередь

Напишите layernorm(X, gamma, beta, eps=1e-5) и rmsnorm(X, gamma, eps=1e-6), обе по строкам.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.