Layer norm: держите каждый вектор в пределах
Почему это важно Модуль 6 поддерживал активации здоровыми с помощью batch norm, которая усредняет по батчу. Батчи текста различаются по длине, а генерация идёт по одной последовательности за раз, поэтому трансформеры нормализуют вектор каждой позиции отдельно: layer norm.
Для одного вектора x из d чисел: вычтите его среднее, разделите на стандартное отклонение (плюс крошечный эпсилон 1e-5, чтобы никогда не делить на 0), затем масштабируйте и сдвиньте обучаемыми g и b:
y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b
Вектор каждого токена входит в каждую часть внимания и каждую feed-forward часть со средним 0 и разбросом 1, как бы ни выросла текущая сумма.
Слова и символы этого урока
- attention
- softmax оценок query-key, используемый для усреднения values
- layer norm
- нормализует каждый вектор отдельно: среднее 0, разброс 1, затем умножить на g и прибавить b
Напишите layer_norm(x, g, b) для массива любой формы, нормализуя вдоль последней оси. Она должна совпадать с layernorm движка курса.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.