Программа курса Урок 150 из 246 · Модуль 13: Внимание и трансформеры
Модуль 13: Внимание и трансформеры

Layer norm: держите каждый вектор в пределах

Почему это важно Модуль 6 поддерживал активации здоровыми с помощью batch norm, которая усредняет по батчу. Батчи текста различаются по длине, а генерация идёт по одной последовательности за раз, поэтому трансформеры нормализуют вектор каждой позиции отдельно: layer norm.

Для одного вектора x из d чисел: вычтите его среднее, разделите на стандартное отклонение (плюс крошечный эпсилон 1e-5, чтобы никогда не делить на 0), затем масштабируйте и сдвиньте обучаемыми g и b:

y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b

Вектор каждого токена входит в каждую часть внимания и каждую feed-forward часть со средним 0 и разбросом 1, как бы ни выросла текущая сумма.

Слова и символы этого урока
attention
softmax оценок query-key, используемый для усреднения values
layer norm
нормализует каждый вектор отдельно: среднее 0, разброс 1, затем умножить на g и прибавить b
Твоя очередь

Напишите layer_norm(x, g, b) для массива любой формы, нормализуя вдоль последней оси. Она должна совпадать с layernorm движка курса.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.