Программа курса Урок 149 из 246 · Модуль 13: Внимание и трансформеры
Модуль 13: Внимание и трансформеры

Позиции как волны

Почему это важно Обученные векторы позиций заканчиваются на самом длинном тексте, увиденном на обучении. Исходный трансформер вместо этого использовал фиксированные волны, которые дают каждой позиции уникальный узор и делают "на 3 шага дальше" одинаковым, где бы это ни происходило.

Для позиции p и индекса пары i (0, 1, 2, ...) при d числах всего:

PE[p, 2i]     = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))

Первая пара - быстрая волна, следующие пары всё медленнее, как стрелки часов: секунды, минуты, часы. Вместе они дают каждой позиции отличающееся показание.

Полезное свойство: скалярное произведение PE[p] . PE[p + k] зависит только от k, расстояния, а не от p. (Каждая пара вносит cos разности углов, по тождеству sin a sin b + cos a cos b = cos(a - b).)

Где сейчас эта область Большинство открытых языковых моделей сегодня не используют ни волны, прибавленные ко входу, ни обученные векторы позиций. RoPE (rotary position embedding, Su et al. 2021) поворачивает каждый вектор query и key на угол, растущий с его позицией, после проекций query и key, так что оценка между двумя позициями зависит только от того, насколько они далеко друг от друга. ALiBi (Press et al. 2021) вообще не добавляет векторов позиций: он вычитает из каждой оценки внимания штраф, растущий с расстоянием. Оба лучше переносятся на тексты длиннее обучающих. Волны здесь - выбор исходного трансформера и их легче всего увидеть.

Слова и символы этого урока
query, key, value
что ищет позиция; что каждая позиция предлагает для сопоставления; что она отдаёт
attention
softmax оценок query-key, используемый для усреднения values
вектор позиции
прибавляется к каждому токену, чтобы внимание могло различать порядок
Твоя очередь

Напишите positions(n, d), возвращающую массив n на d. Затем присвойте same_distance наибольшую разницу между PE[p] . PE[p + 5] по p от 0 до 50 (она должна быть по сути 0).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.