Позиции как волны
Почему это важно Обученные векторы позиций заканчиваются на самом длинном тексте, увиденном на обучении. Исходный трансформер вместо этого использовал фиксированные волны, которые дают каждой позиции уникальный узор и делают "на 3 шага дальше" одинаковым, где бы это ни происходило.
Для позиции p и индекса пары i (0, 1, 2, ...) при d числах всего:
PE[p, 2i] = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))
Первая пара - быстрая волна, следующие пары всё медленнее, как стрелки часов: секунды, минуты, часы. Вместе они дают каждой позиции отличающееся показание.
Полезное свойство: скалярное произведение PE[p] . PE[p + k] зависит только от k, расстояния, а не от p. (Каждая пара вносит cos разности углов, по тождеству sin a sin b + cos a cos b = cos(a - b).)
Где сейчас эта область Большинство открытых языковых моделей сегодня не используют ни волны, прибавленные ко входу, ни обученные векторы позиций. RoPE (rotary position embedding, Su et al. 2021) поворачивает каждый вектор query и key на угол, растущий с его позицией, после проекций query и key, так что оценка между двумя позициями зависит только от того, насколько они далеко друг от друга. ALiBi (Press et al. 2021) вообще не добавляет векторов позиций: он вычитает из каждой оценки внимания штраф, растущий с расстоянием. Оба лучше переносятся на тексты длиннее обучающих. Волны здесь - выбор исходного трансформера и их легче всего увидеть.
Слова и символы этого урока
- query, key, value
- что ищет позиция; что каждая позиция предлагает для сопоставления; что она отдаёт
- attention
- softmax оценок query-key, используемый для усреднения values
- вектор позиции
- прибавляется к каждому токену, чтобы внимание могло различать порядок
Напишите positions(n, d), возвращающую массив n на d. Затем присвойте same_distance наибольшую разницу между PE[p] . PE[p + 5] по p от 0 до 50 (она должна быть по сути 0).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.