Программа курса Урок 148 из 246 · Модуль 13: Внимание и трансформеры
Модуль 13: Внимание и трансформеры

Внимание не чувствует порядка

Почему это важно "Собака кусает человека" и "человек кусает собаку" используют одни и те же слова. Self-attention само по себе не может их различить. Понимание почему объясняет дополнительный ингредиент, который добавляет каждый трансформер.

Перемешайте строки X, и строки выхода self-attention перемешаются так же, больше ничего не изменится. Результат каждой позиции зависит от того, какие векторы присутствуют, а не где они стоят. (С каузальной маской это не совсем так: позиция i видит ровно i + 1 токенов, поэтому модель может научиться их считать, и каузальные модели без векторов позиций действительно так учатся порядку. Но это медленно и ненадёжно; явные векторы позиций делают порядок лёгким.)

Поэтому трансформеры прибавляют вектор позиции к эмбеддингу каждого токена перед первым слоем. Записанный GPT выучил по одному вектору на позицию, 32 штуки. Что происходит с его предсказаниями, если их стереть?

Слова и символы этого урока
attention
softmax оценок query-key, используемый для усреднения values
self-attention
каждая позиция обращает внимание на позиции того же текста
каузальная маска
оценки выше диагонали заменены минус бесконечностью: ни одна позиция не видит будущего
вектор позиции
прибавляется к каждому токену, чтобы внимание могло различать порядок
Твоя очередь

Напишите shuffle_check(f): True, если перестановка строк случайной X переставляет строки выхода f так же. Здесь f(X, Wq, Wk, Wv) возвращает только выход, как attn ниже; создайте случайные X и веса внутри shuffle_check. Затем заполните with_pos и without_pos: потери записанной модели на отложенных данных (model.eval_loss(held, n=32)) как есть и с model.P["pos"].data, заменённым нулями (потом верните на место).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.