Программа курса Урок 145 из 246 · Модуль 13: Внимание и трансформеры
Модуль 13: Внимание и трансформеры

Каузальная маска: не подглядывать

Почему это важно Модель, обученная предсказывать следующий символ, не должна видеть следующий символ. Без маски она может просто скопировать ответ, отлично выглядеть на обучении, а потом провалиться при генерации, потому что во время генерации будущего ещё не существует.

Посмотрите

Запустите анимацию. Позиция i может обращать внимание только на позиции от 0 до i. Перед softmax каждая оценка выше диагонали заменяется минус бесконечностью, поэтому её вес становится ровно 0. Тогда веса образуют нижний треугольник.

Проверка на утечку прямая: измените символ в позиции j, и ничего из того, что модель вычисляет для позиций до j, не должно измениться.

Когда курс обучал GPT шириной 32 в течение 1 200 шагов без маски, его потери на обучении упали до 0,10 против 1,51 с маской: он научился копировать ответ из следующей позиции, почти идеально. При честном измерении, на невиданном тексте и без возможности заглядывать вперёд, его потери были 8,6 против 2,3. Меньшее число было ложью: модель была гораздо хуже. (Вначале, на 400 шагах, два прогона ещё выглядели похоже, 2,28 против 2,24. Копирование не сразу обнаруживается, а потом берёт верх.)

Слова и символы этого урока
attention
softmax оценок query-key, используемый для усреднения values
каузальная маска
оценки выше диагонали заменены минус бесконечностью: ни одна позиция не видит будущего
голова
одно из H более узких внимании, работающих бок о бок, каждое со своим узором
Твоя очередь

Напишите causal_attention(X, Wq, Wk, Wv) как в уроке 4, но с маской. Затем leaks(f): верните True, если изменение последней строки случайной X меняет какую-либо более раннюю строку выхода f. Здесь f - любая функция внимания, вызываемая как ваша, f(X, Wq, Wk, Wv), возвращающая (output, weights); создайте случайные X и веса внутри leaks.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.