Программа курса Урок 156 из 246 · Модуль 13: Внимание и трансформеры
Модуль 13: Внимание и трансформеры

Быстрая генерация: кэш ключей и значений

Почему это важно Чат-боты пишут по одному токену за раз. При наивном подходе каждый новый токен заново вычисляет keys и values всего текста до него. Кэш ключей и значений - причина, по которой ответы идут потоком быстро.

Посмотрите

Запустите анимацию. С каузальной маской keys и values более ранних позиций никогда не меняются, когда приходят новые токены. Поэтому храните их: для каждого нового токена вычисляйте только его собственные q, k и v, добавляйте k и v в кэш и обращайте внимание с q по кэшированным keys.

Работа на новый токен: наивный способ вычисляет t keys и values для текста длины t; кэш вычисляет 1. За ответ из 1 000 токенов это около 500 000 вычислений key против 1 000.

Слова и символы этого урока
query, key, value
что ищет позиция; что каждая позиция предлагает для сопоставления; что она отдаёт
attention
softmax оценок query-key, используемый для усреднения values
self-attention
каждая позиция обращает внимание на позиции того же текста
каузальная маска
оценки выше диагонали заменены минус бесконечностью: ни одна позиция не видит будущего
кэш ключей и значений
хранит прежние keys и values, чтобы каждый новый токен стоил одного шага
Твоя очередь

Напишите cached_step(x, cache, Wq, Wk, Wv): x - одна новая строка; добавьте её key и value в cache["K"] и cache["V"] (списки) и верните её выход внимания по всем кэшированным позициям. Подача строк X по одной должна в точности воспроизводить каузальное self-attention. Присвойте keys_naive и keys_cached: сколько векторов key вычисляет каждый метод, чтобы выдать 1 000 токенов.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.