Быстрая генерация: кэш ключей и значений
Почему это важно Чат-боты пишут по одному токену за раз. При наивном подходе каждый новый токен заново вычисляет keys и values всего текста до него. Кэш ключей и значений - причина, по которой ответы идут потоком быстро.
Посмотрите
Запустите анимацию. С каузальной маской keys и values более ранних позиций никогда не меняются, когда приходят новые токены. Поэтому храните их: для каждого нового токена вычисляйте только его собственные q, k и v, добавляйте k и v в кэш и обращайте внимание с q по кэшированным keys.
Работа на новый токен: наивный способ вычисляет t keys и values для текста длины t; кэш вычисляет 1. За ответ из 1 000 токенов это около 500 000 вычислений key против 1 000.
Слова и символы этого урока
- query, key, value
- что ищет позиция; что каждая позиция предлагает для сопоставления; что она отдаёт
- attention
- softmax оценок query-key, используемый для усреднения values
- self-attention
- каждая позиция обращает внимание на позиции того же текста
- каузальная маска
- оценки выше диагонали заменены минус бесконечностью: ни одна позиция не видит будущего
- кэш ключей и значений
- хранит прежние keys и values, чтобы каждый новый токен стоил одного шага
Напишите cached_step(x, cache, Wq, Wk, Wv): x - одна новая строка; добавьте её key и value в cache["K"] и cache["V"] (списки) и верните её выход внимания по всем кэшированным позициям. Подача строк X по одной должна в точности воспроизводить каузальное self-attention. Присвойте keys_naive и keys_cached: сколько векторов key вычисляет каждый метод, чтобы выдать 1 000 токенов.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.