Программа курса Урок 180 из 250 · Внедрение LLM в продакшн: Стоимость, кэширование и защитные барьеры
Внедрение LLM в продакшн: Стоимость, кэширование и защитные барьеры

Семантическое и хеш-кеширование

Самый дешевый вызов модели тот, который вы никогда не делаете. Продакшн системы LLM ставят cache перед моделью, чтобы повторяющиеся или почти повторяющиеся вопросы отвечались бесплатно. Два варианта покрывают большинство случаев.

Кэширование хешей по точному запросу. Трюк в том, чтобы сначала нормализовать данные, чтобы тривиально разные промпты совпадали: перевести текст в нижний регистр, заменить последовательности пробелов на один пробел и добавить параметры (temperature, model) в стабильном, отсортированном порядке перед хешированием. Тогда " Hello World " и "hello world" будут иметь один ключ. Перевод в нижний регистр это компромисс: для большинства вопросов регистр не меняет ответ, но иногда меняет (идентификатор кода, "US" против "us"), поэтому исключите это, если ваши промпты чувствительны к регистру.

import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key  = hashlib.sha256(norm.encode()).hexdigest()

Семантическое кэширование идет дальше: оно возвращает запечатанный ответ, когда новый запрос означает то же самое, что и старый, измеряя это через cosine similarity между векторами эмбеддингов. Если ближайший сохраненный вектор имеет оценку на уровне или выше порога (например 0.9), это попадание; иначе это промах и вы вызываете модель. В реальном приложении векторы приходят из модели эмбеддингов; здесь мы передаем их напрямую, чтобы логика оставалась детерминированной. Опасность заключается в false hit: "как мне отменить заказ?" и "как мне отменить подписку?" могут находиться очень близко в пространстве эмбеддингов и требовать разных ответов. Установите высокий порог, измеряйте false hits на реальном трафике перед тем как доверять ему, и никогда не используйте семантическое кэширование для ответов, которые зависят от того, кто спрашивает.

cosine(a, b) = dot(a, b) / (norm(a) * norm(b))

Создайте три вещи. (1) Класс SemanticCache с put(query_vec, answer) и get(query_vec), который возвращает сохраненный ответ ближайшей записи, если ее косинусное сходство >= self.threshold, иначе None. (2) cache_key(prompt, **opts), который нормализует (строчные буквы, удаление лишних пробелов, сортировка ключей опций) и возвращает шестнадцатеричный hashlib.sha256 дайджест, чтобы два внешне разные промпта соответствовали одному ключу. (3) make_memoized(fn) -> вызываемый объект, который использует cache_key для кэширования результатов и предоставляет счетчики .hits и .misses.

Твоя очередь

Создайте (1) SemanticCache (threshold в __init__, плюс put(query_vec, answer) и get(query_vec) возвращающие ближайший ответ, когда cosine similarity равна >= порогу, иначе None); (2) cache_key(prompt, **opts): нормализуйте prompt с re.sub(r"\s+", " ", prompt.strip().lower()), затем хешируйте "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)]) с hashlib.sha256 и верните hex digest (проверка сравнивается именно с этим рецептом); (3) make_memoized(fn) возвращающий callable с .hits и .misses. Почти дублирующий вектор должен попасть, далекий должен промахнуться, а два prompt с разным расстоянием должны иметь общий ключ.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.