Программа курса Урок 227 из 250 · Проект: Production AI Gateway
Проект: Production AI Gateway

Учет токенов/стоимости + Кэширование

Ваш шлюз теперь направляет запросы, но каждый вызов реальной модели стоит денег и времени. Два главных рычага, которые вы контролируете, это cost accounting (чтобы никто не был шокирован счетом) и caching (чтобы вы перестали платить за один и тот же ответ дважды). Этот урок развивает оба направления, и у кэширования есть нюанс, который делает его по-настоящему полезным: он ловит почти дублирующиеся вопросы, а не только байтовые повторы.

Начните с метра. Дешевая, детерминированная оценка токенов это "примерно один токен на четыре символа," и стоимость это просто токены умноженные на ставку за токен:

def estimate_cost(text, rate):
    tokens = len(text) // 4
    return tokens * rate

Теперь кэш. Наивный кэш опирается на точную строку, поэтому "Reset my password" и "reset my password" выглядят как разные вопросы и оба стоят полную цену. Вы построите two-tier Cache класс:

  • Уровень хеширования: нормализуйте текст (строчные буквы, удаление лишних пробелов), хешируйте его и сохраните ответ под этим ключом. Точное повторение (после нормализации) считается мгновенным попаданием.
  • Семантический уровень: когда хеш не совпадает, сравниваем embedding запроса с каждым сохраненным эмбеддингом по cosine similarity. Если ближайший находится на уровне или выше порога (например 0.9), это тоже считается попаданием. Вот так "password reset steps" попадает в кэшированный "how do I reset my password".

Оба put и get принимают текст and и возвращают заранее вычисленный embedding (маленький вектор). get возвращает (status, value) кортеж, где status равен "hit" или "miss":

def get(self, text, embedding):
    key = self._key(text)
    if key in self.by_hash:            # tier 1: exact
        return ("hit", self.by_hash[key])
    best, best_sim = None, -1.0        # tier 2: semantic
    for vec, answer in self.entries:
        sim = cosine(embedding, vec)
        if sim > best_sim:
            best_sim, best = sim, answer
    if best is not None and best_sim >= self.threshold:
        return ("hit", best)
    return ("miss", None)

Косинусное сходство это скалярное произведение деленное на произведение норм; защититесь от нулевого вектора чтобы никогда не делить на ноль. В реальном шлюзе эти эмбеддинги приходят из модели, но здесь вы передаете их напрямую чтобы логику можно было протестировать офлайн. Нажмите Run чтобы оценить промпт, попадите точно в кэш, попадите в него снова при перефразировании и посмотрите как несвязанный запрос промахнется.

Твоя очередь

Напишите estimate_cost(text, rate), возвращающий оценку токенов (~1 токен на 4 символа) умноженную на rate за токен. Затем создайте двухъярусный класс Cache с put(text, embedding, answer) и get(text, embedding), который возвращает кортеж (status, value). get это "hit" на точное (нормализованное: в нижнем регистре, без лишних пробелов) совпадение текста через хеш, ИЛИ когда ближайшее сохраненное вложение имеет косинусное сходство >= порога (семантическое попадание); иначе ("miss", None). Отличный запрос с низким сходством должен не проходить.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.