Учет токенов/стоимости + Кэширование
Ваш шлюз теперь направляет запросы, но каждый вызов реальной модели стоит денег и времени. Два главных рычага, которые вы контролируете, это cost accounting (чтобы никто не был шокирован счетом) и caching (чтобы вы перестали платить за один и тот же ответ дважды). Этот урок развивает оба направления, и у кэширования есть нюанс, который делает его по-настоящему полезным: он ловит почти дублирующиеся вопросы, а не только байтовые повторы.
Начните с метра. Дешевая, детерминированная оценка токенов это "примерно один токен на четыре символа," и стоимость это просто токены умноженные на ставку за токен:
def estimate_cost(text, rate):
tokens = len(text) // 4
return tokens * rateТеперь кэш. Наивный кэш опирается на точную строку, поэтому "Reset my password" и "reset my password" выглядят как разные вопросы и оба стоят полную цену. Вы построите two-tier Cache класс:
- Уровень хеширования: нормализуйте текст (строчные буквы, удаление лишних пробелов), хешируйте его и сохраните ответ под этим ключом. Точное повторение (после нормализации) считается мгновенным попаданием.
- Семантический уровень: когда хеш не совпадает, сравниваем embedding запроса с каждым сохраненным эмбеддингом по cosine similarity. Если ближайший находится на уровне или выше порога (например
0.9), это тоже считается попаданием. Вот так"password reset steps"попадает в кэшированный"how do I reset my password".
Оба put и get принимают текст and и возвращают заранее вычисленный embedding (маленький вектор). get возвращает (status, value) кортеж, где status равен "hit" или "miss":
def get(self, text, embedding):
key = self._key(text)
if key in self.by_hash: # tier 1: exact
return ("hit", self.by_hash[key])
best, best_sim = None, -1.0 # tier 2: semantic
for vec, answer in self.entries:
sim = cosine(embedding, vec)
if sim > best_sim:
best_sim, best = sim, answer
if best is not None and best_sim >= self.threshold:
return ("hit", best)
return ("miss", None)Косинусное сходство это скалярное произведение деленное на произведение норм; защититесь от нулевого вектора чтобы никогда не делить на ноль. В реальном шлюзе эти эмбеддинги приходят из модели, но здесь вы передаете их напрямую чтобы логику можно было протестировать офлайн. Нажмите Run чтобы оценить промпт, попадите точно в кэш, попадите в него снова при перефразировании и посмотрите как несвязанный запрос промахнется.
Напишите estimate_cost(text, rate), возвращающий оценку токенов (~1 токен на 4 символа) умноженную на rate за токен. Затем создайте двухъярусный класс Cache с put(text, embedding, answer) и get(text, embedding), который возвращает кортеж (status, value). get это "hit" на точное (нормализованное: в нижнем регистре, без лишних пробелов) совпадение текста через хеш, ИЛИ когда ближайшее сохраненное вложение имеет косинусное сходство >= порога (семантическое попадание); иначе ("miss", None). Отличный запрос с низким сходством должен не проходить.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.