Программа курса Урок 183 из 250 · Внедрение LLM в продакшн: Стоимость, кэширование и защитные барьеры
Внедрение LLM в продакшн: Стоимость, кэширование и защитные барьеры

Защита вывода и агрегация трассировки

Ответ модели

A нельзя доверять, пока вы его не проверите. Два защитных механизма покрывают большинство нужд. Защита allow-list требует, чтобы вывод был в точности одним из известных значений. Именно так делают классификатор надежным: если модель должна отвечать positive, negative или neutral, то любой другой вариант отклоняется. Защита deny-list помечает любой вывод, содержащий запрещенный термин (утечка секрета, оскорбление, название конкурента), независимо от окружающего текста.

Продакшен-системам нужна ещё и прослеживаемость: каждый вызов записывается с входом, выходом, числом токенов, задержкой и стоимостью, чтобы потом можно было ответить на вопрос «сколько это стоило и насколько медленно работало?». Вы сводишь эти записи в итог: общая стоимость и перцентили задержки. Задержка p95 (значение, быстрее которого пришли 95% вызовов) - это число, за которым реально следят дежурные инженеры, потому что средние значения скрывают медленный хвост.

import numpy as np
p95 = np.percentile(latencies, 95)   # the slow-tail number, not the mean

Создайте четыре функции. (1) validate_output(text, allowed_labels) -> True только если text.strip() есть в allowed_labels. (2) contains_banned(text, banned) -> True если любой запрещенный термин появляется в text без учета регистра. (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> словарь ровно с этими пятью ключами. (4) aggregate_traces(traces) -> создайте pandas.DataFrame из trace dicts и верните словарь с n, total_cost (округленный до 6 знаков после запятой), p50_latency и p95_latency, вычисленными с помощью numpy.percentile.

Твоя очередь

Создайте validate_output(text, allowed_labels) (True только когда text.strip() является разрешенной меткой), contains_banned(text, banned) (True когда появляется любой запрещенный термин без учета регистра), build_trace(input_text, output_text, tokens, latency_ms, cost) (словарь с этими пятью ключами) и aggregate_traces(traces) (pandas DataFrame, сгруппированный до {n, total_cost (round 6dp), p50_latency, p95_latency} через numpy.percentile). Разрешенная метка должна проходить, а запрещенная должна блокировать, и два разных списка запрещенных слов должны давать разные вердикты.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.