Защита вывода и агрегация трассировки
A нельзя доверять, пока вы его не проверите. Два защитных механизма покрывают большинство нужд. Защита allow-list требует, чтобы вывод был в точности одним из известных значений. Именно так делают классификатор надежным: если модель должна отвечать positive, negative или neutral, то любой другой вариант отклоняется. Защита deny-list помечает любой вывод, содержащий запрещенный термин (утечка секрета, оскорбление, название конкурента), независимо от окружающего текста.
Продакшен-системам нужна ещё и прослеживаемость: каждый вызов записывается с входом, выходом, числом токенов, задержкой и стоимостью, чтобы потом можно было ответить на вопрос «сколько это стоило и насколько медленно работало?». Вы сводишь эти записи в итог: общая стоимость и перцентили задержки. Задержка p95 (значение, быстрее которого пришли 95% вызовов) - это число, за которым реально следят дежурные инженеры, потому что средние значения скрывают медленный хвост.
import numpy as np
p95 = np.percentile(latencies, 95) # the slow-tail number, not the meanСоздайте четыре функции. (1) validate_output(text, allowed_labels) -> True только если text.strip() есть в allowed_labels. (2) contains_banned(text, banned) -> True если любой запрещенный термин появляется в text без учета регистра. (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> словарь ровно с этими пятью ключами. (4) aggregate_traces(traces) -> создайте pandas.DataFrame из trace dicts и верните словарь с n, total_cost (округленный до 6 знаков после запятой), p50_latency и p95_latency, вычисленными с помощью numpy.percentile.
Создайте validate_output(text, allowed_labels) (True только когда text.strip() является разрешенной меткой), contains_banned(text, banned) (True когда появляется любой запрещенный термин без учета регистра), build_trace(input_text, output_text, tokens, latency_ms, cost) (словарь с этими пятью ключами) и aggregate_traces(traces) (pandas DataFrame, сгруппированный до {n, total_cost (round 6dp), p50_latency, p95_latency} через numpy.percentile). Разрешенная метка должна проходить, а запрещенная должна блокировать, и два разных списка запрещенных слов должны давать разные вердикты.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.