Программа курса Урок 228 из 250 · Проект: Production AI Gateway
Проект: Production AI Gateway

Конвейер Guardrail + Trace

Это последний фрагмент, и именно он позволяет поставить шлюз перед реальными пользователями: safety и observability. Прежде чем любой текст попадет в модель, вы пропускаете его через guard pipeline, который блокирует попытки prompt-injection и очищает персональные данные. А после каждого вызова вы записываете trace event, затем объединяете эти события в summary, который реально смотрит дежурный инженер. Вместе эти две идеи, "guardrail" и "cost-account", завершают строку резюме, с которой вы начали этот модуль.

Страж. Напишите guard(request), который проверяет текст запроса и возвращает словарь verdict как {"allowed": bool, "reason": ..., "text": ..., "redacted": [...]}. Две проверки:

  • Блок Injection: если текст совпадает с известным паттерном атаки (например «ignore all previous instructions», «reveal the system prompt», «you are now...»), отклоняйте его сразу с allowed=False. Небольшого списка регистронезависимых regex достаточно.
  • PII redaкция: иначе удалите адреса электронной почты и номера телефонов из текста, заменив их плейсхолдерами [EMAIL] и [PHONE], и верните очищенный текст с allowed=True плюс список типов, которые вы нашли.
INJECTION = re.compile(r"ignore (?:all )?previous instructions|reveal .*system prompt|you are now", re.I)

def guard(request):
    text = request["text"]
    if INJECTION.search(text):
        return {"allowed": False, "reason": "injection", "text": text, "redacted": []}
    clean, kinds = redact(text)
    return {"allowed": True, "reason": "ok", "text": clean, "redacted": kinds}

Трассировка. Каждый обработанный запрос оставляет след: какой handler запустился, был ли он заблокирован и во сколько это обошлось. Напишите aggregate_trace(events) над списком dict с ключами handler, blocked и cost, возвращая сводку с общим количеством calls, сколько из них были blocks, total_cost вызовов, которые были разрешены, и by_handler разбивку вызовов и стоимости на каждый handler. Это идеальная работа для pandas groupby:

df = pd.DataFrame(events)
allowed = df[~df["blocked"]]
grouped = allowed.groupby("handler")["cost"].agg(["count", "sum"])

Заблокированные запросы ничего не стоят и не должны увеличивать total_cost, поэтому суммируйте стоимость только по разрешенным строкам. Обработайте случай с пустым следом, чтобы новый шлюз выдавал чистые нули вместо ошибки. Нажмите Run, чтобы заблокировать инъекцию, отредактировать запрос с контактными данными, пропустить безопасный запрос и вывести свернутый след.

Твоя очередь

Напишите guard(request) (запрос содержит ключ "text"), возвращающий словарь verdict. Блокируйте попытки prompt-injection (небольшой список регистронезависимых regex) с помощью allowed=False и reason="injection"; иначе скрывайте email и номера телефонов в плейсхолдеры [EMAIL]/[PHONE] и возвращайте allowed=True, очищенный text и список найденных типов. Затем напишите aggregate_trace(events) поверх словарей с handler, blocked, cost, возвращая {"calls", "blocks", "total_cost", "by_handler"}, где total_cost суммирует только разрешенные (неблокируемые) вызовы, а by_handler разбивает вызовы/стоимость по каждому обработчику.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.