Программа курса Урок 247 из 250 · Работа с ответами модели
Работа с ответами модели

Отрезано, Отказано или Вне области охвата

Почему это важно Бот поддержки, который показывает пользователю половину предложения или пустое облако, выглядит сломанным. Прежде чем показать любой ответ, решите, какой это тип ответа.

Приложение здесь это банковский помощник, чей system prompt говорит: отвечай только на вопросы об аккаунтах и картах, а на все остальное отвечай строго OUT_OF_SCOPE. Пять ответов:

  • обычный ответ;
  • OUT_OF_SCOPE точно так, как просили;
  • тот же сигнал, написанный небрежно (Out_of_scope. с новой строки): модели следуют "отвечать точно" почтивсегда, поэтому сопоставляйте его с некоторым допуском (игнорируйте регистр букв, пробелы и точку в конце);
  • ответ оборвался из-за лимита токенов;
  • a refusal: stop_reason это "refusal", содержимое пустое, и stop_details dict может сказать почему.

Каждый вид требует разного экрана: показать ответ, показать "Я могу помочь только с банковскими вопросами", попросить модель продолжить или повторить с более высоким лимитом, или показать вежливый отказ.

Об этих ответах: они симулированы. Каждый из них был написан для этого курса именно в том виде, который возвращает Claude Messages API (блоки контента, stop_reason, usage), и каждый копирует то, что делают реальные модели. Это не записи живой модели, поэтому точные формулировки наши; формы и задачи настоящие, с которыми столкнется ваш код.

Твоя очередь

Напишите classify_reply(reply) возвращая один из "refused" (stop_reason is "refusal"), "cut_off" (stop_reason is "max_tokens"), "out_of_scope" (текст, с удаленными окружающими пробелами и завершающим ., равен OUT_OF_SCOPE без учета регистра), "empty" (вообще нет текста), или "answer". Проверьте их в этом порядке. Оставьте REPLIES стартера как есть: проверка читает его.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.