Программа курса Урок 225 из 250 · Проект: Production AI Gateway
Проект: Production AI Gateway

Классификатор намерений с Abstain

Добро пожаловать в ваш финальный проект. За четыре урока вы выпустите слой, который находится между вашими пользователями и моделью: AI gateway, который классифицирует цели запроса, направляет его к нужному обработчику, кэширует ответы, защищает от злоупотреблений и учитывает каждый доллар. Это не самая гламурная инфраструктура, которая превращает умную демо в нечто, что компания может реально запустить, и это именно то, что имеет в виду менеджер по найму, когда в резюме написано «built an AI gateway: classify, route, cache, guardrail, cost-account».

Один честный момент по охвату: вы строите логику logic прикладного уровня шлюза (classify, route, semantic-cache, guardrail, cost-account). Шлюз, который вы действительно запустите в продакшене, также требует работающего сервиса для хостинга, аутентификации, реального распределенного rate-limiting и деплоя, что выходит за рамки этого финального проекта в браузере.

Первая остановка: входная дверь. Каждый входящий запрос это кусок текста, и прежде чем делать с ним что-то умное, нужно знать что это такое. Это вопрос о погоде? Проблема с аккаунтом? Жалоба на счет? Вы построите intent classifier, который учится на нескольких размеченных примерах и помечает каждый новый запрос. Подвох, который отличает игрушку от реального классификатора: он должен знать, когда он не знает. Модель, которая уверенно помечает абракадабру, хуже бесполезна на следующих этапах, поэтому ваша модель будет abstain и вернет "unknown" когда она не уверена.

Вы напишете две функции:

  • train_intent(texts, labels) -> подогнать TfidfVectorizer для превращения текстов в векторы, затем LogisticRegression(random_state=0) сверху. Верните любой набор (словарь подойдет) classify для создания предсказаний. Задайте seed модели, чтобы у всех были одинаковые результаты.
  • classify(model, text) -> вернуть кортеж (label, confidence). Получить вероятности классов с помощью predict_proba, взять верхний результат, и если его уверенность ниже порога (около 0.5), вернуть ("unknown", confidence) вместо него.

Хитрость для отлова входных данных, которые реально выходят за рамки распределения, дешевая и надежная. Когда TfidfVectorizer.transform видит текст, в котором нет none слов из обучающего словаря, результирующая строка состоит из одних нулей (ее .nnz равно 0). Это ваш сигнал, что модели не на чем основываться, поэтому сразу воздержитесь:

X = vec.transform([text])
if X.nnz == 0:
    return ("unknown", 0.0)
probs = clf.predict_proba(X)[0]
idx = probs.argmax()
conf = float(probs[idx])
return (clf.classes_[idx], conf) if conf >= 0.5 else ("unknown", conf)

Одна заметка из практики по модели: на крошечных обучающих выборках стандартная регуляризация заставляет каждую вероятность колебаться около случайности, поэтому правильные вопросы никогда не проходят порог. Ослабление регуляризации с помощью C=10.0 (и увеличение max_iter для сходимости) делает модель достаточно острой, чтобы реальные парафразы получали уверенный балл, а мусор по-прежнему отклонялся. Нажмите Run, чтобы обучить модель на нескольких размеченных опорных вопросах и увидеть, как парафразы классифицируются, а бессмыслица отступает.

Твоя очередь

Напишите train_intent(texts, labels) используя TfidfVectorizer + LogisticRegression(random_state=0) (смягчите с помощью C=10.0 и увеличьте max_iter чтобы малые данные сходились), возвращая любой пакет classify. Затем напишите classify(model, text) возвращающий (label, confidence): возьмите верхний класс predict_proba, воздержитесь от ("unknown", conf) ниже порога ~0.5 и воздержитесь немедленно когда трансформированная строка состоит из одних нулей (X.nnz == 0) чтобы входные данные вне распределения или пустой ввод не могли быть помечены.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.