Классификация намерений (TF-IDF + LogisticRegression)
Не каждая "функция ИИ" требует большую языковую модель. Огромная часть рабочих приложений на базе LLM ставят крошечный, скучный классификатор перед модели: он читает входящее сообщение, решает, какой это тип запроса (оплата? отчет об ошибке? смена аккаунта?), и направляет его соответствующим образом. Это решение быстрое, бесплатное, работает офлайн и является детерминированным -> один и тот же вход всегда дает один и тот же ответ. Вы тратите дорогой вызов LLM только тогда, когда он действительно нужен.
Рабочая лошадка для короткого текста это TfidfVectorizer + LogisticRegression. TF-IDF превращает каждое сообщение в разреженный вектор взвешенных количеств слов; logistic regression обучается линейной границе между классами намерений. На несколько десятков размеченных примеров она обучается за миллисекунды и классифицирует за микросекунды.
Вы объедините их в один объект с помощью Pipeline так, чтобы vectorizer и classifier подгонялись и применялись вместе как единое целое:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
pipe = Pipeline([
("tfidf", TfidfVectorizer()),
("clf", LogisticRegression(random_state=0, max_iter=1000)),
])
pipe.fit(texts, labels)
pipe.predict(["can I get a refund"]) # -> array(['billing'])Почему random_state=0? Привычка, которую стоит иметь. Стандартный solver здесь (lbfgs) детерминирован, поэтому этот pipeline дает одинаковые веса с seed или без него. Но другие solvers (saga, liblinear) перемешивают данные, и многие модели scikit-learn (random forests, k-means, train/test splits) случайны по дизайну; там seed делает обучение воспроизводимым. Запись его везде означает, что последующее изменение solver или модели не сможет незаметно заставить ваш routing меняться между запусками. Курс следует этому правилу везде.
Это именно контраст с LLM. Вызов модели недетерминирован, стоит денег и добавляет задержку. Вот такой fallback вы можете подключить дальше, когда узнаете намерение (показано для контекста, никогда не оценивается):
# Pseudocode: only AFTER the cheap classifier is unsure do you reach for the model.
intent = pipe.predict([msg])[0]
if intent == "general":
reply = await window._floatiTutor.complete(msg) # the on-device LLMСоздайте две функции. train_classifier(texts, labels) возвращает обученную Pipeline (TF-IDF + LogisticRegression с random_state=0). predict(model, new_texts) берет эту модель и list строк и возвращает list предсказанных меток. Нажмите Run чтобы обучить модель на небольшом наборе тикетов поддержки и посмотрите как она направляет скрытые сообщения в нужную команду.
Напишите train_classifier(texts, labels) возвращающий fitted sklearn Pipeline для TfidfVectorizer() затем LogisticRegression(random_state=0, ...), и predict(model, new_texts) возвращающий list предсказанных меток для list входных строк. Seed делает результат воспроизводимым; классификатор должен отправлять разные held-out сообщения их правильным интентам. Оставьте стартовые TEXTS и LABELS как есть: проверка читает их.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.