Classificação de Intenção (TF-IDF + LogisticRegression)
Nem toda "funcionalidade de IA" precisa de um modelo de linguagem grande. Uma enorme fração de apps de LLM em produção coloca um classificador minúsculo e sem graça na frente de o modelo: ele lê a mensagem recebida, decide que tipo de solicitação ela é (faturamento? um relatório de erro? uma mudança de conta?) e roteia de acordo. Essa decisão é rápida, gratuita, roda offline e é determinística -> a mesma entrada sempre dá a mesma resposta. Você só gasta uma chamada de LLM cara quando realmente precisa de uma.
O motor para textos curtos é TfidfVectorizer + LogisticRegression. TF-IDF transforma cada mensagem em um vetor esparso de contagens de palavras ponderadas; logistic regression aprende uma fronteira linear entre as classes de intenção. Com algumas dezenas de exemplos rotulados, ele treina em milissegundos e classifica em microssegundos.
Você vai conectar os dois em um objeto com um Pipeline para que o vectorizer e o classifier sejam ajustados e aplicados juntos como uma unidade:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
pipe = Pipeline([
("tfidf", TfidfVectorizer()),
("clf", LogisticRegression(random_state=0, max_iter=1000)),
])
pipe.fit(texts, labels)
pipe.predict(["can I get a refund"]) # -> array(['billing'])Por que random_state=0? Um hábito que vale a pena ter. O solver padrão aqui (lbfgs) é determinístico, então este pipeline dá os mesmos pesos com ou sem uma seed. Mas outros solvers (saga, liblinear) embaralham os dados, e muitos modelos do scikit-learn (random forests, k-means, train/test splits) são aleatórios por design; lá a seed é o que torna o treinamento reproduzível. Escrevê-la em todo lugar significa que uma mudança posterior de solver ou modelo não pode mudar silenciosamente o seu roteamento entre as execuções. O curso segue esta regra em todo lugar.
Este é exatamente o contraste com o LLM. Uma chamada de modelo é não-determinística, custa dinheiro e adiciona latência. Aqui está o tipo de fallback que você pode conectar downstream assim que souber a intenção (mostrado para contexto, nunca avaliado):
# Pseudocode: only AFTER the cheap classifier is unsure do you reach for the model.
intent = pipe.predict([msg])[0]
if intent == "general":
reply = await window._floatiTutor.complete(msg) # the on-device LLMConstrua duas funções. train_classifier(texts, labels) retorna um Pipeline ajustado (TF-IDF + LogisticRegression com random_state=0). predict(model, new_texts) pega esse modelo e uma list de strings e retorna uma list de labels preditos. Pressione Run para treinar em um pequeno conjunto de tickets de suporte e veja ele rotear mensagens retidas para a equipe certa.
Escreva train_classifier(texts, labels) retornando um sklearn Pipeline ajustado de TfidfVectorizer() e depois LogisticRegression(random_state=0, ...), e predict(model, new_texts) retornando uma lista de labels previstos para uma lista de strings de entrada. A seed torna isso reproduzível; o classificador deve enviar mensagens distintas retidas para suas intenções corretas. Mantenha o TEXTS e LABELS do starter como estão: o check os lê.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.