Classificador de Intenção com Abstain
Bem-vindo à sua construção final. Ao longo de quatro lições, você vai lançar a camada que fica entre seus usuários e o modelo: um gateway de IA que classifica o que uma requisição quer, a roteia para o handler correto, armazena em cache as respostas, protege contra abusos e contabiliza cada dólar. Esta é a infraestrutura sem glamour que transforma uma demo inteligente em algo que uma empresa pode realmente rodar, e é exatamente o que um gerente de contratação quer dizer quando uma linha no currículo diz "construiu um gateway de IA: classificar, rotear, cache, guardrail, contabilização de custos".
Uma nota honesta sobre o escopo: você está construindo a lógica da camada de aplicação logic de um gateway (classify, route, semantic-cache, guardrail, cost-account). Um gateway que você realmente rodaria em produção também precisa de um serviço rodando para hospedá-lo, autenticação, rate-limiting distribuído real e um deployment, que estão além deste projeto final no navegador.
Primeira parada: a porta de entrada. Cada requisição que chega é um bloco de texto e, antes de você poder fazer algo inteligente com ela, você precisa saber o que é. É uma pergunta sobre o clima? Um problema de conta? Uma reclamação de cobrança? Você vai construir um classificador de intenção que aprende a partir de um punhado de exemplos rotulados e marca cada nova requisição. O detalhe que separa um brinquedo de um classificador real: ele deve saber quando não sabe. Um modelo que rotula bobagens com confiança é pior que inútil nos processos seguintes, então o seu vai abster e retornar "unknown" quando não tiver certeza.
Você vai escrever duas funções:
train_intent(texts, labels)-> ajuste umTfidfVectorizerpara transformar os textos em vetores, depois umLogisticRegression(random_state=0)por cima. Retorne qualquer pacote (um dictionary está bom) que oclassifyprecise para fazer previsões. Semeie o modelo para que todos obtenham resultados idênticos.classify(model, text)-> retorne uma tupla(label, confidence). Obtenha as probabilidades da classe compredict_proba, pegue a principal e, se a confiança dela estiver abaixo de um limite (cerca de0.5), retorne("unknown", confidence)em vez disso.
O truque para detectar entradas realmente fora da distribuição é barato e robusto. Quando TfidfVectorizer.transform vê um texto com nenhum do vocabulário de treinamento, a linha resultante é toda zeros (seu .nnz é 0). Esse é o seu sinal de que o modelo não tem nada em que se basear, então abstenha-se imediatamente:
X = vec.transform([text])
if X.nnz == 0:
return ("unknown", 0.0)
probs = clf.predict_proba(X)[0]
idx = probs.argmax()
conf = float(probs[idx])
return (clf.classes_[idx], conf) if conf >= 0.5 else ("unknown", conf)Uma nota do mundo real sobre o modelo: em conjuntos de treinamento minúsculos a regularização padrão faz cada probabilidade ficar perto do acaso, então perguntas legítimas nunca passam do limite. Relaxar a regularização com C=10.0 (e aumentar max_iter para que ele converja) afia o modelo o suficiente para que paráfrases reais pontuem com confiança enquanto lixo ainda se abstém. Pressione Run para treinar em algumas perguntas de suporte rotuladas e observe as paráfrases serem classificadas enquanto o absurdo recua.
Escreva train_intent(texts, labels) usando TfidfVectorizer + LogisticRegression(random_state=0) (afrouxe com C=10.0 e aumente max_iter para que dados pequenos converjam), retornando qualquer bundle que classify precisar. Depois escreva classify(model, text) retornando (label, confidence): pegue a classe predict_proba do topo, abstenha-se para ("unknown", conf) abaixo de um limite de ~0.5 e abstenha-se imediatamente quando a linha transformada for toda zeros (X.nnz == 0) para que entrada fora da distribuição ou vazia não possa ser rotulada.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.