Limiar de Confiança e Abstenção
A sempre retorna uma resposta, mesmo quando não tem ideia. Softmax tem que somar 1, então um modelo genuinamente confuso ainda te entrega um rótulo principal -> apenas com uma probabilidade baixa por trás. Em produção isso é perigoso: rotear um cliente errado silenciosamente é pior do que admitir que você não tem certeza.
A correção é um confidence threshold com uma opção de abstain. Você olha a probabilidade do label do topo; se ele passar da barra você age sobre ele, e se não, você retorna um "abstain" verdict especial que passa a solicitação para um humano (ou escala para um modelo mais caro). Esta é a porta de entrega humana que todo sistema sério de LLM tem.
probs = [0.80, 0.12, 0.08] # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"
probs = [0.40, 0.35, 0.25] # model is unsure
# top prob 0.40 < 0.6 -> return "abstain"O limite é um botão que você ajusta com dados: aumente ele e você se abstém mais vezes (mais seguro, trabalho mais humano); diminua ele e você age mais vezes (mais barato, mais arriscado). A própria fronteira importa -> decida se uma probabilidade exatamente igual ao limite conta como confiante. Aqui usamos >= threshold significa confiante (o valor da fronteira passa).
De onde vêm as probabilidades? Geralmente model.predict_proba(...) do classifier que você construiu antes, ou dos cosine scores por protótipo normalizados em uma distribuição. De qualquer forma, a lógica de gating é a mesma função pequena, e ela é pura e determinística -> exatamente o tipo de guardrail que você pode testar com unit-test.
Construa uma function. classify_with_threshold(probs, labels, threshold): encontre o label com a maior probabilidade; se essa probabilidade for >= threshold retorne o label, caso contrário retorne a string "abstain". probs e labels são listas alinhadas. Pressione Run para ver um caso confiante passar e um incerto se abster.
Escreva classify_with_threshold(probs, labels, threshold) onde probs e labels são listas alinhadas. Retorne o rótulo cuja probabilidade é a mais alta, mas apenas se essa probabilidade for >= threshold; caso contrário, retorne a string "abstain". Trate uma probabilidade exatamente igual ao limite como confiável.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.