Seuil de confiance et abstention
Un classifieur renvoie toujours une réponse, même quand il n'en a aucune idée. Le softmax doit faire 1 au total, donc un modèle vraiment perdu te donne quand même une étiquette en tête -> juste avec une faible probabilité derrière. En production, c'est dangereux : mal router un client en silence est pire qu'admettre qu'on n'est pas sûr.
La solution est un seuil de confiance avec une option d'abstention. Tu regardes la probabilité de l'étiquette en tête ; si elle passe la barre, tu agis, sinon tu renvoies un verdict spécial "abstain" qui passe la demande à un humain (ou l'escalade vers un modèle plus cher). C'est la barrière de passage à un humain que tout système LLM sérieux possède.
probs = [0.80, 0.12, 0.08] # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"
probs = [0.40, 0.35, 0.25] # model is unsure
# top prob 0.40 < 0.6 -> return "abstain"Le seuil est un bouton que tu règles à partir des données : monte-le et tu t'abstiens plus souvent (plus sûr, plus de travail humain) ; baisse-le et tu agis plus souvent (moins cher, plus risqué). La limite elle-même compte -> décide si une probabilité exactement égale au seuil compte comme confiante. Ici on utilise >= threshold veut dire confiant (la valeur limite passe).
D'où viennent les probabilités ? En général de model.predict_proba(...) du classifieur construit plus tôt, ou des scores cosinus par prototype normalisés en distribution. Dans les deux cas, la logique de barrière est la même petite fonction, pure et déterministe -> exactement le genre de garde-fou que tu peux tester unitairement.
Construis une fonction. classify_with_threshold(probs, labels, threshold) : trouve l'étiquette à la plus haute probabilité ; si cette probabilité est >= threshold, renvoie l'étiquette, sinon renvoie la chaîne "abstain". probs et labels sont des listes alignées. Appuie sur Run pour voir un cas confiant passer et un cas incertain s'abstenir.
Écris classify_with_threshold(probs, labels, threshold) où probs et labels sont des listes alignées. Renvoie l'étiquette dont la probabilité est la plus haute, mais seulement si cette probabilité est >= threshold ; sinon renvoie la chaîne "abstain". Considère une probabilité exactement égale au seuil comme confiante.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.