LLM-as-Judge : Analyse de la grille + verdict
Exact-match et token-F1 échouent dès que les réponses deviennent ouvertes. "Summarize this ticket" a mille bonnes réponses et aucune chaîne de caractères unique. La solution de l'industrie est LLM-as-judge : tu demandes à un second modèle de lire la réponse par rapport à une rubric et de retourner un verdict. C'est exactement comment les équipes notent les chatbots, les réponses RAG et les transcriptions d'agents à grande échelle.
Voici la réalité de l'ingénierie, et ce qu'un responsable du recrutement cherche : le juge est un modèle de langage, donc sa réponse est du texte libre désordonné. Il pourrait dire VERDICT: PASS lors d'un passage et Final verdict - fail au suivant, parfois avec un paragraphe de raisonnement d'abord. La partie fragile de tout harnais de juge n'est pas le prompt, c'est le parser qui extrait un résultat propre et utilisable par machine de ce texte. Donc dans cette leçon le juge est mocked (pas de modèle en direct, pas de réseau) et tu construis les deux pièces déterministes autour : le prompt de rubrique et le verdict parser.
Construis le prompt de la grille. build_rubric(criteria) prend une liste de chaînes de critères et retourne une seule chaîne de prompt pour le juge. Il doit:
- contient le mot
Rubricpour que le juge connaisse la tâche, - liste chaque critère sur sa propre ligne, numérotée de 1 (
1. accuracy,2. clarity, ...), - et finis en disant au juge le contrat de sortie exact : une ligne
VERDICT: PASSouVERDICT: FAILet une ligneSCORE: <0-10>. (Tu es defining le format que ton propre parser lira.)
Construis le parser. parse_verdict(judge_text) scanne la réponse brute du juge et retourne {"verdict": "PASS" or "FAIL", "score": int}. Règles de robustesse que la sortie du vrai juge impose sur toi :
- Be case-insensitive:
pass,PASS, etPasssignifient tous PASS. - Seul un verdict étiqueté compte :
VERDICT: PASS,verdict = fail,verdict - pass. Un simple « pass » dans le raisonnement n'est pas une décision : « VERDICT: FAIL. The fix would make it pass. » est un FAIL, et « this does not pass » ne doit jamais compter comme PASS. Quand le juge écrit plusieurs verdicts étiquetés (il a changé d'avis), c'est le dernier qui l'emporte. Le score - A doit être un nombre entier de 0 à 10, la plage demandée par ta grille. Ignore tout ce qui est à l'extérieur ( "SCORE: 85" est le juge qui rompt le contrat, pas une bonne réponse). Parmi les scores valides, le dernier gagne.
- Retourne une safe default quand rien de valide n'est trouvé : verdict
"FAIL"et score0. Une réponse de juge impossible à analyser ne doit jamais compter silencieusement comme un succès.
Trouve les verdicts avec re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) et les scores avec re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I), garde les scores de 0 à 10, puis prends le dernier de chacun. Nous notons le parser et la rubrique uniquement; l'appel du juge en direct est de la prose dans cette leçon, jamais exécuté dans les tests. Appuie sur Run pour parser quelques réponses du juge.
Construis la moitié déterministe d'un harnais LLM-as-judge (le juge est mocké). Écris build_rubric(criteria) retournant une chaîne de prompt qui contient Rubric, numérote chaque critère à partir de 1 sur sa propre ligne, et énonce le contrat de sortie VERDICT: PASS/FAIL + SCORE: <0-10>. Écris parse_verdict(judge_text) (le score peut être écrit SCORE: 7, score=7 ou Score 7) retournant {"verdict": "PASS"|"FAIL", "score": int} : insensible à la casse, comptant uniquement les verdicts étiquetés (VERDICT: PASS, verdict = fail, verdict - pass) et uniquement les scores de 0 à 10, en prenant le DERNIER de chaque, et par défaut {"verdict": "FAIL", "score": 0} quand aucun n'est présent.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.