LLM-as-judge (construire la grille + lire le verdict)
L'exact-match, le F1 et ROUGE ont tous besoin d'une réponse de référence pour comparer. Mais pour les sorties ouvertes, "cette explication était-elle claire ?", "le ton était-il professionnel ?", il n'existe pas une seule bonne chaîne. La réponse à grande échelle adoptée par le secteur est le LLM-as-judge : tu donnes à un second modèle la réponse plus une grille (rubric) et tu lui demandes de noter chaque critère. Sur une grille bien définie, il atteint souvent 80-90% d'accord avec des évaluateurs humains, mais ça varie beaucoup selon la tâche et peut chuter fortement sur des cas subtils ou piégés, donc prends tout chiffre comme propre à la tâche plutôt que comme une loi. Malgré tout, il est en général assez constant pour tourner chaque nuit sur des milliers de sorties, tant que tu le vérifies de temps en temps face à des étiquettes humaines.
Voici la partie honnête, et la raison pour laquelle cette leçon peut être notée. La notation réelle du juge est un appel au modèle, et les appels au modèle ne sont pas déterministes, donc on ne les note jamais. Ce que tu construis, et ce sur quoi tu es noté, c'est l'échafaudage déterministe autour de l'appel : construire le prompt du juge et lire le verdict en retour. En production, l'étape du milieu est un vrai appel :
# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)Le WebLLM sur l'appareil de ce cours peut jouer le juge en direct dans le navigateur, mais les tests n'en dépendent jamais. Ils vérifient le prompt que tu construis et le parseur que tu écris.
Le prompt doit cadrer le juge : donner le rôle, lister les critères de la grille numérotés, montrer la réponse, et exiger un verdict lisible par la machine pour que tu puisses l'analyser. L'astuce standard est d'imposer une ligne par critère dans une forme fixe, ici score: N/5 :
You are a strict grader. Score the answer against the rubric.
RUBRIC:
1. Is it factually correct?
2. Is it concise?
ANSWER:
<the answer text>
For each rubric item, reply on its own line as 'score: N/5'.L'analyse devient alors un balayage par regex de chaque ligne score: N/5 (sans tenir compte de la casse), pour en extraire les entiers. L'agrégation transforme une liste de scores en moyenne et en taux de réussite : la part des scores au niveau d'un seuil ou au-dessus. C'est sur le taux de réussite que tu déclenches une alerte ; une seule mauvaise réponse dans un lot, c'est du bruit, un taux de réussite qui glisse, c'est une régression.
À construire.
build_judge_prompt(answer, rubric)-> une chaîne de prompt qui contient chaque critère numéroté, la réponse et une consignescore: N/5.parse_judge_scores(text)-> la liste des entiers de chaque lignescore: N/5, dans l'ordre, sans tenir compte de la casse.aggregate(scores, threshold=3)->{"mean", "pass_rate"}(les deux arrondis à 4 décimales avecround) ; une liste vide renvoie des zéros.
Appuie sur Run pour construire un prompt de juge, lire un verdict d'exemple et agréger.
Écris build_judge_prompt(answer, rubric) qui renvoie une chaîne de prompt contenant chaque critère numéroté, le texte de la réponse et une consigne pour répondre score: N/5 par critère. Écris parse_judge_scores(text) qui renvoie la liste des entiers de chaque ligne score: N/5 dans l'ordre (sans tenir compte de la casse). Écris aggregate(scores, threshold=3) qui renvoie {'mean', 'pass_rate'} arrondis à 4 décimales, où pass_rate est la part des scores >= threshold et où une liste vide renvoie des zéros.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.