Programme Leçon 183 sur 250 · Mettre les LLM en production : coût, cache et garde-fous
Mettre les LLM en production : coût, cache et garde-fous

Contrôles de sortie et agrégation des traces

La réponse d'un modèle n'est pas fiable tant que tu ne l'as pas vérifiée. Deux contrôles de sortie couvrent la plupart des besoins. Un contrôle par liste autorisée exige que la sortie soit exactement un élément d'un ensemble connu, c'est comme ça qu'on rend un classifieur fiable : si le modèle doit répondre positive, negative ou neutral, tout le reste est refusé. Un contrôle par liste interdite signale toute sortie contenant un terme banni (un secret qui a fuité, une insulte, le nom d'un concurrent), quel que soit le texte autour.

Les systèmes de production ont aussi besoin de traçabilité : chaque appel enregistré avec son entrée, sa sortie, son nombre de tokens, sa latence et son coût, pour pouvoir répondre après coup à « combien ça a coûté et à quel point c'était lent ? ». Tu agrèges ces enregistrements en un résumé : coût total, et centiles de latence. La latence p95 (la valeur sous laquelle arrivent 95% des appels) est le chiffre que surveillent vraiment les ingénieurs d'astreinte, car les moyennes cachent la queue lente.

import numpy as np
p95 = np.percentile(latencies, 95)   # the slow-tail number, not the mean

Construis quatre fonctions. (1) validate_output(text, allowed_labels) -> True seulement si text.strip() est dans allowed_labels. (2) contains_banned(text, banned) -> True si un terme banni apparaît dans text, sans tenir compte de la casse. (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> un dict avec exactement ces cinq clés. (4) aggregate_traces(traces) -> construis un pandas.DataFrame à partir des dicts de traces et renvoie un dict avec n, total_cost (arrondi à 6 décimales), p50_latency et p95_latency calculés avec numpy.percentile.

À ton tour

Construis validate_output(text, allowed_labels) (True seulement quand text.strip() est une étiquette autorisée), contains_banned(text, banned) (True quand un terme banni apparaît, sans tenir compte de la casse), build_trace(input_text, output_text, tokens, latency_ms, cost) (un dict avec ces cinq clés), et aggregate_traces(traces) (un DataFrame pandas résumé en {n, total_cost (round 6dp), p50_latency, p95_latency} via numpy.percentile). Une étiquette autorisée doit passer et une non autorisée doit bloquer, et deux listes interdites différentes doivent donner des verdicts différents.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.