Lehrplan Lektion 166 von 250 · LLM-Evals & Testen
LLM-Evals & Testen

Assertions-basierte Evals (exakter Abgleich & enthält)

Du hast den Prompt geändert und das Ergebnis "fühlt sich besser an." Dieses Gefühl ist kein Ergebnis. Die Aufgabe einer Eval ist es, es durch eine Zahl zu ersetzen, die du in einen Pull Request schreiben kannst: dieser Prompt erzielt 0.86 im Gold-Set, der alte erzielte 0.74. Bevor du nach etwas Besonderem greifst, ist die Arbeitstier-Eval die günstigste: nimm einen gelabelten Satz von Inputs mit bekannten korrekten Antworten, lass dein System laufen und zähle, wie viele es richtig hatte.

Der Haken ist die Entscheidung, was „richtig“ bedeutet. Ein LLM gibt fast nie den Gold-String Byte für Byte zurück. Es fügt einen Punkt hinzu, schreibt ein Wort groß oder bettet die Antwort in einen Satz ein. Also wählst du einen match mode:

  • exact -> die Vorhersage entspricht der versiegelten Antwort, nachdem du sie normalisierst (Kleinschreibung, Leerzeichen entfernen). Nutze dies für kurze, geschlossene Antworten: ein Label, ein Ja/Nein, eine Stadt.
  • enthält -> die goldene Antwort erscheint irgendwo innerhalb der Vorhersage. Nutze dies, wenn das Modell gesprächig sein darf: "Die Hauptstadt ist Paris." sollte immer noch als korrekt für das goldene paris.
  • zählen.

Normalisierung ist wichtig. Ohne sie werden "Paris" und "paris" als Fehler gewertet und deine eval lügt dich an. Hier ist die Form eines Vergleichs:

def score_one(pred, gold, mode):
    p = pred.strip().lower()
    g = gold.strip().lower()
    if mode == "exact":
        return 1.0 if p == g else 0.0
    if mode == "contains":
        return 1.0 if g in p else 0.0
    raise ValueError("unknown mode: " + mode)

Die Genauigkeit ist dann einfach der Mittelwert dieser Werte pro Beispiel. In einem echten Harness kommen die predictions aus einem Live-Modellaufruf; hier wirst du auf die Scoring-Mathematik geprüft, welcher der Teil ist, der exakt richtig sein muss. Zwei weitere Prüfungen befinden sich in jedem sicherheitsbewussten Harness: eine allow-list (jeder Output muss eines aus einer festen Menge von Labels sein) und ein forbidden-pattern Scan (kein Output darf eine verbotene Phrase wie „as an AI“ enthalten).

Was zu bauen ist.

  • evaluate(predictions, gold, mode) -> der mittlere exact-or-contains Score über zwei parallele Listen, round auf 4 Stellen gerundet. Eine leere Liste gibt 0.0 zurück, niemals einen Absturz. Wirf ValueError bei einem unbekannten Modus.
  • label_in_set(outputs, allowed) -> {"passed", "failed"} zählt, wie viele gestrippte Ausgaben im allowed Set sind.
  • has_forbidden(text, patterns) -> True wenn ein regex in patterns in text.
  • gefunden wird

Drücke Run, um ein Gold-Set unter beiden Modi zu erzielen.

Du bist dran

Schreibe evaluate(predictions, gold, mode) und gib den mittleren Score über zwei parallele Listen zurück, wobei mode entweder 'exact' (normalisierte Gleichheit) oder 'contains' (gold erscheint innerhalb der Vorhersage) ist; normalisiere mit strip().lower(), round die accuracy auf 4 Stellen, gib 0.0 bei einer leeren Menge zurück und wirf ValueError bei einem unbekannten Modus. Schreibe auch label_in_set(outputs, allowed) -> {'passed', 'failed'} um die bereinigten Ausgaben gegen den allowed Satz zu zählen, und has_forbidden(text, patterns) -> True falls ein regex-Muster in text gefunden wird, wobei die Großschreibung ignoriert wird (so dass as an ai auch "As an AI" erfasst).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.