Lehrplan Lektion 216 von 250 · Projekt: Customer Support Copilot
Projekt: Customer Support Copilot

Bewerte den Assistenten (P@k + Answer Accuracy + Gate)

Dies ist die Lektion, die die zweite Hälfte deiner Zeile im Lebenslauf verdient: und evaluiert. Jeder kann eine RAG Demo aufbauen. Was einen Junior von jemandem unterscheidet, den du einstellen würdest, um einen Produktionsassistenten zu leiten, ist die Fähigkeit, zu messen und eine schlechte Änderung zu verhindern, dass sie veröffentlicht wird. Du wirst das Evaluation Harness und das Regression Gate bauen.

Du bewertest gegen ein gold set: eine kleine beschriftete Liste, wo jeder Fall eine Abfrage, die IDs der relevanten Artikel und den erwarteten Antworttext hat. Zwei Familien von Metriken:

  • Retrieval-Qualität -- precision_at_k: Von den top-k IDs, die dein Retriever zurückgegeben hat, welcher Anteil ist relevant. Das zeigt dir, ob der Bot überhaupt die richtigen Artikel ansieht.
  • Antwortqualität -- Genauigkeit der erzeugten Antwort gegenüber dem erwarteten Text, in zwei Modi: contains (das erwartete Snippet erscheint in der Antwort, ohne Berücksichtigung der Groß-/Kleinschreibung) und exact (eine gekürzte exakte Übereinstimmung). contains ist die nachsichtige, realistische Variante für Freitextantworten.

Baue diese:

precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config)            # -> a metrics dict over the whole gold set
regression_gate(old, new)   # -> True if safe to ship, False if it regressed

precision_at_k: Anteil der ersten k abgerufenen ids, die im relevanten Satz sind; 0.0 für eine leere Abfrage. answer_accuracy: 1.0 oder 0.0 für eine Vorhersage, unter Beachtung des Modus.

evaluate(config) bringt alles zusammen. Das config dict trägt die gold list, eine retriever function (query -> ranked ids), eine answerer function (query -> text) und die Einstellungen k und mode. Führe jeden gold case aus und gib ein dict mit mindestens n (scored cases), precision_at_k (Mittelwert über cases, auf 4 Stellen gerundet) und answer_accuracy (Mittelwert, auf 4 Stellen gerundet) zurück. Ein empty gold set darf nicht abstürzen -- gib Nullen zurück.

regression_gate(old, new) ist der CI-Schutz, den du in einen Pull Request einbaust: gib True nur zurück, wenn der neue Durchlauf bei der geschützten Metrik (answer_accuracy standardmäßig) nicht schlechter wurde. Gleich oder besser ist okay, ein Abfall gibt False zurück. Das ist die Sache, die im echten Leben verhindert, dass ein Prompt-Tweak die Qualität leise ruiniert. Drücke Run, um einen perfekten Bot und einen kaputten Bot zu bewerten und beobachte, wie das Gate die Regression stoppt.

Du bist dran

Baue das Evaluierungsgerüst über einen gelabelten Gold-Satz. precision_at_k(retrieved, relevant, k) für Retrieval und answer_accuracy(predicted, expected, mode) (contains / exact) für Antworten. evaluate(config) führt den Gold-Satz aus (mit retriever und answerer Funktionen, k, mode) und gibt ein metrics dict der Mittelwerte (n, precision_at_k, answer_accuracy) zurück, leeresicher. regression_gate(old, new) gibt True nur zurück, wenn die Genauigkeit der Antwort nicht gesunken ist.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.