Lehrplan Lektion 183 von 250 · LLMs in Produktion: Kosten, Caching & Guardrails
LLMs in Produktion: Kosten, Caching & Guardrails

Ausgabeschutz und Trace-Aggregation

Die Antwort eines Modells ist unzuverlässig, bis du sie prüfst. Zwei Ausgabewächter decken die meisten Bedürfnisse ab. Ein Wächter mit Erlaubnisliste besteht darauf, dass die Ausgabe genau eines aus einer bekannten Menge ist, und so machst du einen Klassifikator zuverlässig: Soll das Modell positive, negative oder neutral antworten, wird alles andere abgelehnt. Ein Wächter mit Sperrliste markiert jede Ausgabe, die einen verbotenen Begriff enthält (ein geleaktes Geheimnis, eine Beleidigung, den Namen eines Konkurrenten), egal welcher Text drumherum steht.

Produktionssysteme brauchen außerdem Nachverfolgbarkeit: Jeder Aufruf wird mit Eingabe, Ausgabe, Tokenzahl, Latenz und Kosten festgehalten, damit du hinterher beantworten kannst "was hat das gekostet und wie langsam war es?". Du fasst diese Einträge zu einer Übersicht zusammen: Gesamtkosten und Latenz-Perzentile. Die p95-Latenz (der Wert, unter dem 95% der Aufrufe lagen) ist die Zahl, auf die Bereitschaftsingenieure wirklich schauen, weil Durchschnitte das langsame Ende verstecken.

import numpy as np
p95 = np.percentile(latencies, 95)   # the slow-tail number, not the mean

Baue vier Funktionen. (1) validate_output(text, allowed_labels) -> True nur, wenn text.strip() in allowed_labels ist. (2) contains_banned(text, banned) -> True, wenn irgendein verbotener Begriff in text vorkommt, ohne Rücksicht auf Groß- und Kleinschreibung. (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> ein Dict mit genau diesen fünf Schlüsseln. (4) aggregate_traces(traces) -> baue aus den Trace-Dicts einen pandas.DataFrame und gib ein Dict mit n, total_cost (auf 6 Nachkommastellen gerundet), p50_latency und p95_latency zurück, berechnet mit numpy.percentile.

Du bist dran

Erstelle validate_output(text, allowed_labels) (True nur wenn text.strip() ein erlaubtes Label ist), contains_banned(text, banned) (True wenn ein verbotener Begriff erscheint, unabhängig von Groß- und Kleinschreibung), build_trace(input_text, output_text, tokens, latency_ms, cost) (ein Dictionary mit diesen fünf Schlüsseln) und aggregate_traces(traces) (ein pandas DataFrame zusammengefasst zu {n, total_cost (round 6dp), p50_latency, p95_latency} über numpy.percentile). Ein erlaubtes Label muss passieren während ein nicht erlaubtes blockiert, und zwei verschiedene verbotene Listen müssen unterschiedliche Urteile liefern.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.