Lehrplan Lektion 133 von 250 · Prompt Engineering für KI Ingenieure
Prompt Engineering für KI Ingenieure

Trennzeichen, Grounding & Anti-Halluzination

Der effektivste Weg, um zu verhindern, dass ein Modell Dinge erfindet, ist grounding: gib ihm das Quellmaterial, umschließe es mit klaren Delimitern und instruiere es, only aus diesem Material zu antworten, mit einer expliziten Ausstiegsoption, wenn die Antwort nicht enthalten ist. Dies ist der Kern jedes retrieval-augmented Systems und es ist alles Prompt-Konstruktion.

Baue grounded_prompt(question, context_chunks), das zusammenfügt:

  • A CONTEXT: Abschnitt mit jedem Teil nummeriert und abgegrenzt, wie [1] ..., [2] ....
  • Die Frage nach dem Kontext.
  • Eine exakte Anweisung, nur aus dem Kontext zu antworten, endend mit dem Escape Hatch: wenn die Antwort nicht im Kontext ist, antworte exakt I don't know.
  • A schließende offene Antwortwende, damit das Modell weiß, dass es antworten soll.

Erstelle dann den Checker. check_grounded(answer, context_chunks) gibt True zurück, wenn die Antwort fundiert ist: Entweder ist sie exakt das I don't know. Sentinel, ODER jedes bedeutende Wort in der Antwort erscheint im zusammengefügten Kontext. Er gibt False zurück, wenn die Antwort erfundene Wörter enthält, die der Kontext nie erwähnt hat.

ctx = ["The capital of France is Paris."]
check_grounded("The capital is Paris.", ctx)            # True
check_grounded("I don't know.", ctx)                    # True (honest)
check_grounded("The capital is Berlin.", ctx)           # False (invented)

Ignoriere kleine Stopwörter (the, is, a, of...) beim Prüfen wichtiger Wörter, damit normale Formulierungen nicht bestraft werden, aber ein Inhaltswort wie Berlin, das nie im Kontext erscheint, die Prüfung korrekt nicht besteht. Drücke Run zum Bewerten.

Sei ehrlich darüber, was dies erkennt: containment flags invented tokens (Wörter, die der Kontext nie erwähnt hat), aber es kann eine falsche Behauptung, die aus echten Kontextwörtern neu kombiniert wurde, nicht erkennen. "Refunds take France business days" würde hier bestehen, obwohl es Unsinn ist, weil jedes Wort im Kontext enthalten ist. Echte Treueprüfung benötigt einen LLM-judge oder ein NLI (entailment) Modell, das über die Bedeutung nachdenkt, nicht nur über die Wortzugehörigkeit.

Du bist dran

Schreibe grounded_prompt(question, context_chunks) dass Zahlen und grenzt die Stücke unter CONTEXT: ab, fügt die Frage hinzu, verlangt eine Antwort nur aus dem Kontext mit dem exakten Escape Hatch I don't know., und endet auf einem offenen Antwortturn. Exaktes Layout, Zeilen verbunden mit "\n": CONTEXT:, dann eine Zeile pro Stück geschrieben als [1] chunk text, [2] ..., eine Leerzeile, Question: ..., die Instruktionszeile (sie muss I don't know. enthalten), und schließlich der offene Antwortturn [assistant]. Schreibe check_grounded(answer, context_chunks) gibt True zurück für den Sentinel ODER wenn jedes signifikante (kein Stopword) Antwortwort im verbundenen Kontext ist, sonst False.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.