Programma Les 133 van 250 · Prompt Engineering voor AI Engineers
Prompt Engineering voor AI Engineers

Delimiters, Grounding & Anti-Hallucination

De meest effectieve manier om een model te stoppen met dingen verzinnen is grounding: geef het bronmateriaal, zet het af met duidelijke delimiters en instrueer het om only uit dat materiaal te beantwoorden, met een expliciete uitweg wanneer het antwoord niet aanwezig is. Dit is de kern van elk retrieval-augmented systeem, en het is allemaal prompt constructie.

Bouw grounded_prompt(question, context_chunks) dat assembleert:

  • A CONTEXT: sectie met elk blok genummerd en omheind, zoals [1] ..., [2] ....
  • De vraag na de context.
  • Een exacte instructie om alleen uit de context te antwoorden, eindigend met de ontsnappingsroute: als het antwoord niet in de context staat, antwoord dan exact I don't know.
  • A achtergrond open antwoord beurt zodat het model weet dat het moet reageren.

Bouw dan de checker. check_grounded(answer, context_chunks) geeft True terug wanneer het antwoord is grounded: het is dan precies de I don't know. sentinel, OF elk belangrijk woord in het antwoord komt voor in de samengevoegde context. Het geeft False terug wanneer het antwoord woorden bevat die de context nooit noemde.

ctx = ["The capital of France is Paris."]
check_grounded("The capital is Paris.", ctx)            # True
check_grounded("I don't know.", ctx)                    # True (honest)
check_grounded("The capital is Berlin.", ctx)           # False (invented)

Negeer kleine stopwords (the, is, a, of...) bij het controleren van belangrijke woorden, zodat normale zinsbouw niet wordt bestraft, maar een inhoudswoord zoals Berlin dat nooit in de context voorkomt correct de check faalt. Druk Run in om te beoordelen.

Wees eerlijk over wat dit detecteert: containment flags invented tokens (woorden die de context nooit noemde), maar het kan een valse bewering die is samengesteld uit echte contextwoorden niet detecteren. "Refunds take France business days" zou hier passeren ook al is het onzin, omdat elk woord in de context staat. Echte faithfulness checking heeft een LLM-judge of een NLI (entailment) model nodig dat redeneert over betekenis, niet alleen over woordlidmaatschap.

Jij bent aan de beurt

Schrijf grounded_prompt(question, context_chunks) dat nummers en de stukken onder CONTEXT: afbakent, voegt de vraag toe, eist een antwoord alleen uit de context met de exacte escape hatch I don't know., en eindigt op een open antwoord beurt. Exacte lay-out, regels verbonden met "\n": CONTEXT:, dan één regel per stuk geschreven als [1] chunk text, [2] ..., een lege regel, Question: ..., de instructieregel (het moet I don't know. bevatten), en tenslotte de open antwoord beurt [assistant]. Schrijf check_grounded(answer, context_chunks) die True retourneert voor de sentinel OF wanneer elk belangrijk (geen stopwoord) antwoordwoord in de verbonden context staat, anders False.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.