区切り、グラウンディング、ハルシネーション対策
モデルがでっち上げるのを止めるいちばん効果的な方法はグラウンディングです:元になる資料を与え、はっきりした区切りで囲い、その資料だけから答えるよう指示し、答えがそこにないときのための明示的な逃げ道を用意します。これはあらゆる検索拡張システムの核心で、すべてプロンプトの組み立てです。
次のものを組み立てる grounded_prompt(question, context_chunks) を作ってください:
- 各チャンクに番号を振って囲った
CONTEXT:の節。[1] ...、[2] ...のように。 - 文脈のあとの質問。
- 文脈だけから答えるよう求め、逃げ道で終わる正確な指示:答えが文脈になければ、正確にこう答えること
I don't know. - モデルが応答すべきことがわかる、最後の開いたままの答えのターン。
それから確認関数を作ります。check_grounded(answer, context_chunks) は、答えが根拠に基づいているとき True を返します:ちょうど I don't know. の番兵であるか、または答えの中の重要な単語がすべてつなげた文脈に現れるときです。文脈が一度も触れていない作り出した単語を答えが含むときは False を返します。
ctx = ["The capital of France is Paris."]
check_grounded("The capital is Paris.", ctx) # True
check_grounded("I don't know.", ctx) # True (honest)
check_grounded("The capital is Berlin.", ctx) # False (invented)重要な単語を確かめるときは小さなストップワード(the、is、a、of...)を無視すれば、ふつうの言い回しは罰せられませんが、文脈に一度も現れない Berlin のような内容語は、正しく確認に落ちます。実行を押して採点します。
これが何を捕まえるかについては正直になりましょう:含まれているかどうかの確認は作り出したトークン(文脈が一度も触れていない単語)に印を付けますが、本物の文脈の単語を組み合わせ直した間違った主張は捕まえられません。「Refunds take France business days」は無意味なのにここでは通ってしまいます。どの単語も文脈にあるからです。本物の忠実性の確認には、単語が含まれているかだけでなく意味について推論する、LLM による判定か NLI(含意)モデルが必要です。
CONTEXT: の下でチャンクに番号を振って囲い、質問を加え、正確な逃げ道 I don't know. 付きで文脈だけからの答えを求め、開いたままの答えのターンで終える grounded_prompt(question, context_chunks) を書いてください。正確なレイアウトで、行は "\n" でつなげます:CONTEXT:、次にチャンクごとに [1] chunk text、[2] ... と書いた 1 行、空行、Question: ...、指示の行(I don't know. を含まなければなりません)、そして最後に開いたままの答えのターン [assistant] です。番兵なら True を、または答えの重要な(ストップワードでない)単語がすべてつなげた文脈にあるときに True を返し、そうでなければ False を返す check_grounded(answer, context_chunks) を書いてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。