範囲外を拒否するガードレール
いつも答える RAG のシステムは危険です。サポートボットに「東京の天気は?」と尋ね、それでも答えてしまうなら、それはもうあなたの文書に根拠づけられておらず、当て推量をしています。直し方は拒否のガードレールです:プロンプトを組み立てる前に、検索したチャンクが実際にどれくらい質問に合っているかを見ます。いちばん良い一致が弱ければ、文書はたぶんその質問を扱っていないので、正しい一手はハルシネーションを起こすのではなく、拒否して引き継ぐことです。
すでにある合図は、検索のいちばん高い類似度です。しきい値を選びます。検索したチャンクのうちいちばんスコアの高いものがそれを下回れば、拒否します。これは検索と生成のあいだに置かれる 1 つの安い確認で、本番の RAG システムでいちばん価値の高い部品の 1 つです:「わかりません」と、自信たっぷりの間違った答えの違いなのです。
contexts = [
{"text": "Refunds take five business days...", "score": 0.62},
{"text": "Shipping takes 5 to 7 days...", "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3) # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7) # -> True, top 0.62 below 0.7作るもの。contexts がそれぞれ数値の "score"(検索の類似度)を運ぶ辞書のリストである should_refuse(query, contexts, threshold) を書いてください。次を返します:
contextsが空ならTrue(何も検索されていない -> 根拠にするものがない)。- 文脈の中でいちばん高いスコアが
thresholdを厳密に下回ればTrue。 - それ以外は
False(少なくとも 1 つのチャンクが基準を超えている)。
境界は意図したものです:しきい値とちょうど同じスコアは答えるのに十分です(拒否には厳密な「より小さい」を使います)。query が渡されるのは本物のシステムがほかの合図でも拒否することがあるからですが、ここでは判断はスコアにかかっています。実行を押して、範囲内の質問と範囲外の質問が違う判定を受ける様子を見てください。
contexts が空のとき、または文脈の辞書全体での "score" の最大値が threshold より厳密に小さいときは True を、そうでなければ False を返す should_refuse(query, contexts, threshold) を書いてください。しきい値とちょうど同じスコアでは拒否してはいけません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。