範囲外の拒否、引用、個人情報
アシスタントは検索も根拠づけもできます。でも顧客の前に立つ本物のサポートボットにはガードレールが必要で、これがデモを実際にデプロイするものに変えるレッスンです。3 つあり、採用担当者は 3 つすべてを探します:
- 範囲外の質問を拒否する。知識ベースのどれも質問に十分近くなければ、即興で答えないこと -- 拒否の番兵を返します。これは RAG でいちばん大切な安全のふるまいです。
- 出典を引用する。答えるときは、どの記事の id が答えを裏付けたかを言い、人が確かめられるようにします。
- 個人情報を伏せる。ユーザーのテキストを(ログ、チケット、プロンプトに)そのまま返すことがあるなら、先にメールアドレスと電話番号を取り除きます。
検索器をもう一度作り(レッスン 1 の TF-IDF を再利用します)、ガードレールの層を加えます:
answer_or_refuse(query, index) # refuse, or answer WITH citations
redact_pii(text) # mask emails and phone numbersanswer_or_refuse(query, index) はクエリを知識ベースと照らして採点します。いちばん高い類似度がしきい値を下回れば、質問は範囲外です -- 正確な番兵 I do not know. を返します。そうでなければ、使った出典の id を引用する、空でない答えの文字列を返します。採点プログラムは本物の答えについて 2 つのことを確かめます:番兵ではないこと、そして正しい記事の id を挙げていること(たとえばパスワードの質問の引用には 0 が含まれる)です。引用のきれいな書き方は末尾の (sources: [0]) ですが、id を含むどんな形でもかまいません。(この総仕上げでは "I do not know." と書きますが、RAG のモジュールでは "I don't know." を使いました。正確な言葉は関係ありません。大切なのは、プロンプトとコードが 1 つの決まった文字列について、1 文字ずつ一致していることです。)
しきい値の決め方:ストップワードを取り除けば、本当に話題外の質問(「what is the capital of France?」)はどの記事とも内容語を共有しないので、いちばん高いコサイン類似度は 0.0 です。話題内の質問は 0 よりずっと上のスコアを取ります。0.05 のような小さな正のしきい値で、両者をきれいに分けられます。
redact_pii(text) は、メールアドレスを [EMAIL] に、電話番号を [PHONE] に置き換え、それ以外はすべてそのままにします。正規表現 2 つでできます。メールアドレスはだいたい name@host.tld で、電話番号は、あいだに + - ( ) space(空白)が入っているかもしれない 7 桁以上の数字の連なりです。無害なテキスト -- 「30 days」のような短い数を含むもの -- は変わらずに戻ってこなければなりません。実行を押して、引用付きの話題内の答え、話題外の拒否、そして伏せられた個人情報を見てください。
TF-IDF の検索器を再利用し、それからガードレールを加えてください。answer_or_refuse(query, index) は、いちばん高い類似度が小さなしきい値を下回るときは正確な番兵 I do not know. を返し、そうでなければ使った出典の文書の id を引用する、空でない答えを返します。redact_pii(text) は、無害なテキスト(「30 days」のような短い数を含む)を変えずに、メールアドレスを [EMAIL] として、電話番号を [PHONE] として伏せます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。