シラバス レッスン 250 中 215 · プロジェクト:顧客サポートのコパイロット
プロジェクト:顧客サポートのコパイロット

範囲外の拒否、引用、個人情報

アシスタントは検索も根拠づけもできます。でも顧客の前に立つ本物のサポートボットにはガードレールが必要で、これがデモを実際にデプロイするものに変えるレッスンです。3 つあり、採用担当者は 3 つすべてを探します:

  • 範囲外の質問を拒否する。知識ベースのどれも質問に十分近くなければ、即興で答えないこと -- 拒否の番兵を返します。これは RAG でいちばん大切な安全のふるまいです。
  • 出典を引用する。答えるときは、どの記事の id が答えを裏付けたかを言い、人が確かめられるようにします。
  • 個人情報を伏せる。ユーザーのテキストを(ログ、チケット、プロンプトに)そのまま返すことがあるなら、先にメールアドレスと電話番号を取り除きます。

検索器をもう一度作り(レッスン 1 の TF-IDF を再利用します)、ガードレールの層を加えます:

answer_or_refuse(query, index)   # refuse, or answer WITH citations
redact_pii(text)                 # mask emails and phone numbers

answer_or_refuse(query, index) はクエリを知識ベースと照らして採点します。いちばん高い類似度がしきい値を下回れば、質問は範囲外です -- 正確な番兵 I do not know. を返します。そうでなければ、使った出典の id を引用する、空でない答えの文字列を返します。採点プログラムは本物の答えについて 2 つのことを確かめます:番兵ではないこと、そして正しい記事の id を挙げていること(たとえばパスワードの質問の引用には 0 が含まれる)です。引用のきれいな書き方は末尾の (sources: [0]) ですが、id を含むどんな形でもかまいません。(この総仕上げでは "I do not know." と書きますが、RAG のモジュールでは "I don't know." を使いました。正確な言葉は関係ありません。大切なのは、プロンプトとコードが 1 つの決まった文字列について、1 文字ずつ一致していることです。)

しきい値の決め方:ストップワードを取り除けば、本当に話題外の質問(「what is the capital of France?」)はどの記事とも内容語を共有しないので、いちばん高いコサイン類似度は 0.0 です。話題内の質問は 0 よりずっと上のスコアを取ります。0.05 のような小さな正のしきい値で、両者をきれいに分けられます。

redact_pii(text) は、メールアドレスを [EMAIL] に、電話番号を [PHONE] に置き換え、それ以外はすべてそのままにします。正規表現 2 つでできます。メールアドレスはだいたい name@host.tld で、電話番号は、あいだに + - ( ) space(空白)が入っているかもしれない 7 桁以上の数字の連なりです。無害なテキスト -- 「30 days」のような短い数を含むもの -- は変わらずに戻ってこなければなりません。実行を押して、引用付きの話題内の答え、話題外の拒否、そして伏せられた個人情報を見てください。

あなたの番

TF-IDF の検索器を再利用し、それからガードレールを加えてください。answer_or_refuse(query, index) は、いちばん高い類似度が小さなしきい値を下回るときは正確な番兵 I do not know. を返し、そうでなければ使った出典の文書の id を引用する、空でない答えを返します。redact_pii(text) は、無害なテキスト(「30 days」のような短い数を含む)を変えずに、メールアドレスを [EMAIL] として、電話番号を [PHONE] として伏せます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。