シラバス レッスン 250 中 247 · モデルの返答を扱う
モデルの返答を扱う

途中で切れた、断られた、範囲外

なぜ大切か ユーザーに文の半分や空の吹き出しを見せるサポートボットは、壊れているように見えます。どんな返答も、見せる前にそれがどんな種類の返答かを判断しましょう。

ここでのアプリは銀行のアシスタントで、システムプロンプトにはこうあります:口座とカードについての質問にだけ答え、それ以外には正確に OUT_OF_SCOPE と返答すること。返答は 5 つです:

  • ふつうの答え。
  • 頼まれたとおり正確な OUT_OF_SCOPE。
  • 同じ合図をゆるく書いたもの(改行付きの Out_of_scope.):モデルは「正確に返答する」にほとんどいつも従うので、ある程度の許容をもって照合します(大文字・小文字、空白、末尾のピリオドを無視する)。
  • トークンの上限で途中で切れた答え。
  • 拒否:stop_reason が "refusal" で、コンテンツは空、stop_details の辞書が理由を示していることがある。

種類ごとに違う画面が必要です:答えを見せる、「銀行のことしかお手伝いできません」と見せる、モデルに続きを頼むか上限を上げて再試行する、あるいは丁寧なお断りを見せる。

これらの返答について:これらは模擬です。どれもこのコースのために、Claude Messages API が返すのとまったく同じ形(コンテンツブロック、stop_reason、usage)で書かれ、どれも本物のモデルがすることを写しています。ライブのモデルを録音したものではないので、正確な言い回しは私たちのものですが、形と問題は、あなたのコードが出会う本物のものです。

あなたの番

"refused"(stop_reason が "refusal")、"cut_off"(stop_reason が "max_tokens")、"out_of_scope"(前後の空白と末尾の . を取り除いたテキストが、大文字・小文字を無視して OUT_OF_SCOPE に等しい)、"empty"(テキストがまったくない)、"answer" のいずれかを返す classify_reply(reply) を書いてください。この順番で確かめます。初期コードの REPLIES はそのままにしてください:チェックがそれを読みます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。