シラバス レッスン 250 中 216 · プロジェクト:顧客サポートのコパイロット
プロジェクト:顧客サポートのコパイロット

アシスタントを評価する(P@k + 答えの正解率 + 関門)

これは、履歴書の一行の後半、そして評価したを勝ち取るレッスンです。RAG のデモをつなぐことは誰にでもできます。新人と、本番のアシスタントを任せたい人を分けるのは、それを測り、悪い変更が出荷されるのを止める能力です。評価の道具立てと、後退を防ぐ関門を作ります。

正解の組と照らして評価します:各ケースがクエリ、関連する記事の id、期待される答えのテキストを持つ、小さなラベル付きのリストです。指標は 2 つの系統です:

  • 検索の品質 -- precision_at_k:検索器が返した上位 k 件の id のうち、関連しているものの割合。ボットがそもそも正しい記事を見ているかどうかを教えてくれます。
  • 答えの品質 -- 期待されるテキストに対する生成した答えの正解率で、2 つのモードがあります:contains(期待される断片が、大文字・小文字を区別せずに答えに現れる)と exact(前後の空白を取り除いた完全一致)。自由なテキストの答えには、寛容で現実的な contains が向いています。

次のものを作ってください:

precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config)            # -> a metrics dict over the whole gold set
regression_gate(old, new)   # -> True if safe to ship, False if it regressed

precision_at_k:検索した最初の k 個の id のうち、関連する組に入っているものの割合。検索結果が空なら 0.0。answer_accuracy:1 つの予測について、モードに従って 1.0 か 0.0。

evaluate(config) はそれをまとめます。config の辞書は、gold のリスト、retriever 関数(クエリ -> 順位付きの id)、answerer 関数(クエリ -> テキスト)、そして設定の k と mode を運びます。すべての正解のケースを実行し、少なくとも n(採点したケース)、precision_at_k(ケース全体の平均を小数点以下 4 桁に丸めたもの)、answer_accuracy(平均を 4 桁に丸めたもの)を持つ辞書を返します。空の正解の組でクラッシュしてはいけません -- 0 を返します。

regression_gate(old, new) は、プルリクエストにつなぐ CI の守りです:関門にかける指標(既定は answer_accuracy)で新しい実行が悪くなっていないときだけ True を返します -- 同じかより良ければかまわず、下がれば False を返します。これこそ、現実の世界で、プロンプトの手直しが品質をこっそり沈めるのを止めるものです。実行を押して、完璧なボットと壊れたボットを採点し、関門が後退を止める様子を見てください。

あなたの番

ラベル付きの正解の組に対する評価の道具立てを作ってください。検索のための precision_at_k(retrieved, relevant, k) と、答えのための answer_accuracy(predicted, expected, mode)(contains / exact)です。evaluate(config) は(retriever と answerer 関数、k、mode を使って)正解の組を実行し、平均の指標の辞書(n、precision_at_k、answer_accuracy)を返し、空でも安全です。regression_gate(old, new) は、答えの正解率が下がっていないときだけ True を返します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。