シラバス レッスン 250 中 129 · AI エンジニアのためのプロンプトエンジニアリング
AI エンジニアのためのプロンプトエンジニアリング

自己一貫性:サンプリングし、解析し、投票する

モデルのサンプル 1 つは、運悪く間違うことがあります。自己一貫性(self-consistency)は、同じ質問についていくつものサンプルを取り、それぞれから答えを解析し、投票させます。多数決の答えは、たいていどの 1 回の実行よりも信頼できます。サンプリングはモデルの仕事、解析と投票はあなたの仕事で、完全に決定的です。

関数を 2 つ作ってください:

  • extract_answer(text) は、テキストの中で最後に出てくる整数(推論のあとのモデルの最終的な数)を返し、整数がなければ None を返します。整数は文字列に対する正規表現で見つけます。
  • self_consistency(samples) はサンプルの文字列のリストを受け取り、それぞれから答えを取り出し、None に解析されたものを落とし、Counter で多数決の値を返します。結果が決定的になるように、同点はいちばん小さい値のほうへ崩します。

たとえば、[4, 4, 5] に解析されるサンプルなら、投票は 4 を返します。[3, 5](1 対 1 の同点)なら、小さいほうの 3 を返します。解析できないサンプルはただ無視されます:

self_consistency(["... so 4", "answer 4", "I think 5"])  # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"])     # 9

決定的な同点崩しが大切です:同点の投票で実行のたびに違う勝者を返す評価は、テストもできず出荷もできません。実行を押して採点します。

あなたの番

テキストの中の最後の整数(先頭のマイナス記号も扱う)を返し、なければ None を返す extract_answer(text) を書いてください。各サンプルから答えを取り出し、None の結果を落とし、Counter で多数決の値を返す self_consistency(samples) を書いてください。同点はいちばん小さい値のほうへ崩します。解析できる答えが 1 つもなければ None を返します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。