自己一貫性:サンプリングし、解析し、投票する
モデルのサンプル 1 つは、運悪く間違うことがあります。自己一貫性(self-consistency)は、同じ質問についていくつものサンプルを取り、それぞれから答えを解析し、投票させます。多数決の答えは、たいていどの 1 回の実行よりも信頼できます。サンプリングはモデルの仕事、解析と投票はあなたの仕事で、完全に決定的です。
関数を 2 つ作ってください:
extract_answer(text)は、テキストの中で最後に出てくる整数(推論のあとのモデルの最終的な数)を返し、整数がなければNoneを返します。整数は文字列に対する正規表現で見つけます。self_consistency(samples)はサンプルの文字列のリストを受け取り、それぞれから答えを取り出し、Noneに解析されたものを落とし、Counterで多数決の値を返します。結果が決定的になるように、同点はいちばん小さい値のほうへ崩します。
たとえば、[4, 4, 5] に解析されるサンプルなら、投票は 4 を返します。[3, 5](1 対 1 の同点)なら、小さいほうの 3 を返します。解析できないサンプルはただ無視されます:
self_consistency(["... so 4", "answer 4", "I think 5"]) # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"]) # 9決定的な同点崩しが大切です:同点の投票で実行のたびに違う勝者を返す評価は、テストもできず出荷もできません。実行を押して採点します。
テキストの中の最後の整数(先頭のマイナス記号も扱う)を返し、なければ None を返す extract_answer(text) を書いてください。各サンプルから答えを取り出し、None の結果を落とし、Counter で多数決の値を返す self_consistency(samples) を書いてください。同点はいちばん小さい値のほうへ崩します。解析できる答えが 1 つもなければ None を返します。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。