课程大纲 第 129 课,共 250 课 · 面向 AI 工程师的提示词工程
面向 AI 工程师的提示词工程

自洽性:采样、解析、投票

一次模型采样可能碰巧是错的。自洽性对同一个问题取好几个样本,从每个样本中解析出一个答案,然后让它们投票。多数答案通常比任何单独一次运行都更可靠。采样是模型的工作;解析和投票是你的工作,而且完全是确定性的。

写两个函数:

  • extract_answer(text) 返回文本中提到的最后一个整数(模型推理之后的最终数字),如果没有整数就返回 None。用一个正则表达式在字符串上找出整数。
  • self_consistency(samples) 接收一个样本字符串列表,从每个样本中提取出一个答案,丢掉那些解析为 None 的,并通过一个 Counter 返回多数值。平局时偏向最小的值,让结果保持确定性。

例如,给定解析为 [4, 4, 5] 的样本,投票返回 4。给定 [3, 5](1 比 1 平局),它返回较小的 3。无法解析的样本被直接忽略:

self_consistency(["... so 4", "answer 4", "I think 5"])  # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"])     # 9

确定性的平局打破很重要:一个在平票时每次运行都返回不同胜者的评测,是无法测试、也无法上线的。按 Run 评分。

轮到你了

写 extract_answer(text),返回文本中的最后一个整数(处理开头的负号),没有就返回 None。写 self_consistency(samples),从每个样本中提取出一个答案,丢掉 None 结果,并用一个 Counter 返回多数值,平局时偏向最小的值。没有任何可解析的答案时,返回 None。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。