构建 DPO 偏好对
监督微调需要每个提示词一个标准答案。偏好调优(DPO)需要的东西不同,而且往往更容易收集:对同一个提示词,一个被选中的答案和一个被拒绝的答案,它学会偏好前者。你很少直接拥有这样的对,但你经常拥有排名,也就是一个人(或一个评判模型)把几个候选答案从好到坏排了序。这一课把排名变成 DPO 实际训练所用的成对数据。
规则很简单:如果候选答案按从好到坏的顺序列出,那么对于其中一个排在另一个前面的每一对,排名更高的那个是 chosen,更低的那个是 rejected。一个有 n 个候选答案的排名列表会产生 n*(n-1)/2 个偏好对,也就是所有"前者 vs 后者"的组合:
ranked = ["great", "ok", "bad"] # best to worst
# -> (great > ok), (great > bad), (ok > bad) = 3 pairs构建 to_preference_pairs(prompt, ranked),返回一个由 {"prompt", "chosen", "rejected"} 字典组成的列表,ranked 中每一对索引 i < j 一个(所以 ranked[i] 优先于 ranked[j] 被选中),按这个顺序排列。少于两个候选答案时得到空列表(没有偏好可表达)。同一个 prompt 跟着每一对走,让训练器知道上下文。按 Run 把一个排名展开成训练对。
写 to_preference_pairs(prompt, ranked),其中 ranked 是一个按从好到坏排列的候选答案列表。对每一个 i < j(被选中的排在被拒绝的前面),按 (i, j) 递增的顺序,返回一个由 {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} 组成的列表。少于两个候选答案的列表返回 []。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。