课程大纲 第 215 课,共 246 课 · 第 20 模块:低成本地适配一个训练好的模型
第 20 模块:低成本地适配一个训练好的模型

教会偏好(DPO)

为什么重要 聊天模型不只是在文本上训练;它们还会根据偏好来调整:两个答案中,人们更喜欢哪一个。DPO(Rafailov 等人 2023)直接从成对的答案中做到这一点,只用一个损失,不需要单独的奖励模型。它也很容易做过头。

这里的偏好是一种基础模型从不使用的风格:用下划线连接单词(“snake_case 式说话”)。每一对都有一个来自课文的 20 字符提示语、真实的接下来 10 个字符(被拒绝的),以及同样的 10 个字符但每个空格都写成下划线(被选中的)。

一对的 DPO 损失,比较的是调整后的模型让被选中的答案比参考模型更可能多少,以及对被拒绝的答案同样的量:

-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )

beta 决定了调整后的模型被多用力地拉在参考模型附近。之后的两项测量:在 60 个新提示语上,单词间隔被写成下划线的比例(风格),以及只计字母、不计间隔的留出英语损失(损害)。

本课中的词语和符号
LoRA
低秩适配:一个冻结的权重矩阵加上两个细长的可训练矩阵,x W + (alpha / r) x A B
秩(r)
LoRA 的两个矩阵有多细:每个矩阵 (d_in + d_out) × r 个可训练权重
DPO
直接偏好优化:根据一个更好和一个更差的答案组成的对来调整
参考模型
DPO 用来衡量每一个变化的那个冻结的模型
beta(DPO)
调整后的模型被多用力地拉在参考模型附近
轮到你了

选择 steps(最多 60),让风格被学会(下划线比例至少 0.8),同时只计字母的损失保持在 2.6 以下(基础模型大约得分 1.94)。试几个值。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。