教会偏好(DPO)
为什么重要 聊天模型不只是在文本上训练;它们还会根据偏好来调整:两个答案中,人们更喜欢哪一个。DPO(Rafailov 等人 2023)直接从成对的答案中做到这一点,只用一个损失,不需要单独的奖励模型。它也很容易做过头。
这里的偏好是一种基础模型从不使用的风格:用下划线连接单词(“snake_case 式说话”)。每一对都有一个来自课文的 20 字符提示语、真实的接下来 10 个字符(被拒绝的),以及同样的 10 个字符但每个空格都写成下划线(被选中的)。
一对的 DPO 损失,比较的是调整后的模型让被选中的答案比参考模型更可能多少,以及对被拒绝的答案同样的量:
-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )
beta 决定了调整后的模型被多用力地拉在参考模型附近。之后的两项测量:在 60 个新提示语上,单词间隔被写成下划线的比例(风格),以及只计字母、不计间隔的留出英语损失(损害)。
本课中的词语和符号
- LoRA
- 低秩适配:一个冻结的权重矩阵加上两个细长的可训练矩阵,x W + (alpha / r) x A B
- 秩(r)
- LoRA 的两个矩阵有多细:每个矩阵 (d_in + d_out) × r 个可训练权重
- DPO
- 直接偏好优化:根据一个更好和一个更差的答案组成的对来调整
- 参考模型
- DPO 用来衡量每一个变化的那个冻结的模型
- beta(DPO)
- 调整后的模型被多用力地拉在参考模型附近
选择 steps(最多 60),让风格被学会(下划线比例至少 0.8),同时只计字母的损失保持在 2.6 以下(基础模型大约得分 1.94)。试几个值。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。