课程大纲 第 201 课,共 250 课 · 从概念上理解微调
从概念上理解微调

整理指令微调数据集

先实话说清楚这个模块能做什么、不能做什么。微调模型是 GPU 的活。你拿一个基础模型,给它看成千上万个示例对,然后运行梯度下降来微调它的权重。这需要一个训练循环、一块 GPU 和几个小时的算力。这些都没法在这个浏览器沙盒里运行(没有 torch,没有 GPU,没有网络)。所以我们不会假装可以。

我们要教的,是 AI 工程师实际上花最多时间的那部分,也是决定那次昂贵的 GPU 运行能否产出任何好东西的那部分:数据集。这个领域里一个著名的结果(LIMA,"Less Is More for Alignment")表明,大约 1000 个精心整理的例子,胜过一大堆多得多的有噪声的例子。"垃圾进,垃圾出"在这里不是一句口号,而是整个游戏的全部。你构建的是喂给 GPU 的数据集。

一条指令微调记录只是一个小字典。常见的形状是一个 instruction(用户要求什么)、一个可选的 input(额外的上下文),以及标准答案 output(一个好模型应该怎么回复):

{"instruction": "Summarize this review in one sentence.",
 "input": "The battery lasts forever but the screen is dim.",
 "output": "Great battery life, but the screen is too dim."}

在这些东西到达训练器之前,你必须先清洗它。真实的导出数据里满是缺少 output 的行、只有空白的空 instruction、本应是字符串却类型错误的值,以及浪费算力、让模型偏向重复例子的完全重复项。你的任务是一个确定性的过滤器。

写两个函数。

  • validate_pair(example) -> 只有当 example 是一个字典,并且它的 instruction 和 output 都是 .strip() 之后非空的字符串时,才返回 True。其他任何情况(缺少键、不是字符串、为空或只有空白)都返回 False。缺少 input 没关系,它是可选的。
  • clean_dataset(rows) -> 丢掉每一个无效的对,然后丢掉完全重复的项(去掉两端空白后 instruction、input、output 都相同),保留第一次出现的那个。返回 {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}。

无效的行算作 dropped_invalid;有效但重复的行算作 dropped_duplicate。这些计数必须对得上:input == kept + dropped_invalid + dropped_duplicate。

在真实的流水线里,清洗后的行接下来会被分词,并流式送进训练器。那一步在这里只讲概念,但了解你的数据集要送进去的那片领域是值得的。全量微调会更新模型里的每一个权重:最准确,最昂贵,而且会产生一份全新的模型副本。LoRA / PEFT(参数高效微调)冻结基础模型,只训练叠在上面的小型低秩适配器,所以训练只需一块 GPU,你还可以在同一个共享的基础模型上换入换出适配器。而在普通的监督微调之外,还有偏好调优,它根据人类的偏好而不是标准答案来对齐语气和安全性:DPO(直接偏好优化)直接在"被选中 vs 被拒绝"的答案对上训练,是比较老的 RLHF/PPO 奖励模型循环更简单、更稳定的替代方案。按 Run 清洗一个小而杂乱的数据集,并打印统计数字。

轮到你了

写 validate_pair(example),只有当 example 是一个字典,并且它的 instruction 和 output 都是非空(.strip() 之后)字符串时才返回 True;其他一切都返回 False(允许缺少 input)。然后写 clean_dataset(rows),丢掉无效的对和完全重复的项(去掉两端空白后 instruction/input/output 都相同,保留第一个),返回 {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。