课程大纲 第 203 课,共 250 课 · 从概念上理解微调
从概念上理解微调

确定性的训练集/验证集划分

数据集清洗干净之后,你必须划分它:大部分行进入训练集(模型从中学习),一小部分留出来进入验证集(你用它给模型打分)。留出的集合是神圣的。如果一个例子泄漏到了两边,你的验证数字就是一个谎言,因为模型是在它训练过的东西上被测试的。所以划分必须是一个干净的分割:没有重叠,什么也不丢。

它还必须是可重现的。如果重新运行脚本会洗出一个不同的划分并得到 0.79,那么"它得了 0.81"就毫无意义。解决办法和你在机器学习中处处遇到随机性时用的一样:给生成器设种子。同一个种子总是产生同一个划分,所以你的实验是可重复的,队友也能重现你的确切数字。

注意我们打乱的是索引,而不是行本身,而且我们把一个明确的种子传给一个私有的生成器,而不去碰全局的那个:

import random

def split_dataset(rows, val_frac, seed):
    indices = list(range(len(rows)))
    rng = random.Random(seed)   # a private RNG, does not disturb global state
    rng.shuffle(indices)
    n_val = int(round(len(rows) * val_frac))
    ...

使用 random.Random(seed)(一个全新的、隔离的生成器),而不是在全局模块上调用 random.seed(...),这样调用你的函数就不会悄悄改变程序其他地方的随机性。

构建 split_dataset(rows, val_frac, seed),返回 {"train": [...], "val": [...]},其中:

  • 验证集的大小是 int(round(len(rows) * val_frac)),训练集是剩下的部分;
  • 训练集和验证集互不相交,并且合起来恰好包含每个原始行一次;
  • 同一个种子总是产生同一个划分,而不同的种子通常会产生不同的划分。

这种确定性的准备工作是 GPU 运行所依赖的一切。实际的训练(LoRA 适配器、优化器、损失曲线)发生在这个沙盒所没有的硬件上。按 Run 划分一个列表,并确认两半能重建出整体。

轮到你了

写 split_dataset(rows, val_frac, seed),返回 {"train": [...], "val": [...]}。用 random.Random(seed)(而不是全局的随机数生成器)打乱一个索引列表,取前 int(round(len(rows) * val_frac)) 个作为验证集,其余的作为训练集。两半必须互不相交,合起来必须恰好包含每个原始行一次,并且对给定的种子必须可重现。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。