确定性的训练集/验证集划分
数据集清洗干净之后,你必须划分它:大部分行进入训练集(模型从中学习),一小部分留出来进入验证集(你用它给模型打分)。留出的集合是神圣的。如果一个例子泄漏到了两边,你的验证数字就是一个谎言,因为模型是在它训练过的东西上被测试的。所以划分必须是一个干净的分割:没有重叠,什么也不丢。
它还必须是可重现的。如果重新运行脚本会洗出一个不同的划分并得到 0.79,那么"它得了 0.81"就毫无意义。解决办法和你在机器学习中处处遇到随机性时用的一样:给生成器设种子。同一个种子总是产生同一个划分,所以你的实验是可重复的,队友也能重现你的确切数字。
注意我们打乱的是索引,而不是行本身,而且我们把一个明确的种子传给一个私有的生成器,而不去碰全局的那个:
import random
def split_dataset(rows, val_frac, seed):
indices = list(range(len(rows)))
rng = random.Random(seed) # a private RNG, does not disturb global state
rng.shuffle(indices)
n_val = int(round(len(rows) * val_frac))
...使用 random.Random(seed)(一个全新的、隔离的生成器),而不是在全局模块上调用 random.seed(...),这样调用你的函数就不会悄悄改变程序其他地方的随机性。
构建 split_dataset(rows, val_frac, seed),返回 {"train": [...], "val": [...]},其中:
- 验证集的大小是
int(round(len(rows) * val_frac)),训练集是剩下的部分; - 训练集和验证集互不相交,并且合起来恰好包含每个原始行一次;
- 同一个种子总是产生同一个划分,而不同的种子通常会产生不同的划分。
这种确定性的准备工作是 GPU 运行所依赖的一切。实际的训练(LoRA 适配器、优化器、损失曲线)发生在这个沙盒所没有的硬件上。按 Run 划分一个列表,并确认两半能重建出整体。
写 split_dataset(rows, val_frac, seed),返回 {"train": [...], "val": [...]}。用 random.Random(seed)(而不是全局的随机数生成器)打乱一个索引列表,取前 int(round(len(rows) * val_frac)) 个作为验证集,其余的作为训练集。两半必须互不相交,合起来必须恰好包含每个原始行一次,并且对给定的种子必须可重现。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。