课程大纲 第 236 课,共 246 课 · 第 23 模块:毕业项目工作室:一张你可以运行的模型卡
第 23 模块:毕业项目工作室:一张你可以运行的模型卡

挑一条赛道和一个预算

为什么重要 真实的项目从一个决定开始:要构建什么、要花多少计算,而且是在第一次训练之前做出的。毕业项目是一个由你在这台设备上训练、测试和解释的模型。没有任何东西会被上传。

这个模块是一个分为八个步骤的小项目。最后,你会得到一张每一个数字都根据你自己的训练核对过的模型卡,以及一个包含所有这一切的离线 HTML 文件。

挑一条赛道。两条赛道使用同一个工作室网络(studio.MLP:输入、一层 ReLU 单元、输出),以及同样的打分规则:越高越好。

  • language:根据课程自己的文本中前面的 8 个字符预测下一个字符。分数:在它没有训练过的文本上每个字符的损失的负数。
  • images:说出一张生成的照片中是 6 种物体中的哪一种(第 18 模块中那些逼真的照片,以 8 × 8 像素制作,这样大约 40 次训练能在你的浏览器中完成)。分数:在它没有训练过的照片上的准确率。

然后是一个基线 PLAN(宽度最多 64、学习率、步数最多 300、批次最多 64:毕业项目要在你的浏览器中运行大约 40 次训练,所以它们必须很快),以及 FLOP 账本中的一个预算(第 19 模块)。一次训练的成本大约是 6 × 权重数 × 看过的样本数:studio.cost(track, width, steps, batch)。你的项目将会花费:3 个基线种子、3 个改动 × 3 个种子,以及一次最多为 4 倍基线成本的最终训练。总共是 16 倍的基线成本。

本课中的词语和符号
基线
每一个改动都要在同样的种子上与之比较的那次普通训练
模型卡
一份简短的记录:一个模型是什么、它是怎么训练的、它表现得有多好,以及它在哪些地方没有被测试过
轮到你了

设置 TRACK、PLAN 和 BUDGET(16 × 基线成本),并创建 ledger = studio.Ledger(BUDGET)。打印一次基线训练的成本,以及网络有多少个权重。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。