第 20 模块:低成本地适配一个训练好的模型
学会新的,忘掉旧的
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 每一个有用的模型都会被适配:适配到一家公司的文档、一种编码风格、一种语言。显而易见的做法,也就是在新数据上继续训练,有一个直到为时已晚才会被看到的代价:模型在它原本会的东西上变差了。
课程中被记录的 GPT 是从课程的课文中学会英语的。它的新工作:Python 代码,取自 Python 课程中的那些参考解法。在训练之前,它在留出的英语上得分 1.70,在留出的代码上得分 3.25(它几乎没见过代码)。
在代码上把每一个权重训练 60 步、每步 8 个窗口(这是一节课在浏览器中能容纳的最大量),然后再测量两者。先看一看这个场景:两个损失,一步一步地,对于这次完整的微调,以及对于你将在这个模块中构建的那种更便宜的方法。
先预测:在代码上训练 60 步之后,英语损失会保持大致不变,还是会上升?
轮到你了
把 my_guess 设为 "same" 或 "rises"。在 adapt.train(model, code_train, steps=60, batch=8) 前后,用 adapt.losses(model)(英语损失、代码损失)填写 before 和 after。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。