现场训练一个很小的 GPT
为什么重要 一切都汇聚到一起:嵌入、位置、加掩码的多头注意力、残差和层归一化,用 Adam 在预测下一个字符的任务上训练。在你自己的 CPU 上,几秒钟就好。
宽度 32,2 个块,4 个头,32 个字符的上下文:大约 29,000 个参数。150 步,每步 16 个片段,在笔记本电脑上几秒钟。预测曲线:开始时和 150 步之后的损失。(在 95 个字符上均匀地猜,损失是 ln 95 = 4.55。)
然后从它采样。150 步之后,它会生成一锅字母汤,空格大致落在正确的地方;记录下来的宽度 64 的模型训练了 2,000 步,写出的是像单词一样的文本。同样的代码,更多的算力。
本课中的词语和符号
- 注意力
- 对查询和键的得分做 softmax,用来对值取平均
- 头
- H 个并排运行的较窄注意力之一,每个都有它自己的模式
- 层归一化
- 对每一个向量单独归一化:均值 0,离散程度 1,然后乘以 g 再加上 b
填写 my_guess,然后在 corpus.TEXT 上用 model.train 训练(150 步,学习率 0.003,批大小 16),并把历史记录保存在 hist 中。调用方式是 hist = model.train(text, steps=..., lr=..., batch=...);它返回一个字典,其中 hist['loss'] 是每 20 步(以及最后一步)记录一次的训练损失,之后 model.generate(prompt, n, temperature) 会写出文本。(help(model.train) 也会打印这些。)最后 5 个记录下来的损失的平均值必须低于 2.85。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。