课程大纲 第 153 课,共 246 课 · 第 13 模块:注意力和 transformer
第 13 模块:注意力和 transformer

现场训练一个很小的 GPT

为什么重要 一切都汇聚到一起:嵌入、位置、加掩码的多头注意力、残差和层归一化,用 Adam 在预测下一个字符的任务上训练。在你自己的 CPU 上,几秒钟就好。

宽度 32,2 个块,4 个头,32 个字符的上下文:大约 29,000 个参数。150 步,每步 16 个片段,在笔记本电脑上几秒钟。预测曲线:开始时和 150 步之后的损失。(在 95 个字符上均匀地猜,损失是 ln 95 = 4.55。)

然后从它采样。150 步之后,它会生成一锅字母汤,空格大致落在正确的地方;记录下来的宽度 64 的模型训练了 2,000 步,写出的是像单词一样的文本。同样的代码,更多的算力。

本课中的词语和符号
注意力
对查询和键的得分做 softmax,用来对值取平均
头
H 个并排运行的较窄注意力之一,每个都有它自己的模式
层归一化
对每一个向量单独归一化:均值 0,离散程度 1,然后乘以 g 再加上 b
轮到你了

填写 my_guess,然后在 corpus.TEXT 上用 model.train 训练(150 步,学习率 0.003,批大小 16),并把历史记录保存在 hist 中。调用方式是 hist = model.train(text, steps=..., lr=..., batch=...);它返回一个字典,其中 hist['loss'] 是每 20 步(以及最后一步)记录一次的训练损失,之后 model.generate(prompt, n, temperature) 会写出文本。(help(model.train) 也会打印这些。)最后 5 个记录下来的损失的平均值必须低于 2.85。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。