课程大纲 第 108 课,共 250 课 · 神经网络直觉、LLM 与 AI 综合项目
神经网络直觉、LLM 与 AI 综合项目

观察:注意力权重

你刚刚实现了缩放点积注意力。这里展示那些矩阵实际上做了什么。注意力让每个词去看句子里的每个词(包括它自己),给每个词有多重要打分,然后把自己重建成它们的加权混合。

按下播放。看词 sat 在 the cat sat 上做注意力:原始分数变成和为 1 的 softmax 权重,最粗的线指向最重要的那个词,而 sat 吸收了它的上下文,大部分来自 cat。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。