神经网络直觉、LLM 与 AI 综合项目
观察:注意力权重
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
你刚刚实现了缩放点积注意力。这里展示那些矩阵实际上做了什么。注意力让每个词去看句子里的每个词(包括它自己),给每个词有多重要打分,然后把自己重建成它们的加权混合。
按下播放。看词 sat 在 the cat sat 上做注意力:原始分数变成和为 1 的 softmax 权重,最粗的线指向最重要的那个词,而 sat 吸收了它的上下文,大部分来自 cat。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。