第 13 模块:注意力和 transformer
关卡:一个坏掉的 transformer(AI 关闭)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 这是一个用课程引擎写的完整 GPT 前向传播,而它有两个错误。两个都很经典,每一个单独都骗过真实的团队。
AI 导师关闭。一个错误让模型能看到它本该预测的字符。另一个让这一叠层难训练得多。把两个都找出来并修好。
本课中的词语和符号
- 查询、键、值
- 一个位置在找什么;每个位置提供什么来被匹配;它交出什么
- 头
- H 个并排运行的较窄注意力之一,每个都有它自己的模式
轮到你了
修好 logits。改变一个字符时,不许改变对更早位置的任何预测,并且 200 步之后,最后 20 步的平均损失必须低于 2.65。
关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。