第 22 模块:评判各种说法
你去掉一个部分的方式会改变答案
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 “去掉这个部分会让损失上升 X”听起来像是关于这个部分的一个事实。其中一部分,其实是关于它是怎么被去掉的一个事实。
在第 21 模块中,你通过把 GPT 的某些部分的输出设为零来去掉它们。但网络的其余部分在训练中从来没有在那里见过零:零可能是它从没遇到过的一个输入,所以这种损伤测量的既有信息的丢失,也有冲击。一种更温和的去除方式,是用它在许多输入上的平均值来替换输出(均值消融):这个部分不再携带关于这个输入的任何东西,但下一层仍然会得到一个通常大小的值。
对四个部分测量两种方式:'attn_out0'、'mlp_out0'、'attn_out1'、'mlp_out1'。平均值来自 cache[site].mean((0, 1))。
先预测:对于第 0 块的 MLP,均值消融的代价会比置零小,还是差不多?
本课中的词语和符号
- 均值消融
- 用一个部分输出的平均值而不是零来替换它
轮到你了
把 my_guess 设为 "less" 或 "same"。用损失的上升量填写 zero[site] 和 mean[site]。把 most_overstated 设为置零最夸大效果的那个部分。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。