То, как вы убираете часть, меняет ответ
Почему это важно "Удаление этой части повышает потери на X" звучит как факт о части. Частично это факт о том, как её удалили.
В модуле 21 вы удаляли части GPT, обнуляя их выход. Но остальная сеть никогда не видела там ноль на обучении: ноль может быть входом, которого она не встречала, поэтому ущерб измеряет и шок, и потерю информации. Более мягкое удаление заменяет выход его средним по многим входам (усредняющая абляция): часть перестаёт нести что-либо об этом входе, но следующий слой всё ещё получает значение обычного размера.
Измерьте оба способа для четырёх частей: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. Среднее берётся из cache[site].mean((0, 1)).
Сначала предскажите: для MLP блока 0 усредняющая абляция обойдётся дешевле обнуления или примерно так же?
Слова и символы этого урока
- усредняющая абляция
- замена выхода части его средним вместо нуля
Присвойте my_guess значение "less" или "same". Заполните zero[site] и mean[site] ростом потерь. Присвойте most_overstated часть, где обнуление сильнее всего преувеличивает эффект.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.