Какие части важны
Почему это важно Прежде чем объяснять часть, выясните, делает ли она что-нибудь. Удаление частей (абляция) - самый дешёвый эффект, который можно измерить, и он меняет то, куда вы смотрите.
В каждом блоке GPT есть часть внимания (пишет 'attn_out0', 'attn_out1') и MLP (пишет 'mlp_out0', 'mlp_out1'). Удаляйте по одной (обнуляя её выход) и измеряйте рост потерь на отложенных данных. Затем удаляйте по одной каждую из четырёх голов блока 1 через interp.head_effects(model, X, Y, 1).
Один риск: если две головы делают одну работу, удаление любой одной почти ничего не показывает. Поэтому также сравните четыре роста от отдельных голов, сложенные, с удалением всего внимания блока 1 сразу. Если удаление вместе вредит гораздо больше суммы, они подстраховывают друг друга.
Слова и символы этого урока
- узор, эффект, механизм
- три вида свидетельств: посмотрели и увидели; изменили, и выход изменился; объяснили, и объяснение предсказало новые случаи
- абляция
- удаление части (обнуление её выхода) и измерение того, что меняется
Заполните rise для четырёх частей, heads1 - четырьмя ростами от отдельных голов, затем присвойте backup True, если удаление всего внимания блока 1 стоит больше чем вдвое больше суммы его голов по отдельности, и biggest - часть, удаление которой стоит больше всего.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.