Программа курса Урок 220 из 246 · Модуль 21: Взгляд внутрь модели
Модуль 21: Взгляд внутрь модели

Верните одно значение: подмена активаций

Почему это важно Подмена активаций (Meng et al. 2022, Wang et al. 2022) превращает "эта часть совпадает с ответом" в "эта часть несёт ответ", перенося одно значение из одного прогона в другой.

Два входа, различающиеся одним символом:

  • чистый: "the gradient of the los": GPT даёт следующему символу "s" вероятность 0,91.
  • испорченный: "the gradient of the bos": 0,39.

Запустите испорченный вход, но в одном месте и одной позиции подставьте вектор из чистого прогона. Если вероятность "s" прыгнет обратно к 0,91, этот вектор нёс то, что "l" сообщила модели. interp.patch(model, clean_ids, bad_ids, site, pos) делает подмену и возвращает логиты; interp.next_prob(logits, answer, model) читает вероятность.

Попробуйте это в 'resid0' (до блока 0, то есть только эмбеддинги), 'resid1' (между блоками) и 'final', для последних пяти позиций.

Сначала предскажите: в 'resid1' "l" всё ещё несётся на своей собственной позиции или где-то ещё?

Слова и символы этого урока
подмена активаций
прогон одного входа со значением, взятым из прогона другого входа, чтобы увидеть, что это значение несёт
Твоя очередь

Присвойте my_guess значение "own position" или "somewhere else". Заполните restored[site] списком из пяти вероятностей, по одной на позицию от len(clean) - 5 до конца. Затем присвойте where[site] символ clean в позиции, которая восстанавливает ответ.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.