Верните одно значение: подмена активаций
Почему это важно Подмена активаций (Meng et al. 2022, Wang et al. 2022) превращает "эта часть совпадает с ответом" в "эта часть несёт ответ", перенося одно значение из одного прогона в другой.
Два входа, различающиеся одним символом:
- чистый: "the gradient of the los": GPT даёт следующему символу "s" вероятность 0,91.
- испорченный: "the gradient of the bos": 0,39.
Запустите испорченный вход, но в одном месте и одной позиции подставьте вектор из чистого прогона. Если вероятность "s" прыгнет обратно к 0,91, этот вектор нёс то, что "l" сообщила модели. interp.patch(model, clean_ids, bad_ids, site, pos) делает подмену и возвращает логиты; interp.next_prob(logits, answer, model) читает вероятность.
Попробуйте это в 'resid0' (до блока 0, то есть только эмбеддинги), 'resid1' (между блоками) и 'final', для последних пяти позиций.
Сначала предскажите: в 'resid1' "l" всё ещё несётся на своей собственной позиции или где-то ещё?
Слова и символы этого урока
- подмена активаций
- прогон одного входа со значением, взятым из прогона другого входа, чтобы увидеть, что это значение несёт
Присвойте my_guess значение "own position" или "somewhere else". Заполните restored[site] списком из пяти вероятностей, по одной на позицию от len(clean) - 5 до конца. Затем присвойте where[site] символ clean в позиции, которая восстанавливает ответ.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.