Программа курса Урок 224 из 246 · Модуль 21: Взгляд внутрь модели
Модуль 21: Взгляд внутрь модели

Распутывание: разреженный автокодировщик

Почему это важно Если признаки хранятся в суперпозиции, взгляд на элементы их не найдёт. Разреженный автокодировщик (Bricken et al. 2023, Cunningham et al. 2023) пытается это обратить: восстановить каждый вектор из гораздо большего числа направлений, чем у него чисел, но лишь нескольких за раз.

Возьмите 64-числовые векторы GPT после блока 1 для 19 200 символов текста уроков. Разреженный автокодировщик с 256 признаками вычисляет f = relu(z We + be) и восстанавливает z = f Wd. Потери - ошибка восстановления плюс l1, умноженное на общий размер f, что толкает большинство признаков ровно в ноль.

interp.train_sae(A, features=256, l1=...) обучает его; sae.unexplained(A) - доля разброса векторов, которую упускает восстановление (0 - идеально), а sae.features(A) даёт f.

Сначала предскажите: при сильном нажиме (l1 = 0,3) будет ли восстановление всё ещё объяснять большую часть разброса (unexplained ниже 0,2)?

Слова и символы этого урока
суперпозиция
хранение большего числа признаков, чем есть чисел, как направлений, которые редко включены одновременно
разреженный автокодировщик
широкий слой, обученный восстанавливать векторы из нескольких активных признаков за раз
Твоя очередь

Присвойте my_guess значение "yes" или "no". Обучите при l1 0,03 и 0,3 (600 шагов по 128 векторов). Заполните unexplained[l1] на отложенных векторах A_new и active[l1]: среднее число признаков выше нуля на отложенный символ.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.