Программа курса Урок 223 из 246 · Модуль 21: Взгляд внутрь модели
Модуль 21: Взгляд внутрь модели

Признаков больше, чем места: суперпозиция

Почему это важно Если бы каждый элемент значил одно, читать сеть было бы легко. Обычно это не так, и игрушечная модель Elhage et al. (2022) показывает почему: сеть может хранить больше признаков, чем у неё чисел, пока признаки редко включены одновременно.

Игрушка: 5 признаков, каждый большую часть времени 0, а иначе - число от 0 до 1. Матрица W (2 на 5) сжимает их всего в 2 числа, h = W x, а модель читает их обратно как relu(WT h + b). Признак i весит в потерях 0,9i (признак 0 больше всех). Столбец i матрицы W - направление, где хранится признак i; столбец около нуля значит, что признак отброшен.

interp.superposition(sparsity=s) обучает её (s - шанс, что каждый признак равен 0). interp.stored(W) перечисляет сохранённые признаки, а interp.angles(W) - углы между ними.

Сначала предскажите: когда признаки включены редко (разреженность 0,97), сколько из 5 могут сохранить 2 числа?

Слова и символы этого урока
суперпозиция
хранение большего числа признаков, чем есть чисел, как направлений, которые редко включены одновременно
Твоя очередь

Присвойте my_guess число от 2 до 5. Обучите при разреженности 0, 0,7 и 0,97 (seed 0) и заполните kept[s] числом сохранённых признаков, а smallest_angle[s] - наименьшим углом между двумя сохранёнными признаками.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.