Признаков больше, чем места: суперпозиция
Почему это важно Если бы каждый элемент значил одно, читать сеть было бы легко. Обычно это не так, и игрушечная модель Elhage et al. (2022) показывает почему: сеть может хранить больше признаков, чем у неё чисел, пока признаки редко включены одновременно.
Игрушка: 5 признаков, каждый большую часть времени 0, а иначе - число от 0 до 1. Матрица W (2 на 5) сжимает их всего в 2 числа, h = W x, а модель читает их обратно как relu(WT h + b). Признак i весит в потерях 0,9i (признак 0 больше всех). Столбец i матрицы W - направление, где хранится признак i; столбец около нуля значит, что признак отброшен.
interp.superposition(sparsity=s) обучает её (s - шанс, что каждый признак равен 0). interp.stored(W) перечисляет сохранённые признаки, а interp.angles(W) - углы между ними.
Сначала предскажите: когда признаки включены редко (разреженность 0,97), сколько из 5 могут сохранить 2 числа?
Слова и символы этого урока
- суперпозиция
- хранение большего числа признаков, чем есть чисел, как направлений, которые редко включены одновременно
Присвойте my_guess число от 2 до 5. Обучите при разреженности 0, 0,7 и 0,97 (seed 0) и заполните kept[s] числом сохранённых признаков, а smallest_angle[s] - наименьшим углом между двумя сохранёнными признаками.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.