Программа курса Урок 226 из 246 · Модуль 21: Взгляд внутрь модели
Модуль 21: Взгляд внутрь модели

Grokking: сначала запомнить, понять потом

Почему это важно Power et al. (2022) увидели, как сеть достигает идеальной точности на обучении, долго держится на уровне случая на тестовых данных, а потом внезапно обобщает. Это самый ясный случай, когда взгляд внутрь объяснил то, чего не могла объяснить кривая потерь.

Задача: a + b по модулю 23 (остаток от деления на 23; так 20 + 5 - это 2). Всего 23 × 23 = 529 сумм; модель обучается на случайной половине и проверяется на другой половине. Каждое число получает эмбеддинг из 32; два эмбеддинга проходят через один слой ReLU из 128 и выходят в 23 оценки. Она обучается на всей половине на каждом шаге, с AdamW (модуль 5).

Обучите её вживую 1 500 шагов, затем прочитайте записанные курсом прогоны на 40 000 шагов (около 11 секунд каждый на ноутбуке, слишком долго для урока), с затуханием весов 3 и без него.

Сначала предскажите: после 1 500 шагов точность на обучении будет 100%. Какой будет точность на тесте?

Слова и символы этого урока
grokking
рост точности на тесте спустя долгое время после того, как точность на обучении стала идеальной
Твоя очередь

Присвойте my_guess значение "near 0", "near 50%" или "near 100%". Обучите 1 500 шагов и заполните live парой (точность на обучении, точность на тесте). Из runs = interp.recorded()['grok'], где у каждого прогона в 'curve' строки (step, точность на обучении, точность на тесте, доля top-3): присвойте half_way первый шаг, где точность на тесте достигает 0,5 при затухании весов 3, а final_test - последнюю точность на тесте каждого прогона.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.