Grokking: сначала запомнить, понять потом
Почему это важно Power et al. (2022) увидели, как сеть достигает идеальной точности на обучении, долго держится на уровне случая на тестовых данных, а потом внезапно обобщает. Это самый ясный случай, когда взгляд внутрь объяснил то, чего не могла объяснить кривая потерь.
Задача: a + b по модулю 23 (остаток от деления на 23; так 20 + 5 - это 2). Всего 23 × 23 = 529 сумм; модель обучается на случайной половине и проверяется на другой половине. Каждое число получает эмбеддинг из 32; два эмбеддинга проходят через один слой ReLU из 128 и выходят в 23 оценки. Она обучается на всей половине на каждом шаге, с AdamW (модуль 5).
Обучите её вживую 1 500 шагов, затем прочитайте записанные курсом прогоны на 40 000 шагов (около 11 секунд каждый на ноутбуке, слишком долго для урока), с затуханием весов 3 и без него.
Сначала предскажите: после 1 500 шагов точность на обучении будет 100%. Какой будет точность на тесте?
Слова и символы этого урока
- grokking
- рост точности на тесте спустя долгое время после того, как точность на обучении стала идеальной
Присвойте my_guess значение "near 0", "near 50%" или "near 100%". Обучите 1 500 шагов и заполните live парой (точность на обучении, точность на тесте). Из runs = interp.recorded()['grok'], где у каждого прогона в 'curve' строки (step, точность на обучении, точность на тесте, доля top-3): присвойте half_way первый шаг, где точность на тесте достигает 0,5 при затухании весов 3, а final_test - последнюю точность на тесте каждого прогона.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.