Что изменилось внутри: волны
Почему это важно Nanda et al. (2023) показали, что сети, которые "грокают" модульное сложение, в итоге вычисляют его волнами: каждое число становится точкой на нескольких окружностях, а сложение чисел превращается в сложение углов. Это один из немногих случаев, когда полный механизм был найден, а затем проверен.
Прочитайте каждый столбец эмбеддинга как список из 23 значений, по одному на число от 0 до 22, и разложите его на волны частоты от 1 до 11 (волна частоты k обходит k кругов от 0 до 22; это разложение - преобразование Фурье). interp.frequency_shares(emb) даёт долю каждой частоты в эмбеддинге (в сумме 1). Если модель использует несколько волн, несколько частот держат большую часть; при равномерном распределении top-3 держали бы 3/11 = 0,27.
Одного узора недостаточно: восстановите эмбеддинг только из некоторых частот через interp.keep_frequencies(emb, keep) и измерьте точность на тесте. Если top-3 - это механизм, то оставление только их должно сохранить большую часть точности, а удаление только их - уничтожить её.
Слова и символы этого урока
- узор, эффект, механизм
- три вида свидетельств: посмотрели и увидели; изменили, и выход изменился; объяснили, и объяснение предсказало новые случаи
- преобразование Фурье
- разложение списка значений на волны разных частот
Загрузите g = interp.grok_model() (записанный прогон с затуханием весов 3, после 40 000 шагов). Присвойте top3 три её наибольшие частоты, top3_share - их общую долю, а test_acc - для трёх эмбеддингов: 'all', 'only top 3' и 'all but top 3'.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.