Программа курса Урок 227 из 246 · Модуль 21: Взгляд внутрь модели
Модуль 21: Взгляд внутрь модели

Что изменилось внутри: волны

Почему это важно Nanda et al. (2023) показали, что сети, которые "грокают" модульное сложение, в итоге вычисляют его волнами: каждое число становится точкой на нескольких окружностях, а сложение чисел превращается в сложение углов. Это один из немногих случаев, когда полный механизм был найден, а затем проверен.

Прочитайте каждый столбец эмбеддинга как список из 23 значений, по одному на число от 0 до 22, и разложите его на волны частоты от 1 до 11 (волна частоты k обходит k кругов от 0 до 22; это разложение - преобразование Фурье). interp.frequency_shares(emb) даёт долю каждой частоты в эмбеддинге (в сумме 1). Если модель использует несколько волн, несколько частот держат большую часть; при равномерном распределении top-3 держали бы 3/11 = 0,27.

Одного узора недостаточно: восстановите эмбеддинг только из некоторых частот через interp.keep_frequencies(emb, keep) и измерьте точность на тесте. Если top-3 - это механизм, то оставление только их должно сохранить большую часть точности, а удаление только их - уничтожить её.

Слова и символы этого урока
узор, эффект, механизм
три вида свидетельств: посмотрели и увидели; изменили, и выход изменился; объяснили, и объяснение предсказало новые случаи
преобразование Фурье
разложение списка значений на волны разных частот
Твоя очередь

Загрузите g = interp.grok_model() (записанный прогон с затуханием весов 3, после 40 000 шагов). Присвойте top3 три её наибольшие частоты, top3_share - их общую долю, а test_acc - для трёх эмбеддингов: 'all', 'only top 3' и 'all but top 3'.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.