Программа курса Урок 222 из 246 · Модуль 21: Взгляд внутрь модели
Модуль 21: Взгляд внутрь модели

Поиск индукционной головы

Почему это важно Индукционная голова (Olsson et al. 2022) - самая известная история интерпретируемости: одна голова находит более раннюю копию текущего токена и обращает внимание на токен после неё, чтобы модель могла продолжить повтор. В больших моделях это реально. Ошибка - предполагать, что маленькая модель копирует так же, раз уж она копирует.

Курс обучил GPT из 2 блоков только копировать: каждая строка - случайная серия из 4-16 букв, повторённая, чтобы заполнить 32 позиции. Первую серию предсказать нельзя (потери около ln 26 = 3,26); после неё каждую букву можно скопировать. Модель научилась копировать: её потери на повторах около 0,13-0,15 (зависит от выборки).

Предсказание из учебника: какая-то голова кладёт большую часть внимания на букву после более ранней копии текущей буквы. Измерьте это. Для каждой головы - доля внимания, усреднённая по позициям повторов, которая попадает на позиции j, где буква перед j равна текущей букве. Сравните с равномерным вниманием, которое распределяется поровну по всем более ранним позициям. Затем удалите каждую голову и измерьте потери на повторах.

Сначала предскажите: положит ли одна голова туда больше половины своего внимания?

Где сейчас эта область Индукционные головы реальны: Olsson et al. (2022) нашли, как они формируются внезапным фазовым переходом в моделях, обученных на обычном тексте, включая двухслойные модели только с вниманием. Почему не здесь? У этой модели есть MLP и layer norm, она недолго обучалась на одной синтетической задаче копирования с несколькими возможными решениями и нашла другое. В этом смысл урока, и в этом же его предел: игрушка, которая не показывает опубликованный эффект, - не свидетельство против него. Результаты маленьких моделей этого курса - измерения этих моделей; в масштабе одни подтвердятся, другие нет.

Слова и символы этого урока
интерпретируемость
выяснение того, что обученная сеть вычисляет внутри, и проверка этого
узор, эффект, механизм
три вида свидетельств: посмотрели и увидели; изменили, и выход изменился; объяснили, и объяснение предсказало новые случаи
индукционная голова
голова, которая находит более раннюю копию текущего токена и обращает внимание на токен после неё
Твоя очередь

Присвойте my_guess значение "yes" или "no". Напишите induction_share(A, X, Ls): для весов внимания A (B, t, t) одной головы - среднее по строкам b и позициям повторов i (от Ls[b] до t - 1) внимания на позициях j ≤ i, где X[b, j - 1] == X[b, i] (j ≥ 1). Заполните share[(layer, head)] для 8 голов и removed[(layer, head)] потерями на повторах при обнулённой голове. Присвойте needed голову, удаление которой вредит больше всего.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.