Программа курса Урок 142 из 246 · Модуль 13: Внимание и трансформеры
Модуль 13: Внимание и трансформеры

Зачем делить на квадратный корень из d

Почему это важно Каждый трансформер делит оценки внимания на квадратный корень из размера key. Уберите это, и внимание перестаёт смешивать, а его градиенты почти исчезают. Вы измерите почему.

Скалярное произведение двух случайных векторов длины d складывает d произведений. У каждого разброс около 1, поэтому у суммы разброс около квадратного корня из d. Причина: когда складываешь независимые случайные числа, складываются не их разбросы, а их квадраты (квадраты называются дисперсиями). d произведений, у каждого дисперсия 1, дают дисперсию d, поэтому разброс - квадратный корень из d. Для d = 64 это 8.

Оценки, разбросанные на плюс-минус 8 и больше, делают softmax почти one-hot: один вес около 1, остальные около 0. У one-hot softmax крошечные градиенты: наклон каждого выхода по его собственной оценке равен p(1 - p), а это около 0, когда p около 0 или 1 (урок о градиенте softmax в модуле 2 выводит это, а урок этого модуля об обратном проходе через внимание это использует), поэтому модель учится медленно. Деление на квадратный корень из d возвращает разброс примерно к 1, каким бы ни было d.

Предскажите: что происходит с наибольшим весом по мере роста d от 4 до 256, с делением и без?

Слова и символы этого урока
query, key, value
что ищет позиция; что каждая позиция предлагает для сопоставления; что она отдаёт
attention
softmax оценок query-key, используемый для усреднения values
Твоя очередь

Заполните my_guess. Затем напишите top_weight(d, scaled): 2 000 случайных queries против 32 случайных keys каждый (нормальные числа, seed 0), среднее наибольшего веса softmax. Заполните measured.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.