Зачем делить на квадратный корень из d
Почему это важно Каждый трансформер делит оценки внимания на квадратный корень из размера key. Уберите это, и внимание перестаёт смешивать, а его градиенты почти исчезают. Вы измерите почему.
Скалярное произведение двух случайных векторов длины d складывает d произведений. У каждого разброс около 1, поэтому у суммы разброс около квадратного корня из d. Причина: когда складываешь независимые случайные числа, складываются не их разбросы, а их квадраты (квадраты называются дисперсиями). d произведений, у каждого дисперсия 1, дают дисперсию d, поэтому разброс - квадратный корень из d. Для d = 64 это 8.
Оценки, разбросанные на плюс-минус 8 и больше, делают softmax почти one-hot: один вес около 1, остальные около 0. У one-hot softmax крошечные градиенты: наклон каждого выхода по его собственной оценке равен p(1 - p), а это около 0, когда p около 0 или 1 (урок о градиенте softmax в модуле 2 выводит это, а урок этого модуля об обратном проходе через внимание это использует), поэтому модель учится медленно. Деление на квадратный корень из d возвращает разброс примерно к 1, каким бы ни было d.
Предскажите: что происходит с наибольшим весом по мере роста d от 4 до 256, с делением и без?
Слова и символы этого урока
- query, key, value
- что ищет позиция; что каждая позиция предлагает для сопоставления; что она отдаёт
- attention
- softmax оценок query-key, используемый для усреднения values
Заполните my_guess. Затем напишите top_weight(d, scaled): 2 000 случайных queries против 32 случайных keys каждый (нормальные числа, seed 0), среднее наибольшего веса softmax. Заполните measured.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.