Программа курса Урок 157 из 246 · Модуль 13: Внимание и трансформеры
Модуль 13: Внимание и трансформеры

Ваш движок в терминах PyTorch

Почему это важно Вы встретите PyTorch (или другой фреймворк) на следующий день после этого курса. Всё, что вы построили, на него ложится; различаются лишь несколько соглашений, и именно они вызывают большинство багов, когда люди переносят код.

PyTorch не может работать в этом браузере, поэтому этот урок переводит массивы курса в раскладки PyTorch с помощью NumPy и точно проверяет перевод.

ЧтоЭтот курсPyTorch
Вес LinearW - это (n_in, n_out), выход x @ W + bweight - это (out, in), выход x @ weight.T + bias
Начальные весанормальные с разбросом sqrt(2 / n_in) (He) для каждого слоя, bias 0по умолчанию у nn.Linear: равномерные примерно в пределах ±1 / sqrt(n_in), bias тоже равномерный
Изображенияканалы последними, (N, H, W, C)каналы первыми, (N, C, H, W)
Вес свёртки(k × k × C_in, C_out), строки упорядочены по (строка, столбец, канал)(C_out, C_in, k, k)
Текущая дисперсия BatchNormдисперсия батча с делением на nнесмещённая, с делением на n - 1 (нормализация по-прежнему использует n)
Очистка градиентовAdam.step() курса очищает их самвы вызываете optimizer.zero_grad() на каждом шаге
Какие тензоры хранят .gradкаждый узел графатолько листовые тензоры, такие как веса, если не вызвать retain_grad()
GELUz * sigmoid(1.702 z), приближениепо умолчанию точная форма с erf; approximate='tanh' для быстрой
LSTMодна матрица весов на [x, h], bias забывания начинается с 1 или 3раздельные веса входа и скрытого состояния с двумя bias, все начинаются маленькими и случайными
Блок крошечного GPTReLU, без bias в линейных слоях: 12d² + 4d весовGPT-2: GELU и bias: 12d² + 13d

Ничто из этого не неверно; это выборы. Тихо ломают перенос раскладки: транспонированный вес Linear или изображение с каналами последними дают неверные числа без ошибки, когда размеры случайно совпадают.

Слова и символы этого урока
голова
одно из H более узких внимании, работающих бок о бок, каждое со своим узором
Твоя очередь

Напишите linear_to_torch(W, b), возвращающую (weight, bias) PyTorch, nhwc_to_nchw(X), conv_to_torch(w, c_in), возвращающую вес (C_out, C_in, k, k), и unbiased(var, n), превращающую дисперсию с делением на n в дисперсию с делением на n - 1. Скрытый тест запускает свёртку с каналами первыми, написанную по-PyTorch, с вашими весами и сравнивает её с conv курса.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.