Ваш движок в терминах PyTorch
Почему это важно Вы встретите PyTorch (или другой фреймворк) на следующий день после этого курса. Всё, что вы построили, на него ложится; различаются лишь несколько соглашений, и именно они вызывают большинство багов, когда люди переносят код.
PyTorch не может работать в этом браузере, поэтому этот урок переводит массивы курса в раскладки PyTorch с помощью NumPy и точно проверяет перевод.
| Что | Этот курс | PyTorch |
|---|---|---|
| Вес Linear | W - это (n_in, n_out), выход x @ W + b | weight - это (out, in), выход x @ weight.T + bias |
| Начальные веса | нормальные с разбросом sqrt(2 / n_in) (He) для каждого слоя, bias 0 | по умолчанию у nn.Linear: равномерные примерно в пределах ±1 / sqrt(n_in), bias тоже равномерный |
| Изображения | каналы последними, (N, H, W, C) | каналы первыми, (N, C, H, W) |
| Вес свёртки | (k × k × C_in, C_out), строки упорядочены по (строка, столбец, канал) | (C_out, C_in, k, k) |
| Текущая дисперсия BatchNorm | дисперсия батча с делением на n | несмещённая, с делением на n - 1 (нормализация по-прежнему использует n) |
| Очистка градиентов | Adam.step() курса очищает их сам | вы вызываете optimizer.zero_grad() на каждом шаге |
Какие тензоры хранят .grad | каждый узел графа | только листовые тензоры, такие как веса, если не вызвать retain_grad() |
| GELU | z * sigmoid(1.702 z), приближение | по умолчанию точная форма с erf; approximate='tanh' для быстрой |
| LSTM | одна матрица весов на [x, h], bias забывания начинается с 1 или 3 | раздельные веса входа и скрытого состояния с двумя bias, все начинаются маленькими и случайными |
| Блок крошечного GPT | ReLU, без bias в линейных слоях: 12d² + 4d весов | GPT-2: GELU и bias: 12d² + 13d |
Ничто из этого не неверно; это выборы. Тихо ломают перенос раскладки: транспонированный вес Linear или изображение с каналами последними дают неверные числа без ошибки, когда размеры случайно совпадают.
Слова и символы этого урока
- голова
- одно из H более узких внимании, работающих бок о бок, каждое со своим узором
Напишите linear_to_torch(W, b), возвращающую (weight, bias) PyTorch, nhwc_to_nchw(X), conv_to_torch(w, c_in), возвращающую вес (C_out, C_in, k, k), и unbiased(var, n), превращающую дисперсию с делением на n в дисперсию с делением на n - 1. Скрытый тест запускает свёртку с каналами первыми, написанную по-PyTorch, с вашими весами и сравнивает её с conv курса.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.