Все курсы Бесплатно · Без аккаунта · В вашем браузере

Нейронные сети: от нейрона до трансформера

Создавайте нейронные сети сами, от одного нейрона до трансформера, затем генеративные модели, диффузию, законы масштабирования и изучение внутреннего устройства модели, на чистом Python и NumPy, обучайте прямо в браузере. Пишите свой autograd, диагностируйте ошибки в запусках, оценивайте утверждения по доказательствам и завершите проект финальной работой, которую можно запустить снова. Бесплатно, без регистрации.

25 модулей 246 уроков 246 упражнений с автоматической проверкой Самостоятельный темп · ~143 материала Обучается в вашем браузере, GPU не требуетсяПредскажи кривую, затем запусти её
Ваш прогресс 0 / 246 упражнений выполнено
Ежедневная цель
Модуль 1 · 60 мин

Модуль 0: Стартовая линия

Вы сможете: рассказать, как устроен курс и что он измеряет; сделать предсказание и сверить его с прогоном; записать свой стартовый результат по четырём шкалам; измерить скорость своего устройства в FLOP.

Модуль 2 · около 8 ч

Модуль 1: Python для этого курса

Вы сможете: писать и тестировать функции над списками и словарями; использовать массивы NumPy, формы, срезы и broadcasting вместо циклов; воспроизводимо задавать seed случайности; писать небольшие классы и замыкания. Проверяется контрольной задачей по Python (уже свободно владеете? сделайте её первой: если пройдёте, модуль засчитывается).

✓ 5 Списки и циклы на реальных данных упражнение 25 мин Просмотр ✓ 6 Функции, которые можно тестировать упражнение 25 мин Просмотр ✓ 7 Словари и подсчёт упражнение 25 мин Просмотр ✓ 8 Чтение сообщения об ошибке упражнение 25 мин Просмотр ✓ 9 Массивы NumPy: почему не списки упражнение 10 мин Просмотр ✓ 10 Формы: строки, столбцы, батчи упражнение 45 мин Просмотр ✓ 11 Вырезание кусков из изображения упражнение 15 мин Просмотр ✓ 12 Замена циклов математикой над целыми массивами упражнение 20 мин Просмотр ✓ 13 Случайные числа, которые можно повторить упражнение 15 мин Просмотр ✓ 14 Среднее, разброс и нормализация упражнение 20 мин Просмотр ✓ 15 Построение графика функции упражнение 20 мин Просмотр ✓ 16 Чтение кривой потерь упражнение 25 мин Просмотр ✓ 17 Загрузка небольшого набора данных упражнение 20 мин Просмотр ✓ 18 Поиск медленной части упражнение 20 мин Просмотр ✓ 19 Объекты, которые помнят (классы и замыкания) упражнение 65 мин Просмотр ✓ 20 Мини-проект: подгонка прямой подталкиванием упражнение 45 мин Просмотр ✓ 21 Контрольная задача: Python для этого курса (ИИ выключен) упражнение 55 мин Просмотр
Этап 1 из 7 · сетевой уровень Стартовая линия Пройдите все 5 упражнений в этом этапе, чтобы получить его слой.
Модуль 3 · около 7 ч

Модуль 2: Математика и вероятность, только по необходимости

Вы сможете: вычислять скалярные произведения, умножения матриц и broadcasting; находить наклоны подталкиванием и по цепному правилу, для чисел и для целых матриц; объяснить, как складывается разброс и что делает собственное значение; вывести градиент softmax; написать log-sum-exp, softmax и перекрёстную энтропию, которые никогда не переполняются (контрольная задача).

✓ 22 Дома как списки чисел (векторы) упражнение 20 мин Просмотр ✓ 23 Скалярное произведение, и почему нейрон - это оно упражнение 20 мин Просмотр ✓ 24 Умножение матриц: целый слой сразу упражнение 15 мин Просмотр ✓ 25 Broadcasting: когда формы растягиваются упражнение 50 мин Просмотр ✓ 26 Наклоны подталкиванием (производные) упражнение 10 мин Просмотр ✓ 27 Передача подталкивания дальше (цепное правило) упражнение 25 мин Просмотр ✓ 28 Почему обратный проход дешёв (обратный режим) упражнение 20 мин Просмотр ✓ 29 Градиенты целых матриц (правило форм) упражнение 15 мин Просмотр ✓ 30 Случайность, средние и разброс упражнение 20 мин Просмотр ✓ 31 Колоколообразная кривая (гауссианы) упражнение 20 мин Просмотр ✓ 32 Как складывается разброс и что растягивает матрица упражнение 50 мин Просмотр ✓ 33 Какая догадка лучше всего объясняет данные (правдоподобие) упражнение 20 мин Просмотр ✓ 34 Оценки в вероятности (softmax) упражнение 20 мин Просмотр ✓ 35 Перекрёстная энтропия - замаскированное правдоподобие упражнение 20 мин Просмотр ✓ 36 Градиент softmax, и почему потери его прячут упражнение 25 мин Просмотр ✓ 37 Насколько различаются две догадки (дивергенция KL) упражнение 20 мин Просмотр ✓ 38 Контрольная задача: математика в коде (ИИ выключен) упражнение 35 мин Просмотр
Модуль 4 · около 8 ч

Модуль 3: От нейрона к MLP

Вы сможете: построить нейрон, активации и двухслойную сеть на NumPy; вывести обратное распространение вручную и проверить его проверкой градиента; обучить распознаватель цифр выше 95%; построить и обучить собственную сеть для нового набора данных (контрольная задача).

✓ 39 Один нейрон предсказывает цену (линейная регрессия) упражнение 20 мин Просмотр ✓ 40 Спуск под гору (градиентный спуск вручную) упражнение 35 мин Просмотр ✓ 41 Ответы да или нет (логистическая регрессия) упражнение 40 мин Просмотр ✓ 42 Продуктивная неудача: XOR одним нейроном упражнение 30 мин Просмотр ✓ 43 Скрытый слой решает XOR смотреть 20 мин Просмотр ✓ 44 Активации: изгиб между слоями упражнение 40 мин Просмотр ✓ 45 Любая кривая из горбов (универсальная аппроксимация) смотреть 30 мин Просмотр ✓ 46 Проверка градиента, которой вы будете пользоваться весь курс упражнение 45 мин Просмотр ✓ 47 Softmax и перекрёстная энтропия вместе упражнение 30 мин Просмотр ✓ 48 Обратное распространение для двухслойной сети вручную смотреть 30 мин Просмотр ✓ 49 Распознаватель цифр на чистом NumPy упражнение 105 мин Просмотр ✓ 50 Контрольная задача: сеть для нового набора данных (ИИ выключен) упражнение 75 мин Просмотр
Модуль 5 · около 8 ч

Модуль 4: Ваш собственный движок autograd

Вы сможете: построить движок autograd обратного режима (граф, топологический порядок, правила backward, broadcasting, свёртки); проверить его подталкиванием; обучить на нём сеть без единого рукописного градиента; самостоятельно добавить новую операцию (контрольная задача).

✓ 51 Затравка: десять строк, которые обучают распознаватель цифр упражнение 10 мин Просмотр ✓ 52 Числа вперёд, градиенты назад смотреть 20 мин Просмотр ✓ 53 Tensor: массив, который помнит упражнение 15 мин Просмотр ✓ 54 Запись графа и его упорядочивание упражнение 45 мин Просмотр ✓ 55 Backward для сложения и умножения упражнение 40 мин Просмотр ✓ 56 Backward для умножения матриц упражнение 15 мин Просмотр ✓ 57 Backward, когда формы растягиваются (broadcasting) упражнение 25 мин Просмотр ✓ 58 Суммы, средние, reshape и транспонирование упражнение 35 мин Просмотр ✓ 59 Softmax и перекрёстная энтропия за один шаг упражнение 60 мин Просмотр ✓ 60 Направьте проверку на свой движок упражнение 60 мин Просмотр ✓ 61 Слои, которые хранят свои веса упражнение 60 мин Просмотр ✓ 62 Распознаватель цифр на вашем собственном движке упражнение 40 мин Просмотр ✓ 63 Контрольная задача: добавьте новую операцию (ИИ выключен) упражнение 30 мин Просмотр
Этап 2 из 7 · сетевой уровень Основы Пройдите все 3 упражнений в этом этапе, чтобы получить его слой.
Модуль 6 · около 6 ч

Модуль 5: Оптимизация

Вы сможете: объяснить, почему вытянутый ландшафт медленный; построить мини-батчевый SGD, момент, RMSProp, Adam и AdamW, расписания и обрезку; выбрать и настроить оптимизатор для невиданной задачи в рамках бюджета (контрольная задача).

Модуль 7 · около 4 ч

Модуль 6: Начальные веса и нормализация

Вы сможете: измерять сигналы по глубине и выбирать масштабы Xavier, LeCun или He; находить мёртвые элементы; строить BatchNorm в прямом и обратном проходе, LayerNorm и RMSNorm; избегать ловушки обучения и оценки; использовать обходные связи в глубоких сетях.

Модуль 8 · около 4 ч

Модуль 7: Работа на новых данных

Вы сможете: измерять переобучение и недообучение, смещение и дисперсию; использовать затухание весов, dropout, аугментацию и раннюю остановку; честно читать двойной спуск и кривые обучения; настраивать модель на валидационных данных и сообщать о ней по отложенным данным (контрольная задача).

Модуль 9 · около 4 ч

Модуль 8: Клиника запусков I

Вы сможете: проводить две первые проверки на любом запуске обучения; выбирать пробы, разделяющие вероятные неисправности; диагностировать и чинить сломанные запуски маленьким изменением в рамках бюджета (контрольная задача); судить диагнозы ИИ-помощника по доказательствам.

Модуль 10 · около 4 ч

Модуль 9: Действительно ли лучше?

Вы сможете: разбивать данные без утечки; использовать precision и recall; измерять разброс по seed; ставить бутстрэп-интервалы на результат; измерять калибровку; сравнивать две модели парным интервалом и принимать решение (контрольная задача).

Этап 3 из 7 · сетевой уровень Как заставить обучение работать Пройдите все 40 упражнений в этом этапе, чтобы получить его слой.
Модуль 11 · около 10 ч

Модуль 10: Сети, которые видят (CNN)

Вы сможете: построить свёртку, padding, пулинг и их градиенты, а также im2col; обучать CNN на движке курса; читать записанные запуски по нескольким seed; проверять карты значимости против базовой линии; использовать перенос обучения; спроектировать CNN в рамках бюджета весов (контрольная задача).

✓ 111 Почему изображения ломают MLP упражнение 15 мин Просмотр ✓ 112 Свёртка вручную смотреть 35 мин Просмотр ✓ 113 Padding, stride и пулинг упражнение 20 мин Просмотр ✓ 114 Какую часть изображения видит один нейрон смотреть 25 мин Просмотр ✓ 115 Свёртка назад упражнение 45 мин Просмотр ✓ 116 Быстрая свёртка: одно большое матричное умножение (im2col) смотреть 40 мин Просмотр ✓ 117 Почему та же математика может работать в несколько раз быстрее упражнение 20 мин Просмотр ✓ 118 Меньше битов: float32, float16 и масштабирование потерь упражнение 30 мин Просмотр ✓ 119 Маленькая CNN на цифрах упражнение 75 мин Просмотр ✓ 120 Более глубокие сети и записанные запуски упражнение 60 мин Просмотр ✓ 121 Куда смотрит сеть, с проверкой упражнение 100 мин Просмотр ✓ 122 Повторное использование обученной сети (перенос обучения) упражнение 65 мин Просмотр ✓ 123 Обратно вверх: увеличение и транспонированная свёртка упражнение 35 мин Просмотр ✓ 124 Контрольная задача: CNN для новой задачи с изображениями (ИИ выключен) упражнение 60 мин Просмотр
Модуль 12 · около 4 ч

Модуль 11: Сети с памятью (RNN)

Вы сможете: построить RNN и символьную модель; вывести обратное распространение во времени; измерить затухающие градиенты; построить вентили LSTM; читать записанные эксперименты о памяти и узком месте; делать выборку с температурой; починить сломанную рекуррентную модель (контрольная задача).

Модуль 14 · около 10 ч

Модуль 13: Внимание и трансформеры

Вы сможете: построить внимание, каузальную маску, головы, позиции, layer norm и целый блок, совпадающий с настоящей моделью; вывести обратный проход внимания; обучить небольшой GPT; читать записанные прогоны; генерировать с кэшем; сопоставить свой движок с PyTorch; починить сломанный трансформер (контрольная задача).

✓ 141 Внимание - это мягкий поиск смотреть 20 мин Просмотр ✓ 142 Зачем делить на квадратный корень из d упражнение 45 мин Просмотр ✓ 143 Внимание устраняет узкое место упражнение 40 мин Просмотр ✓ 144 Self-attention: каждая позиция спрашивает каждую другую упражнение 20 мин Просмотр ✓ 145 Каузальная маска: не подглядывать смотреть 45 мин Просмотр ✓ 146 Обратный проход через внимание упражнение 25 мин Просмотр ✓ 147 Много голов, та же цена смотреть 40 мин Просмотр ✓ 148 Внимание не чувствует порядка упражнение 50 мин Просмотр ✓ 149 Позиции как волны упражнение 50 мин Просмотр ✓ 150 Layer norm: держите каждый вектор в пределах упражнение 20 мин Просмотр ✓ 151 Один блок трансформера, вручную смотреть 60 мин Просмотр ✓ 152 Где находятся параметры упражнение 10 мин Просмотр ✓ 153 Обучите крошечный GPT вживую упражнение 25 мин Просмотр ✓ 154 Широким моделям нужны шаги поменьше упражнение 60 мин Просмотр ✓ 155 На что смотрят головы упражнение 40 мин Просмотр ✓ 156 Быстрая генерация: кэш ключей и значений смотреть 40 мин Просмотр ✓ 157 Ваш движок в терминах PyTorch упражнение 25 мин Просмотр ✓ 158 Контрольная задача: сломанный трансформер (ИИ выключен) упражнение 15 мин Просмотр
Модуль 15 · около 4 ч

Модуль 14: Клиника запусков II

Вы сможете: диагностировать сломанные модели последовательностей, включая жульничество, которое выглядит отлично, застой, размеры шага и ошибки сэмплирования; читать проваленные записанные запуски; судить ИИ-помощника по доказательствам; диагностировать самостоятельно в рамках бюджета (контрольная задача); сравнить свой итоговый экзамен со своей отправной точкой.

Этап 4 из 7 · сетевой уровень Архитектуры для структуры Пройдите все 56 упражнений в этом этапе, чтобы получить его слой.
Модуль 16 · около 5 ч

Модуль 15: Сжать, восстановить, сгенерировать (автокодировщики и VAE)

Вы сможете: сжимать цифры в несколько чисел и восстанавливать их; с измерениями сказать, почему автокодировщик не может создавать новые цифры; вычислять KL между двумя колоколообразными кривыми и ELBO; делать выборку так, чтобы через неё можно было обучать; обучить VAE, который создаёт новые цифры; переходить между цифрами; самостоятельно диагностировать и починить схлопнувшийся VAE (контрольная задача).

Модуль 17 · около 4 ч

Модуль 16: Две сети в игре (GAN, по желанию)

Необязательный модуль, для сертификата не нужен. Вы сможете: написать потери GAN и по их наклонам сказать, когда насыщающиеся буксуют; обучить GAN на восьми сгустках и оценить его покрытие; вызвать коллапс мод; проверить стабилизирующие трюки на записанных seed и сообщить, что помогло; запустить свёрточный генератор; самостоятельно спасти сломанный GAN (контрольная задача).

Модуль 18 · около 8 ч

Модуль 17: На входе шум, на выходе картинки (диффузия)

Вы сможете: добавлять шум по расписанию, шаг за шагом и одним прыжком; читать стрелки сети обратно к данным; обучить предсказатель шума; сэмплировать с DDPM и объяснить, зачем обрезают чистую оценку; сравнивать расписания шума и входы времени измерением; построить U-Net; сэмплировать за меньшее число шагов с DDIM; направлять сэмплы с classifier-free guidance; дообучить обученную модель; подогнать новую фигуру самостоятельно (контрольная задача).

Модуль 19 · около 6 ч

Модуль 18: Обучение без меток

Вы сможете: оценивать признаки по согласию ближайших соседей и по написанному вами линейному зонду; предобучать маскированным предсказанием; написать InfoNCE и сказать, почему это перекрёстная энтропия; предобучать SimCLR и понимать, что решают его аугментации; сопоставлять подписи с картинками (по желанию); проверять признаки на объектах, которых модель никогда не видела, самостоятельно (контрольная задача).

Этап 5 из 7 · сетевой уровень Сети, которые создают Пройдите все 26 упражнений в этом этапе, чтобы получить его слой.
Модуль 20 · около 5 ч

Модуль 19: Больше и насколько лучше (законы масштабирования)

Вы сможете: оценить стоимость прогона обучения в FLOP; подогнать степенной закон с нижней границей и доверительными интервалами; понять, что ограничивает прогон: веса или данные; спланировать лучший размер модели при фиксированном бюджете; предсказать более крупный прогон и проверить его; отличить настоящий скачок от метрики, которая его создаёт; спланировать прогон самостоятельно (контрольная задача).

Модуль 21 · около 5 ч

Модуль 20: Дешевая адаптация обученной модели

Вы сможете: показать катастрофическое забывание; считать, строить и проверять градиент LoRA; выбирать его rank на основе измерений; дообучать модель на вашем собственном тексте без ее разрушения; говорить, когда помогает дистилляция; квантовать веса и предсказывать стоимость; настраивать предпочтения с помощью DPO и останавливаться вовремя; выбирать метод для ситуации; достигать цели адаптации в одиночку в рамках бюджета (the gate).

Модуль 22 · около 8 ч

Модуль 21: Взгляд внутрь модели

Вы сможете: сказать, является ли свидетельство о внутренностях модели узором, эффектом или механизмом; запустить зонд с контролем; подменять активации, чтобы найти, где находится информация; удалять части и проверять наличие резерва; проверить механизм из учебника на модели перед вами; показать суперпозицию на игрушке; обучить разреженный автокодировщик и проверить метку признака на невиданном тексте; читать grokking по записанным прогонам и проверять его волны, удаляя их; самостоятельно найти, где находится информация, на новых входах (контрольная задача).

Модуль 23 · около 5 ч

Модуль 22: Оценка утверждений

Вы сможете: найти утёкшую тестовую выборку по пересечению и сообщить чистый результат; разложить средние потери по части, которая важна; сказать, чем различаются обнуляющая и усредняющая абляции, и указать метод; отличить разницу на одном seed от измеренной разницы по стандартным ошибкам; воспроизвести результат на новых seed и найти настройку, где он перестаёт выполняться; самостоятельно проверить утверждение (контрольная задача).

Этап 6 из 7 · сетевой уровень Масштаб и понимание Пройдите все 36 упражнений в этом этапе, чтобы получить его слой.
Модуль 24 · около 7 ч

Модуль 23: Студия итогового проекта: model card, которую можно запустить

Вы сможете: спланировать проект с бюджетом FLOP; предсказать и прогнать базовый запуск на нескольких seed; судить об изменениях с планками погрешностей; найти ошибку, с которой модель всё равно обучается, проверкой градиентов; сделать находку внутри своей модели против необученного контроля; один раз оценить модель на скрытом наборе с планками погрешностей; написать model card, каждое число которой совпадает с вашим логом запусков; экспортировать один офлайн-файл, запуски из которого воспроизводятся.

Модуль 25 · 50 мин

Модуль 24: Итоговый экзамен и повторная проверка

Вы сможете: показать с выключенным ИИ, чему научила часть 2, по всем четырём шкалам (форма C); сравнить свои шкалы со старта до конца части 2; через месяц проверить, что осталось (форма D, по желанию).

Этап 7 из 7 · сетевой уровень Итоговый проект и доказательство Пройдите все 10 упражнений в этом этапе, чтобы получить его слой.