Нейронные сети: от нейрона до трансформера
Создавайте нейронные сети сами, от одного нейрона до трансформера, затем генеративные модели, диффузию, законы масштабирования и изучение внутреннего устройства модели, на чистом Python и NumPy, обучайте прямо в браузере. Пишите свой autograd, диагностируйте ошибки в запусках, оценивайте утверждения по доказательствам и завершите проект финальной работой, которую можно запустить снова. Бесплатно, без регистрации.
Real Python и NumPy готовы в этой вкладке.
Никакой установки, никаких аккаунтов, никакой настройки. Каждая сеть в этом курсе обучается на вашем устройстве, и ничего из написанного вами не покидает его. Модуль 1 освежает нужные знания по Python и NumPy. Уже в теме? Его последний урок это короткий барьер, который можно пройти первым: пройдите его, и курс сразу переведет вас дальше.
Ежедневный обзор
Интервальные повторения не дают выученному материалу забыться.
Модуль 0: Стартовая линия
Вы сможете: рассказать, как устроен курс и что он измеряет; сделать предсказание и сверить его с прогоном; записать свой стартовый результат по четырём шкалам; измерить скорость своего устройства в FLOP.
Модуль 1: Python для этого курса
Вы сможете: писать и тестировать функции над списками и словарями; использовать массивы NumPy, формы, срезы и broadcasting вместо циклов; воспроизводимо задавать seed случайности; писать небольшие классы и замыкания. Проверяется контрольной задачей по Python (уже свободно владеете? сделайте её первой: если пройдёте, модуль засчитывается).
Модуль 2: Математика и вероятность, только по необходимости
Вы сможете: вычислять скалярные произведения, умножения матриц и broadcasting; находить наклоны подталкиванием и по цепному правилу, для чисел и для целых матриц; объяснить, как складывается разброс и что делает собственное значение; вывести градиент softmax; написать log-sum-exp, softmax и перекрёстную энтропию, которые никогда не переполняются (контрольная задача).
Модуль 3: От нейрона к MLP
Вы сможете: построить нейрон, активации и двухслойную сеть на NumPy; вывести обратное распространение вручную и проверить его проверкой градиента; обучить распознаватель цифр выше 95%; построить и обучить собственную сеть для нового набора данных (контрольная задача).
Модуль 4: Ваш собственный движок autograd
Вы сможете: построить движок autograd обратного режима (граф, топологический порядок, правила backward, broadcasting, свёртки); проверить его подталкиванием; обучить на нём сеть без единого рукописного градиента; самостоятельно добавить новую операцию (контрольная задача).
Модуль 5: Оптимизация
Вы сможете: объяснить, почему вытянутый ландшафт медленный; построить мини-батчевый SGD, момент, RMSProp, Adam и AdamW, расписания и обрезку; выбрать и настроить оптимизатор для невиданной задачи в рамках бюджета (контрольная задача).
Модуль 6: Начальные веса и нормализация
Вы сможете: измерять сигналы по глубине и выбирать масштабы Xavier, LeCun или He; находить мёртвые элементы; строить BatchNorm в прямом и обратном проходе, LayerNorm и RMSNorm; избегать ловушки обучения и оценки; использовать обходные связи в глубоких сетях.
Модуль 7: Работа на новых данных
Вы сможете: измерять переобучение и недообучение, смещение и дисперсию; использовать затухание весов, dropout, аугментацию и раннюю остановку; честно читать двойной спуск и кривые обучения; настраивать модель на валидационных данных и сообщать о ней по отложенным данным (контрольная задача).
Модуль 8: Клиника запусков I
Вы сможете: проводить две первые проверки на любом запуске обучения; выбирать пробы, разделяющие вероятные неисправности; диагностировать и чинить сломанные запуски маленьким изменением в рамках бюджета (контрольная задача); судить диагнозы ИИ-помощника по доказательствам.
Модуль 9: Действительно ли лучше?
Вы сможете: разбивать данные без утечки; использовать precision и recall; измерять разброс по seed; ставить бутстрэп-интервалы на результат; измерять калибровку; сравнивать две модели парным интервалом и принимать решение (контрольная задача).
Модуль 10: Сети, которые видят (CNN)
Вы сможете: построить свёртку, padding, пулинг и их градиенты, а также im2col; обучать CNN на движке курса; читать записанные запуски по нескольким seed; проверять карты значимости против базовой линии; использовать перенос обучения; спроектировать CNN в рамках бюджета весов (контрольная задача).
Модуль 11: Сети с памятью (RNN)
Вы сможете: построить RNN и символьную модель; вывести обратное распространение во времени; измерить затухающие градиенты; построить вентили LSTM; читать записанные эксперименты о памяти и узком месте; делать выборку с температурой; починить сломанную рекуррентную модель (контрольная задача).
Модуль 12: Слова как числа (эмбеддинги)
Вы сможете: считать эмбеддинг поиском по таблице; построить токенизатор, сливающий пары; делать векторы слов подсчётом и через skip-gram; измерить и убрать скопированный ими перекос; сделать всё это самостоятельно в невиданном мире (контрольная задача).
Модуль 13: Внимание и трансформеры
Вы сможете: построить внимание, каузальную маску, головы, позиции, layer norm и целый блок, совпадающий с настоящей моделью; вывести обратный проход внимания; обучить небольшой GPT; читать записанные прогоны; генерировать с кэшем; сопоставить свой движок с PyTorch; починить сломанный трансформер (контрольная задача).
Модуль 14: Клиника запусков II
Вы сможете: диагностировать сломанные модели последовательностей, включая жульничество, которое выглядит отлично, застой, размеры шага и ошибки сэмплирования; читать проваленные записанные запуски; судить ИИ-помощника по доказательствам; диагностировать самостоятельно в рамках бюджета (контрольная задача); сравнить свой итоговый экзамен со своей отправной точкой.
Модуль 15: Сжать, восстановить, сгенерировать (автокодировщики и VAE)
Вы сможете: сжимать цифры в несколько чисел и восстанавливать их; с измерениями сказать, почему автокодировщик не может создавать новые цифры; вычислять KL между двумя колоколообразными кривыми и ELBO; делать выборку так, чтобы через неё можно было обучать; обучить VAE, который создаёт новые цифры; переходить между цифрами; самостоятельно диагностировать и починить схлопнувшийся VAE (контрольная задача).
Модуль 16: Две сети в игре (GAN, по желанию)
Необязательный модуль, для сертификата не нужен. Вы сможете: написать потери GAN и по их наклонам сказать, когда насыщающиеся буксуют; обучить GAN на восьми сгустках и оценить его покрытие; вызвать коллапс мод; проверить стабилизирующие трюки на записанных seed и сообщить, что помогло; запустить свёрточный генератор; самостоятельно спасти сломанный GAN (контрольная задача).
Модуль 17: На входе шум, на выходе картинки (диффузия)
Вы сможете: добавлять шум по расписанию, шаг за шагом и одним прыжком; читать стрелки сети обратно к данным; обучить предсказатель шума; сэмплировать с DDPM и объяснить, зачем обрезают чистую оценку; сравнивать расписания шума и входы времени измерением; построить U-Net; сэмплировать за меньшее число шагов с DDIM; направлять сэмплы с classifier-free guidance; дообучить обученную модель; подогнать новую фигуру самостоятельно (контрольная задача).
Модуль 18: Обучение без меток
Вы сможете: оценивать признаки по согласию ближайших соседей и по написанному вами линейному зонду; предобучать маскированным предсказанием; написать InfoNCE и сказать, почему это перекрёстная энтропия; предобучать SimCLR и понимать, что решают его аугментации; сопоставлять подписи с картинками (по желанию); проверять признаки на объектах, которых модель никогда не видела, самостоятельно (контрольная задача).
Модуль 19: Больше и насколько лучше (законы масштабирования)
Вы сможете: оценить стоимость прогона обучения в FLOP; подогнать степенной закон с нижней границей и доверительными интервалами; понять, что ограничивает прогон: веса или данные; спланировать лучший размер модели при фиксированном бюджете; предсказать более крупный прогон и проверить его; отличить настоящий скачок от метрики, которая его создаёт; спланировать прогон самостоятельно (контрольная задача).
Модуль 20: Дешевая адаптация обученной модели
Вы сможете: показать катастрофическое забывание; считать, строить и проверять градиент LoRA; выбирать его rank на основе измерений; дообучать модель на вашем собственном тексте без ее разрушения; говорить, когда помогает дистилляция; квантовать веса и предсказывать стоимость; настраивать предпочтения с помощью DPO и останавливаться вовремя; выбирать метод для ситуации; достигать цели адаптации в одиночку в рамках бюджета (the gate).
Модуль 21: Взгляд внутрь модели
Вы сможете: сказать, является ли свидетельство о внутренностях модели узором, эффектом или механизмом; запустить зонд с контролем; подменять активации, чтобы найти, где находится информация; удалять части и проверять наличие резерва; проверить механизм из учебника на модели перед вами; показать суперпозицию на игрушке; обучить разреженный автокодировщик и проверить метку признака на невиданном тексте; читать grokking по записанным прогонам и проверять его волны, удаляя их; самостоятельно найти, где находится информация, на новых входах (контрольная задача).
Модуль 22: Оценка утверждений
Вы сможете: найти утёкшую тестовую выборку по пересечению и сообщить чистый результат; разложить средние потери по части, которая важна; сказать, чем различаются обнуляющая и усредняющая абляции, и указать метод; отличить разницу на одном seed от измеренной разницы по стандартным ошибкам; воспроизвести результат на новых seed и найти настройку, где он перестаёт выполняться; самостоятельно проверить утверждение (контрольная задача).
Модуль 23: Студия итогового проекта: model card, которую можно запустить
Вы сможете: спланировать проект с бюджетом FLOP; предсказать и прогнать базовый запуск на нескольких seed; судить об изменениях с планками погрешностей; найти ошибку, с которой модель всё равно обучается, проверкой градиентов; сделать находку внутри своей модели против необученного контроля; один раз оценить модель на скрытом наборе с планками погрешностей; написать model card, каждое число которой совпадает с вашим логом запусков; экспортировать один офлайн-файл, запуски из которого воспроизводятся.
Модуль 24: Итоговый экзамен и повторная проверка
Вы сможете: показать с выключенным ИИ, чему научила часть 2, по всем четырём шкалам (форма C); сравнить свои шкалы со старта до конца части 2; через месяц проверить, что осталось (форма D, по желанию).
Только вы можете их распечатать или сохранить. Ссылки сохранены в этом браузере. Чтобы показать кому-то, поделитесь ссылкой verify из сертификата.