Программа курса Урок 66 из 246 · Модуль 5: Оптимизация
Модуль 5: Оптимизация

Шумные шаги (SGD и мини-батчи)

Почему это важно В настоящих наборах данных миллионы примеров. Вычислять точный градиент по всем им на каждом шаге слишком медленно, поэтому мы оцениваем его по небольшому батчу.

Градиент по мини-батчу использует, скажем, 32 случайных примера вместо всех 512. Он указывает примерно под гору, с некоторым шумом. Вы получаете 16 дешёвых шумных шагов по цене одного точного, и на практике это легко выигрывает.

Что делает шум

Кривая потерь становится зубчатой вместо гладкой, а около дна никогда полностью не успокаивается: она дрожит вокруг минимума. Снижение скорости обучения в конце обучения успокаивает дрожь. Немного шума даже полезно в больших сетях: он вытряхивает путь из плохих мест.

SGD: стохастический градиентный спуск, градиентный спуск с оценками градиента по мини-батчам.

Итоги Много дешёвых шумных шагов лучше немногих точных.

Слова и символы этого урока
SGD
градиентный спуск на небольших случайных батчах
мини-батч
небольшой случайный срез данных, используемый для одного шага
Твоя очередь

Напишите sgd(X, y, lr, batch, epochs, seed) для линейной регрессии (потери: среднеквадратичная ошибка), перемешивая данные каждую эпоху и возвращая (w, losses), где losses - потери на всех данных после каждой эпохи. При batch 32, lr 0,05 и 10 эпохах итог должен быть ниже 0,02.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.