Шумные шаги (SGD и мини-батчи)
Почему это важно В настоящих наборах данных миллионы примеров. Вычислять точный градиент по всем им на каждом шаге слишком медленно, поэтому мы оцениваем его по небольшому батчу.
Градиент по мини-батчу использует, скажем, 32 случайных примера вместо всех 512. Он указывает примерно под гору, с некоторым шумом. Вы получаете 16 дешёвых шумных шагов по цене одного точного, и на практике это легко выигрывает.
Что делает шум
Кривая потерь становится зубчатой вместо гладкой, а около дна никогда полностью не успокаивается: она дрожит вокруг минимума. Снижение скорости обучения в конце обучения успокаивает дрожь. Немного шума даже полезно в больших сетях: он вытряхивает путь из плохих мест.
SGD: стохастический градиентный спуск, градиентный спуск с оценками градиента по мини-батчам.
Итоги Много дешёвых шумных шагов лучше немногих точных.
Слова и символы этого урока
- SGD
- градиентный спуск на небольших случайных батчах
- мини-батч
- небольшой случайный срез данных, используемый для одного шага
Напишите sgd(X, y, lr, batch, epochs, seed) для линейной регрессии (потери: среднеквадратичная ошибка), перемешивая данные каждую эпоху и возвращая (w, losses), где losses - потери на всех данных после каждой эпохи. При batch 32, lr 0,05 и 10 эпохах итог должен быть ниже 0,02.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.