Почему вытянутая чаша медленная (обусловленность)
Почему это важно Настоящие ландшафты потерь крутые в одних направлениях и почти плоские в других. Именно это несоответствие, а не число весов, делает простой градиентный спуск медленным.
Посмотрите
Возьмите f = (k x squared + y squared) / 2. При k = 1 это круглая чаша. При k = 100 это длинная узкая долина: крутая поперёк, пологая вдоль. Скорость обучения должна подходить обоим направлениям сразу. Лучший единый выбор, lr = 2 / (k + 1), заставляет каждый шаг сохранять (k - 1) / (k + 1) расстояния в обоих направлениях: 0,98 при k = 100. Чуть больше - и крутое направление проскакивает и успокаивается медленнее (выше 2 / k оно растёт без предела); чуть меньше - и пологое направление ползёт ещё медленнее. Поэтому путь зигзагом пересекает долину, пока ползёт вдоль неё.
Число обусловленности: отношение самой крутой кривизны к самой пологой, здесь k. Простому градиентному спуску нужно примерно k шагов, чтобы заметно продвинуться.
Угадайте кривую: перед запуском предскажите, сколько шагов нужно, чтобы оказаться в пределах 0,001 от дна при k = 1, 10 и 100, с лучшей фиксированной скоростью обучения 2 / (k + 1).
Итоги Вытянутость замедляет простой спуск пропорционально вытянутости.
Слова и символы этого урока
- число обусловленности
- во сколько раз самое крутое направление круче самого пологого
Заполните my_guess (три числа шагов), затем напишите steps_to_converge(k): начните с (1, 1), используйте lr = 2 / (k + 1) и считайте шаги, пока расстояние до (0, 0) не станет меньше 0,001 (остановитесь на 100 000).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.