Программа курса Урок 65 из 246 · Модуль 5: Оптимизация
Модуль 5: Оптимизация

Почему вытянутая чаша медленная (обусловленность)

Почему это важно Настоящие ландшафты потерь крутые в одних направлениях и почти плоские в других. Именно это несоответствие, а не число весов, делает простой градиентный спуск медленным.

Посмотрите

Возьмите f = (k x squared + y squared) / 2. При k = 1 это круглая чаша. При k = 100 это длинная узкая долина: крутая поперёк, пологая вдоль. Скорость обучения должна подходить обоим направлениям сразу. Лучший единый выбор, lr = 2 / (k + 1), заставляет каждый шаг сохранять (k - 1) / (k + 1) расстояния в обоих направлениях: 0,98 при k = 100. Чуть больше - и крутое направление проскакивает и успокаивается медленнее (выше 2 / k оно растёт без предела); чуть меньше - и пологое направление ползёт ещё медленнее. Поэтому путь зигзагом пересекает долину, пока ползёт вдоль неё.

Число обусловленности: отношение самой крутой кривизны к самой пологой, здесь k. Простому градиентному спуску нужно примерно k шагов, чтобы заметно продвинуться.

Угадайте кривую: перед запуском предскажите, сколько шагов нужно, чтобы оказаться в пределах 0,001 от дна при k = 1, 10 и 100, с лучшей фиксированной скоростью обучения 2 / (k + 1).

Итоги Вытянутость замедляет простой спуск пропорционально вытянутости.

Слова и символы этого урока
число обусловленности
во сколько раз самое крутое направление круче самого пологого
Твоя очередь

Заполните my_guess (три числа шагов), затем напишите steps_to_converge(k): начните с (1, 1), используйте lr = 2 / (k + 1) и считайте шаги, пока расстояние до (0, 0) не станет меньше 0,001 (остановитесь на 100 000).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.