Поверхности потерь, по которым можно пройти
Почему это важно Каждый оптимизатор - это свой способ идти под гору по ландшафту, которого не видно. Сначала пройдите простой.
Представьте потери как ландшафт: два веса - ваше положение на карте, а потери - высота. Обучение - это ходьба под гору. Градиент указывает в гору, поэтому каждый шаг идёт в противоположную сторону: position = position - lr * gradient.
Маленькие числа
На чаше f(x, y) = x squared + y squared градиент в точке (3, 4) равен (6, 8). При lr 0,1 шаг ведёт в (3 - 0,6, 4 - 0,8) = (2,4, 3,2). Каждый шаг сохраняет 80% расстояния до дна, поэтому после 20 шагов вы примерно в 1% от того места, где начали.
Скорость обучения: насколько далеко шагать относительно градиента. Слишком маленькая ползёт; слишком большая проскакивает.
Итоги Шагайте против градиента; скорость обучения задаёт длину шага.
Напишите descend(grad, start, lr, steps), которая возвращает список посещённых положений (включая start) как массивы NumPy. Затем выберите my_lr так, чтобы на чаше из урока, начиная с (3, 4), вы оказались в пределах 0,01 от дна не более чем за 15 шагов.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.