Программа курса Урок 64 из 246 · Модуль 5: Оптимизация
Модуль 5: Оптимизация

Поверхности потерь, по которым можно пройти

Почему это важно Каждый оптимизатор - это свой способ идти под гору по ландшафту, которого не видно. Сначала пройдите простой.

Представьте потери как ландшафт: два веса - ваше положение на карте, а потери - высота. Обучение - это ходьба под гору. Градиент указывает в гору, поэтому каждый шаг идёт в противоположную сторону: position = position - lr * gradient.

Маленькие числа

На чаше f(x, y) = x squared + y squared градиент в точке (3, 4) равен (6, 8). При lr 0,1 шаг ведёт в (3 - 0,6, 4 - 0,8) = (2,4, 3,2). Каждый шаг сохраняет 80% расстояния до дна, поэтому после 20 шагов вы примерно в 1% от того места, где начали.

Скорость обучения: насколько далеко шагать относительно градиента. Слишком маленькая ползёт; слишком большая проскакивает.

Итоги Шагайте против градиента; скорость обучения задаёт длину шага.

Твоя очередь

Напишите descend(grad, start, lr, steps), которая возвращает список посещённых положений (включая start) как массивы NumPy. Затем выберите my_lr так, чтобы на чаше из урока, начиная с (3, 4), вы оказались в пределах 0,01 от дна не более чем за 15 шагов.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.