Программа курса Урок 40 из 246 · Модуль 3: От нейрона к MLP
Модуль 3: От нейрона к MLP

Спуск под гору (градиентный спуск вручную)

Почему это важно Подбор весов вручную не масштабируется на миллион весов. Градиент сразу говорит каждому весу, где спуск.

Назовите это

Для потерь L = mean((X @ w + b - y) в квадрате) подтолкните w1, и L изменится на 2 * mean(error * x1), где error - предсказание минус правда. Это производная L по w1. Всё сразу: grad_w = 2 * X.T @ error / n и grad_b = 2 * mean(error).

Прочитайте это простыми словами

Если предсказания слишком высоки (error положительна) на домах большой площади, то уменьшение w1 помогает, а градиент для w1 положителен, поэтому мы его вычитаем. Каждый шаг: w = w - lr * grad_w, где lr, скорость обучения, задаёт размер шага.

Градиентный спуск: повторять "вычислить градиент, сделать маленький шаг против него". Скорость обучения: размер каждого шага.

Угадайте кривую

Прежде чем запустить обучение, угадайте потери на шагах 0, 10, 50 и 200 в my_guess. Код выведет вашу догадку рядом с правдой.

Итоги Градиент, шаг против него, повторить.

Слова и символы этого урока
веса (w, W), смещение (b)
числа, которые учит нейрон; смещение сдвигает его выход
скорость обучения (lr)
насколько велик каждый шаг обучения
Твоя очередь

Напишите gradients(X, y, w, b), возвращающую (grad_w, grad_b), и train(X, y, lr, steps), начинающую с нулей и возвращающую (w, b, losses), где losses хранит потери перед каждым шагом. Сначала заполните my_guess. Обученные потери должны в итоге быть ниже 0,01 при lr 0,5 и 201 шаге, которые просит стартовый код.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.