Программа курса Урок 101 из 250 · Интуиция нейросетей, LLM и ИИ Капстоун
Интуиция нейросетей, LLM и ИИ Капстоун

Как обучаются модели

A новая сеть имеет случайные веса и бесполезна. Training это процесс изменения этих весов до тех пор, пока результат не станет хорошим. Две идеи движут этим.

1. Функция потерь измеряет неправильность

Вам нужно одно число, которое показывает, насколько плохи предсказания. Для регрессии стандартным выбором является среднеквадратичная ошибка (MSE): усредните квадраты разностей между истиной и предсказанием.

def mse(y_true, y_pred):
    diffs = np.asarray(y_true) - np.asarray(y_pred)
    return float(np.mean(diffs ** 2))

Возведение в квадрат сильнее наказывает за большие ошибки и делает все значения положительными. Меньший loss лучше; нулевой loss означает идеальное соответствие.

2. Градиентный спуск катится вниз

Представьте функцию потерь как холмистую поверхность, а веса как ваше положение на ней. gradient это склон: он указывает вверх, к большим потерям. Поэтому чтобы уменьшить потери, вы делаете маленький шаг в opposite направлении.

w = w - learning_rate * gradient

Скорость обучения learning rate это размер шага. Повторите это тысячи раз и веса скатятся к долине с низким значением loss. Этот цикл и есть всё обучение.

Для учебной модели y = w * x с MSE градиент функции потерь по w равен mean(2 * (w*x - y) * x). Вы сделаете ровно один шаг и увидите, как падает функция потерь.

От одного веса к целой сети

Двухслойная сеть, которую вы построили в прошлом уроке, имеет много весов, а не один. Обучение сети означает поиск градиента функции потерь по отношению к каждому весу, слой за слоем. Это backpropagation: начните с функции потерь и примените правило цепочки в обратном порядке через каждый слой, чтобы получить производную для каждого веса, затем сделайте один и тот же шаг вниз для всех сразу. Арифметика сложнее, но идея идентична тому единственному шагу, который вы делаете ниже. В реальном коде вы никогда не вычисляете это вручную: фреймворки вроде PyTorch записывают прямой проход, и один loss.backward() вызов вычисляет все градиенты за вас. Мы делаем версию с одним весом здесь, чтобы механизм оставался конкретным.

Твоя очередь

Реализуйте mse(y_true, y_pred) (среднее квадратов разностей). Затем для учебной модели y = w * x вычислите loss_before, сделайте один шаг градиентного спуска используя grad = np.mean(2 * (w*x - y) * x) и w = w - lr * grad, а потом вычислите loss_after. Потери должны уменьшиться.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.