Программа курса Урок 106 из 250 · Интуиция нейросетей, LLM и ИИ Капстоун
Интуиция нейросетей, LLM и ИИ Капстоун

Обучите модель с помощью своего движка

Вы построили движок autograd. Теперь используйте его, чтобы реально изучить, цикл, который обучает каждую нейронную сеть. Класс Value дан (теперь он также оборачивает обычные числа, поэтому w * x работает, когда x это float). Ваша задача это цикл обучения.

Подберите один вес w так, чтобы w * x предсказывал y. Один шаг градиентного спуска всегда состоит из одних и тех же действий:

w = Value(0.0)
for step in range(steps):
    loss = Value(0.0)
    for x, y in zip(xs, ys):
        diff = w * x + (-y)          # prediction minus target
        loss = loss + diff * diff    # squared error, summed
    w.grad = 0.0                     # 1) reset the gradient
    loss.backward()                  # 2) backprop to fill w.grad
    w.data -= lr * w.grad            # 3) step downhill

Две простые ошибки: обнуление градиента перед каждым backward() или старые градиенты накапливаются (backward использует +=); и вычитание lr * w.grad чтобы идти вниз, а не сложение. За достаточное количество шагов w скользит к значению, которое минимизирует loss, линии наилучшего соответствия.

Напишите fit(xs, ys, steps, lr) начиная с w = Value(0.0), возвращая финальный w.data. Нажмите Run чтобы увидеть как он учит y = 2x.

Твоя очередь

Напишите fit(xs, ys, steps, lr), который подходит к весу w (начало Value(0.0)) методом градиентного спуска, чтобы w * x предсказывал y. Каждый шаг: постройте loss как сумму квадратов ошибок с операциями Value, установите w.grad = 0.0, loss.backward(), затем w.data -= lr * w.grad. Верните финальный w.data. Класс Value предоставлен.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.