강의 계획 레슨 250개 중 106번째 · 신경망 직관, LLM, AI 캡스톤
신경망 직관, LLM, AI 캡스톤

여러분의 엔진으로 모델 훈련하기

자동 미분 엔진을 만들었어요. 이제 그것으로 실제로 배우세요, 모든 신경망을 훈련하는 반복이에요. Value 클래스는 주어져요(이제 평범한 숫자도 감싸서, x가 float일 때 w * x가 작동해요). 여러분의 일은 훈련 반복이에요.

w * x가 y를 예측하도록 가중치 하나 w를 맞추세요. 경사 하강 한 걸음은 언제나 같은 움직임이에요:

w = Value(0.0)
for step in range(steps):
    loss = Value(0.0)
    for x, y in zip(xs, ys):
        diff = w * x + (-y)          # prediction minus target
        loss = loss + diff * diff    # squared error, summed
    w.grad = 0.0                     # 1) reset the gradient
    loss.backward()                  # 2) backprop to fill w.grad
    w.data -= lr * w.grad            # 3) step downhill

쉬운 실수 두 개: 매 backward() 전에 기울기를 0으로 하지 않으면 옛 기울기가 쌓여요(backward는 +=를 써요). 그리고 내리막으로 가려면 lr * w.grad를 더하지 말고 빼세요. 걸음이 충분하면 w는 손실을 최소화하는 값, 가장 잘 맞는 직선으로 미끄러져요.

w = Value(0.0)에서 시작해 마지막 w.data를 돌려주는 fit(xs, ys, steps, lr)를 쓰세요. Run을 눌러 y = 2x를 배우는 걸 보세요.

내 차례

w * x가 y를 예측하도록 경사 하강으로 가중치 w(Value(0.0)에서 시작)를 맞추는 fit(xs, ys, steps, lr)를 쓰세요. 매 걸음: Value 연산으로 합친 제곱 오차인 loss를 만들고, w.grad = 0.0으로 정하고, loss.backward(), 그다음 w.data -= lr * w.grad. 마지막 w.data를 돌려주세요. Value 클래스는 주어져요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.