Chương trình học Bài 106 trên tổng số 250 · Trực giác về mạng nơ-ron, LLM và dự án cuối về AI
Trực giác về mạng nơ-ron, LLM và dự án cuối về AI

Huấn luyện một mô hình bằng engine của bạn

Bạn đã xây engine autograd. Giờ hãy dùng nó để thật sự học, vòng lặp huấn luyện mọi mạng nơ-ron. Lớp Value được cho sẵn (giờ nó cũng bọc được số trơn, nên w * x chạy khi x là một float). Việc của bạn là vòng lặp huấn luyện.

Fit một trọng số duy nhất w để w * x dự đoán y. Một bước gradient descent luôn gồm cùng các động tác:

w = Value(0.0)
for step in range(steps):
    loss = Value(0.0)
    for x, y in zip(xs, ys):
        diff = w * x + (-y)          # prediction minus target
        loss = loss + diff * diff    # squared error, summed
    w.grad = 0.0                     # 1) reset the gradient
    loss.backward()                  # 2) backprop to fill w.grad
    w.data -= lr * w.grad            # 3) step downhill

Hai lỗi dễ mắc: đặt gradient về không trước mỗi backward() nếu không gradient cũ sẽ chồng chất (backward dùng +=); và trừ lr * w.grad để đi xuống dốc, không phải cộng. Qua đủ bước w trượt tới giá trị tối thiểu hóa mất mát, đường khớp nhất.

Viết fit(xs, ys, steps, lr) bắt đầu từ w = Value(0.0), trả về w.data cuối cùng. Nhấn Chạy để xem nó học y = 2x.

Đến lượt bạn

Viết fit(xs, ys, steps, lr) fit một trọng số w (bắt đầu Value(0.0)) bằng gradient descent để w * x dự đoán y. Mỗi bước: dựng loss là tổng sai số bình phương bằng các phép toán Value, đặt w.grad = 0.0, loss.backward(), rồi w.data -= lr * w.grad. Trả về w.data cuối cùng. Lớp Value được cung cấp.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.