Chương trình học Bài 61 trên tổng số 246 · Mô-đun 4: Bộ máy autograd của riêng bạn
Mô-đun 4: Bộ máy autograd của riêng bạn

Những lớp tự giữ trọng số của mình

Vì sao điều này quan trọng Các mạng thật có nhiều lớp. Mỗi lớp nên sở hữu trọng số của nó và có thể liệt kê chúng, để mã huấn luyện không bao giờ cần biết bên trong có gì.

Một lớp Linear giữ W và b dưới dạng Tensor và tính x @ W + b. Một MLP giữ một list các lớp Linear với ReLU ở giữa chúng. Cả hai đều có parameters(), một list các Tensor trọng số của chúng.

Vì sao phải đặt gradient về không

Lượt ngược của bạn cộng vào mỗi grad. Điều đó đúng trong một lượt, nhưng giữa các bước gradient cũ vẫn còn nằm đó. Quên xóa nó và mỗi bước dùng tổng của mọi gradient trước đó: việc huấn luyện trôi dạt rồi bùng nổ. Vậy mỗi bước là: đặt grad về không, xuôi, ngược, bước.

Tham số (parameter): một trọng số mà việc huấn luyện thay đổi. zero_grad: đặt lại grad của mọi tham số về không trước lượt ngược tiếp theo.

Khởi tạo trọng số với độ phân tán sqrt(2 / inputs), điều này giữ các tín hiệu ở kích thước hợp lý qua các lớp ReLU. Mô-đun 6 giải thích vì sao.

Từ và ký hiệu trong bài học này
Tensor
ở đây: một mảng cộng gradient của nó cộng các Tensor mà nó được tạo ra từ đó
unbroadcast
cộng một gradient trở lại xuống shape mà nó đã được kéo giãn từ đó
zero_grad
đặt lại các gradient trước bước tiếp theo, vì lượt ngược cộng dồn vào chúng
Đến lượt bạn

Viết Linear, MLP, zero_grad(params) và sgd_step(params, lr) như được mô tả. MLP([64, 32, 10], rng) tạo hai lớp Linear với một ReLU ở giữa và không có cái nào sau lớp cuối.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.