Chương trình học Bài 55 trên tổng số 246 · Mô-đun 4: Bộ máy autograd của riêng bạn
Mô-đun 4: Bộ máy autograd của riêng bạn

Lượt ngược cho phép cộng và phép nhân

Vì sao điều này quan trọng Với hai quy tắc này và việc sắp thứ tự, bộ máy của bạn đã có thể lấy vi phân bất kỳ công thức nào được làm từ tổng và tích.

Mỗi phép toán gắn một hàm nhỏ, _backward, vào Tensor mà nó tạo ra. Khi được gọi, nó đọc out.grad và cộng phần của nó vào grad của mỗi cha mẹ:

  • Với out = a + b: a nhận out.grad, b nhận out.grad.
  • Với out = a * b: a nhận out.grad * b.data, b nhận out.grad * a.data.

Luôn luôn cộng vào grad của cha mẹ (kiểu +=), không bao giờ ghi đè: một nút được dùng hai lần phải gom cả hai phần đóng góp. Rồi backward() đặt grad của nút cuối cùng bằng 1 và gọi mọi _backward theo thứ tự tô-pô ngược.

(Hàm trợ giúp unbroadcast được cung cấp, nhập ở đầu, xử lý các shape đã bị kéo giãn bởi broadcasting. Bạn sẽ viết phiên bản của riêng mình sau hai bài học nữa; tạm thời, hãy bọc mỗi phần đóng góp trong nó.)

Từ và ký hiệu trong bài học này
Tensor
ở đây: một mảng cộng gradient của nó cộng các Tensor mà nó được tạo ra từ đó
thứ tự tô-pô
mọi nút được liệt kê sau các nút mà nó phụ thuộc vào
.grad
gradient của giá trị mất mát cuối cùng theo Tensor này
unbroadcast
cộng một gradient trở lại xuống shape mà nó đã được kéo giãn từ đó
Đến lượt bạn

Điền hai hàm _backward và phương thức backward. Bài kiểm tra được giấu kiểm tra gradient các công thức trộn + và *, kể cả một nút được dùng hai lần.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.