Lượt ngược cho phép cộng và phép nhân
Vì sao điều này quan trọng Với hai quy tắc này và việc sắp thứ tự, bộ máy của bạn đã có thể lấy vi phân bất kỳ công thức nào được làm từ tổng và tích.
Mỗi phép toán gắn một hàm nhỏ, _backward, vào Tensor mà nó tạo ra. Khi được gọi, nó đọc out.grad và cộng phần của nó vào grad của mỗi cha mẹ:
- Với
out = a + b: a nhậnout.grad, b nhậnout.grad. - Với
out = a * b: a nhậnout.grad * b.data, b nhậnout.grad * a.data.
Luôn luôn cộng vào grad của cha mẹ (kiểu +=), không bao giờ ghi đè: một nút được dùng hai lần phải gom cả hai phần đóng góp. Rồi backward() đặt grad của nút cuối cùng bằng 1 và gọi mọi _backward theo thứ tự tô-pô ngược.
(Hàm trợ giúp unbroadcast được cung cấp, nhập ở đầu, xử lý các shape đã bị kéo giãn bởi broadcasting. Bạn sẽ viết phiên bản của riêng mình sau hai bài học nữa; tạm thời, hãy bọc mỗi phần đóng góp trong nó.)
Từ và ký hiệu trong bài học này
- Tensor
- ở đây: một mảng cộng gradient của nó cộng các Tensor mà nó được tạo ra từ đó
- thứ tự tô-pô
- mọi nút được liệt kê sau các nút mà nó phụ thuộc vào
- .grad
- gradient của giá trị mất mát cuối cùng theo Tensor này
- unbroadcast
- cộng một gradient trở lại xuống shape mà nó đã được kéo giãn từ đó
Điền hai hàm _backward và phương thức backward. Bài kiểm tra được giấu kiểm tra gradient các công thức trộn + và *, kể cả một nút được dùng hai lần.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.