Lượt ngược khi các shape kéo giãn (broadcasting)
Vì sao điều này quan trọng Đây là lỗi autograd phổ biến nhất thế giới. Một độ lệch shape (4,) được cộng vào một batch shape (32, 4) được dùng 32 lần, nên gradient của nó phải cộng dồn cả 32 phần đóng góp.
Những con số nhỏ xíu
out = X + b với X (3, 2) và b (2,). Gradient tới là (3, 2). b đã được chép sang cả 3 hàng, nên mỗi bản sao nhận một phần: gradient của b là tổng theo các hàng, shape (2,). Nếu bạn trả lại mảng (3, 2), các shape không còn khớp, hoặc tệ hơn, broadcasting giấu đi điều đó và các con số sai gấp 3 lần.
Quy tắc: ở bất cứ đâu broadcasting đã thêm một chiều, hãy cộng nó đi; ở bất cứ đâu nó đã kéo giãn một chiều kích thước 1, hãy cộng nó nhưng giữ nó ở kích thước 1.
Tóm tắt Được chép khi đi xuôi nghĩa là được cộng khi đi ngược.
Từ và ký hiệu trong bài học này
- autograd
- gradient tự động: bạn viết lượt xuôi, bộ máy làm lượt ngược
- Tensor
- ở đây: một mảng cộng gradient của nó cộng các Tensor mà nó được tạo ra từ đó
- .grad
- gradient của giá trị mất mát cuối cùng theo Tensor này
- unbroadcast
- cộng một gradient trở lại xuống shape mà nó đã được kéo giãn từ đó
Viết unbroadcast(grad, shape): cộng grad xuống shape. Phép cộng và phép nhân của bạn đã gọi nó.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.