Lượt ngược cho phép nhân ma trận
Vì sao điều này quan trọng Phép nhân ma trận là con ngựa thồ của mọi lớp. Quy tắc lượt ngược của nó là hai dòng, và bạn có thể suy ra nó chỉ từ các shape.
Những con số nhỏ xíu
Lấy out = A @ B với A shape (2, 3) và B shape (3, 4), nên out là (2, 4). Gradient tới, G, có shape của out (2, 4). Gradient của A phải có shape của A (2, 3). Cách duy nhất để tạo (2, 3) từ G (2, 4) và B (3, 4) là G @ B.T. Tương tự gradient của B (3, 4) phải là A.T @ G.
Kiểm tra một phần tử trong đầu: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. Đẩy A[0, 1] và out[0, 0] dịch B[1, 0] nhân lần đẩy. Đó đúng là phần tử (0, 1) của G @ B.T khi G là 1 tại (0, 0) và 0 ở chỗ khác.
Tóm tắt dA = G @ B.T, dB = A.T @ G. Nếu bạn quên, hãy khớp các shape.
Từ và ký hiệu trong bài học này
- Tensor
- ở đây: một mảng cộng gradient của nó cộng các Tensor mà nó được tạo ra từ đó
- .grad
- gradient của giá trị mất mát cuối cùng theo Tensor này
- unbroadcast
- cộng một gradient trở lại xuống shape mà nó đã được kéo giãn từ đó
Viết __matmul__ cùng _backward của nó. Bài kiểm tra được giấu kiểm tra gradient (A @ B) * C với các shape ngẫu nhiên.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.