Chương trình học Bài 29 trên tổng số 246 · Mô-đun 2: Toán và xác suất, chỉ ở mức cần thiết
Mô-đun 2: Toán và xác suất, chỉ ở mức cần thiết

Gradient của cả ma trận (quy tắc shape)

Vì sao điều này quan trọng Các lớp làm việc trên cả ma trận, nên gradient của chúng cũng là ma trận. Một quy tắc và một mẹo suy ra được lượt ngược của gần như mọi lớp mà không cần học thuộc gì.

Quy tắc shape

Giá trị mất mát L là một con số. Gradient của L theo bất kỳ mảng nào có đúng shape của mảng đó: một độ dốc cho mỗi phần tử. Vậy nếu W là (3, 4), dL/dW là (3, 4).

Những con số nhỏ xíu: Y = X @ W

Giả sử X là (2, 3), W là (3, 4), Y = X @ W là (2, 4), và vài bước sau đó biến Y thành L. Lượt ngược trao cho bạn G = dL/dY, shape (2, 4). Mỗi phần tử Y[i, j] là một tổng theo k của X[i, k] W[k, j]. Đẩy W[k, j]: nó dịch mọi Y[i, j] trong cột j bằng X[i, k] nhân lần đẩy. Vậy dL/dW[k, j] = tổng theo i của X[i, k] G[i, j]. Đó là một phần tử của X.T @ G, có shape (3, 4): shape của W, đúng như quy tắc nói.

Cùng lập luận đó cho X cho dL/dX = G @ W.T, shape (2, 3). Một cách nhanh để nhớ cả hai: đặt G với ma trận kia, chuyển vị, theo thứ tự duy nhất mà các shape khớp nhau.

Ma trận Jacobian, và vì sao không ai dựng nó

Bảng đầy đủ về việc mọi phần tử đầu ra dịch chuyển ra sao theo mọi phần tử đầu vào là ma trận Jacobian. Với Y = X @ W có W kích thước 1000 x 1000 và 64 hàng, bảng đó sẽ có 64 nghìn đầu ra nhân một triệu trọng số: 64 tỉ phần tử. Lượt ngược không bao giờ dựng nó: nó chỉ bao giờ cần G nhân ma trận Jacobian, là tích nhỏ X.T @ G. Tích đó là tích vector-Jacobian từ bài học trước.

Ma trận Jacobian: độ dốc của mọi đầu ra theo mọi đầu vào, dưới dạng một bảng lớn. Tích vector-Jacobian: gradient được đẩy ngược qua một bước, được tính trực tiếp mà không cần bảng.

Tóm tắt Cùng shape với chính thứ đó. Với Y = X @ W: dW = X.T @ G và dX = G @ W.T.

Từ và ký hiệu trong bài học này
vector
một list các con số, mỗi số cho một đặc trưng
đạo hàm (df/dx)
đầu ra thay đổi nhanh tới đâu cho mỗi đơn vị đẩy nhẹ của đầu vào
Đến lượt bạn

Viết matmul_grads(X, W, G) trả về (dX, dW) cho Y = X @ W, và elementwise_grads(A, B, G) trả về (dA, dB) cho Y = A * B (cùng shape, từng phần tử một). Bài kiểm tra được giấu kiểm tra cả hai với việc đẩy nhẹ, trên những shape bạn chưa thấy.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.