Chương trình học Bài 54 trên tổng số 246 · Mô-đun 4: Bộ máy autograd của riêng bạn
Mô-đun 4: Bộ máy autograd của riêng bạn

Ghi lại đồ thị và sắp thứ tự nó

Vì sao điều này quan trọng Lượt ngược phải ghé mỗi ô chỉ sau mọi ô phụ thuộc vào nó. Sai thứ tự này cho những gradient sai một cách âm thầm.

Xem nó

Hình dung x được dùng hai lần: a = x * 2, b = x * 3, L = a + b. Đây là một hình thoi. Đi ngược từ L, ta phải xong cả a và b trước khi xử lý x, vì gradient của x là tổng những gì quay về qua cả hai.

Cách sửa là liệt kê các nút theo thứ tự tô-pô: mỗi nút đứng sau tất cả cha mẹ của nó. Lượt ngược khi đó đi qua list đó theo chiều ngược lại. Một lượt tìm kiếm theo chiều sâu tạo ra list: ghé cha mẹ của một nút trước, rồi thêm nút đó, và bỏ qua các nút đã thấy.

Thứ tự tô-pô (topological order): một cách sắp thứ tự một đồ thị trong đó mỗi nút đứng sau các nút mà nó phụ thuộc vào.

Từ và ký hiệu trong bài học này
Tensor
ở đây: một mảng cộng gradient của nó cộng các Tensor mà nó được tạo ra từ đó
thứ tự tô-pô
mọi nút được liệt kê sau các nút mà nó phụ thuộc vào
.grad
gradient của giá trị mất mát cuối cùng theo Tensor này
unbroadcast
cộng một gradient trở lại xuống shape mà nó đã được kéo giãn từ đó
Đến lượt bạn

Viết phương thức topo: trả về mọi nút mà self phụ thuộc vào (kể cả chính nó), mỗi nút đứng sau tất cả cha mẹ của nó, không trùng lặp.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.