Ghi lại đồ thị và sắp thứ tự nó
Vì sao điều này quan trọng Lượt ngược phải ghé mỗi ô chỉ sau mọi ô phụ thuộc vào nó. Sai thứ tự này cho những gradient sai một cách âm thầm.
Xem nó
Hình dung x được dùng hai lần: a = x * 2, b = x * 3, L = a + b. Đây là một hình thoi. Đi ngược từ L, ta phải xong cả a và b trước khi xử lý x, vì gradient của x là tổng những gì quay về qua cả hai.
Cách sửa là liệt kê các nút theo thứ tự tô-pô: mỗi nút đứng sau tất cả cha mẹ của nó. Lượt ngược khi đó đi qua list đó theo chiều ngược lại. Một lượt tìm kiếm theo chiều sâu tạo ra list: ghé cha mẹ của một nút trước, rồi thêm nút đó, và bỏ qua các nút đã thấy.
Thứ tự tô-pô (topological order): một cách sắp thứ tự một đồ thị trong đó mỗi nút đứng sau các nút mà nó phụ thuộc vào.
Từ và ký hiệu trong bài học này
- Tensor
- ở đây: một mảng cộng gradient của nó cộng các Tensor mà nó được tạo ra từ đó
- thứ tự tô-pô
- mọi nút được liệt kê sau các nút mà nó phụ thuộc vào
- .grad
- gradient của giá trị mất mát cuối cùng theo Tensor này
- unbroadcast
- cộng một gradient trở lại xuống shape mà nó đã được kéo giãn từ đó
Viết phương thức topo: trả về mọi nút mà self phụ thuộc vào (kể cả chính nó), mỗi nút đứng sau tất cả cha mẹ của nó, không trùng lặp.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.