Lan truyền ngược qua thời gian là lan truyền ngược thông thường
Vì sao điều này quan trọng "Lan truyền ngược qua thời gian" nghe như một thuật toán mới. Không phải: trải vòng lặp ra và nó là lan truyền ngược trên một mạng sâu có các lớp dùng chung một bộ trọng số.
Xem nó
Hãy chạy hoạt ảnh. Ba bước của một RNN, vẽ cạnh nhau, là ba lớp. Cùng trọng số w xuất hiện ở mỗi lớp. Đi ngược, gradient cho w gom một phần đóng góp từ mọi bản sao, đúng như một nút được dùng vài lần trong bộ máy Mô-đun 4 của bạn.
Những con số nhỏ xíu
Một RNN tuyến tính một con số: h_t = w h_(t-1) + x_t, bắt đầu ở h_0 = 0, với giá trị mất mát = h_3. Đầu vào 1, 2, 3 và w = 0.5: h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. Đi ngược, dL/dh2 = w = 0.5 và dL/dh1 = w bình phương = 0.25. Mỗi bản sao của w đóng góp (gradient ở đầu ra của nó) nhân (h mà nó đã nhân): 1 nhân h2 + 0.5 nhân h1 + 0.25 nhân h0 = 2.5 + 0.5 + 0 = 3.0.
BPTT: lan truyền ngược qua thời gian; trải các bước ra và lan truyền ngược, cộng gradient từ mọi bước dùng chung một trọng số.
Từ và ký hiệu trong bài học này
- mạng hồi quy (RNN)
- một mạng đọc từng bước một và mang một trạng thái ẩn về phía trước
- lan truyền ngược qua thời gian (BPTT)
- trải các bước ra và lan truyền ngược, cộng gradient từ mọi bước dùng chung một trọng số
Với RNN một con số h_t = w * h_(t-1) + x_t có h_0 = 0 và giá trị mất mát h_T (trạng thái cuối cùng), viết bptt(xs, w) trả về dL/dw bằng cách đi ngược qua các bước.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.