Chương trình học Bài 127 trên tổng số 246 · Mô-đun 11: Những mạng có bộ nhớ (RNN)
Mô-đun 11: Những mạng có bộ nhớ (RNN)

Lan truyền ngược qua thời gian là lan truyền ngược thông thường

Vì sao điều này quan trọng "Lan truyền ngược qua thời gian" nghe như một thuật toán mới. Không phải: trải vòng lặp ra và nó là lan truyền ngược trên một mạng sâu có các lớp dùng chung một bộ trọng số.

Xem nó

Hãy chạy hoạt ảnh. Ba bước của một RNN, vẽ cạnh nhau, là ba lớp. Cùng trọng số w xuất hiện ở mỗi lớp. Đi ngược, gradient cho w gom một phần đóng góp từ mọi bản sao, đúng như một nút được dùng vài lần trong bộ máy Mô-đun 4 của bạn.

Những con số nhỏ xíu

Một RNN tuyến tính một con số: h_t = w h_(t-1) + x_t, bắt đầu ở h_0 = 0, với giá trị mất mát = h_3. Đầu vào 1, 2, 3 và w = 0.5: h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. Đi ngược, dL/dh2 = w = 0.5 và dL/dh1 = w bình phương = 0.25. Mỗi bản sao của w đóng góp (gradient ở đầu ra của nó) nhân (h mà nó đã nhân): 1 nhân h2 + 0.5 nhân h1 + 0.25 nhân h0 = 2.5 + 0.5 + 0 = 3.0.

BPTT: lan truyền ngược qua thời gian; trải các bước ra và lan truyền ngược, cộng gradient từ mọi bước dùng chung một trọng số.

Từ và ký hiệu trong bài học này
mạng hồi quy (RNN)
một mạng đọc từng bước một và mang một trạng thái ẩn về phía trước
lan truyền ngược qua thời gian (BPTT)
trải các bước ra và lan truyền ngược, cộng gradient từ mọi bước dùng chung một trọng số
Đến lượt bạn

Với RNN một con số h_t = w * h_(t-1) + x_t có h_0 = 0 và giá trị mất mát h_T (trạng thái cuối cùng), viết bptt(xs, w) trả về dL/dw bằng cách đi ngược qua các bước.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.