Chương trình học Bài 125 trên tổng số 246 · Mô-đun 11: Những mạng có bộ nhớ (RNN)
Mô-đun 11: Những mạng có bộ nhớ (RNN)

Chuỗi và trạng thái

Vì sao điều này quan trọng Văn bản, lời nói, giá cả và số đo cảm biến tới từng bước một, và những gì tới trước thay đổi những gì tới sau. Một mạng hồi quy mang một bản tóm tắt chạy về phía trước.

Một mạng nơ-ron hồi quy (RNN) giữ một trạng thái ẩn h, một vector ngắn. Ở mỗi bước nó trộn đầu vào mới với trạng thái cũ và ép kết quả:

h = tanh(x_t @ Wx + h @ Wh + b)

Cùng các trọng số được dùng ở mọi bước, giống như một CNN dùng lại bộ lọc của nó ở mọi vị trí. h cuối cùng phụ thuộc vào mọi thứ mạng đã đọc, nên nó là một bộ nhớ (mất mát thông tin) của cả chuỗi.

Những con số nhỏ xíu

Một con số đầu vào, một con số ẩn, Wx = 1, Wh = 0.5, b = 0, h bắt đầu từ 0. Đọc 1 rồi 0: h = tanh(1) = 0.76, rồi h = tanh(0 + 0.38) = 0.36. Đầu vào thứ nhất vẫn hiện trong trạng thái sau bước thứ hai, đang phai dần.

Trạng thái ẩn (hidden state): vector mà một RNN mang từ bước này sang bước khác. Hồi quy (recurrent): đưa đầu ra của chính nó trở lại làm đầu vào.

Từ và ký hiệu trong bài học này
mạng hồi quy (RNN)
một mạng đọc từng bước một và mang một trạng thái ẩn về phía trước
Đến lượt bạn

Viết rnn_forward(xs, Wx, Wh, b): xs có shape (steps, input size); bắt đầu từ một trạng thái bằng không và trả về list các trạng thái ẩn sau mỗi bước.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.