Chương trình học Bài 130 trên tổng số 246 · Mô-đun 11: Những mạng có bộ nhớ (RNN)
Mô-đun 11: Những mạng có bộ nhớ (RNN)

Ai nhớ được? Các lần chạy đã ghi lại

Vì sao điều này quan trọng Sách giáo khoa nói LSTM nhớ còn RNN thuần thì quên. Khóa học đã kiểm tra điều đó, và câu trả lời thật có một chỗ ngoặt đáng biết trước khi bạn huấn luyện một mạng như vậy.

Thí nghiệm đã ghi lại rnn-vs-lstm-memory: mạng thấy một trong bốn ký hiệu, rồi một khoảng cách gồm 5, 15, 30 hoặc 60 ký hiệu nữa lấy từ cùng bảng chữ cái, và phải nói ký hiệu đầu tiên là gì. Ba loại mạng, mỗi loại ba seed:

  • một RNN tanh thuần;
  • một LSTM có cổng quên bắt đầu với bias 1 (lúc đầu nó giữ khoảng 73% ô nhớ mỗi bước);
  • một LSTM có cổng quên bắt đầu với bias 3 (khoảng 95%).

Trước khi đọc các lần chạy, hãy dự đoán: loại nào thành công trên cả ba seed ở khoảng cách 60?

Từ và ký hiệu trong bài học này
mạng hồi quy (RNN)
một mạng đọc từng bước một và mang một trạng thái ẩn về phía trước
LSTM
một RNN có một ô nhớ c và ba cổng: quên, đầu vào, đầu ra
Đến lượt bạn

Gán my_prediction là "rnn", "lstm-forget-bias-1" hoặc "lstm-forget-bias-3". Rồi điền successes: (cell, gap) ứng với số seed trong ba seed đạt độ chính xác kiểm tra ít nhất 95%, dùng nnsim.recorded.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.