Chương trình học Bài 126 trên tổng số 246 · Mô-đun 11: Những mạng có bộ nhớ (RNN)
Mô-đun 11: Những mạng có bộ nhớ (RNN)

Một RNN ký tự

Vì sao điều này quan trọng Dự đoán ký tự tiếp theo từ những ký tự trước nó là mô hình ngôn ngữ nguyên thủy. Cùng ý tưởng đó, khi mở rộng quy mô, là một chatbot.

Đưa vào chính văn bản bài học của khóa học từng ký tự một. Ở mỗi bước RNN cập nhật trạng thái của nó và dự đoán ký tự tiếp theo bằng một lớp tuyến tính và softmax. Giá trị mất mát là cross-entropy trung bình trên 16 vị trí của mỗi đoạn huấn luyện.

Mỗi ký tự đi vào dưới dạng một embedding: một hàng các con số đã học được tra theo chỉ số của ký tự (Mô-đun 12 giải thích chúng đầy đủ; tạm thời, một bảng tra mà mạng huấn luyện).

Đoán đường cong với biểu đồ: hãy đoán giá trị mất mát ở bước 0 và sau 200 bước. Một phỏng đoán đều trên mọi ký tự trong văn bản cho khoảng ln(V).

Từ và ký hiệu trong bài học này
mạng hồi quy (RNN)
một mạng đọc từng bước một và mang một trạng thái ẩn về phía trước
entropy
một phân phối trải rộng tới đâu: 0 khi chắc chắn, ln(n) khi cả n lựa chọn bằng nhau
Đến lượt bạn

Điền my_guess. Rồi viết step_state(x_ids, h, P) bằng bộ máy của khóa học: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). Vòng lặp huấn luyện quanh nó đã được viết sẵn cho bạn. Sau 200 bước giá trị mất mát trung bình trên 20 bước cuối phải dưới 2.6.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.