Một RNN ký tự
Vì sao điều này quan trọng Dự đoán ký tự tiếp theo từ những ký tự trước nó là mô hình ngôn ngữ nguyên thủy. Cùng ý tưởng đó, khi mở rộng quy mô, là một chatbot.
Đưa vào chính văn bản bài học của khóa học từng ký tự một. Ở mỗi bước RNN cập nhật trạng thái của nó và dự đoán ký tự tiếp theo bằng một lớp tuyến tính và softmax. Giá trị mất mát là cross-entropy trung bình trên 16 vị trí của mỗi đoạn huấn luyện.
Mỗi ký tự đi vào dưới dạng một embedding: một hàng các con số đã học được tra theo chỉ số của ký tự (Mô-đun 12 giải thích chúng đầy đủ; tạm thời, một bảng tra mà mạng huấn luyện).
Đoán đường cong với biểu đồ: hãy đoán giá trị mất mát ở bước 0 và sau 200 bước. Một phỏng đoán đều trên mọi ký tự trong văn bản cho khoảng ln(V).
Từ và ký hiệu trong bài học này
- mạng hồi quy (RNN)
- một mạng đọc từng bước một và mang một trạng thái ẩn về phía trước
- entropy
- một phân phối trải rộng tới đâu: 0 khi chắc chắn, ln(n) khi cả n lựa chọn bằng nhau
Điền my_guess. Rồi viết step_state(x_ids, h, P) bằng bộ máy của khóa học: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). Vòng lặp huấn luyện quanh nó đã được viết sẵn cho bạn. Sau 200 bước giá trị mất mát trung bình trên 20 bước cuối phải dưới 2.6.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.