Bài kiểm tra vượt cấp: một RNN hỏng với hai lỗi (tắt AI)
Vì sao điều này quan trọng Tìm hai lỗi cùng lúc, không có trợ giúp, là điều các phòng khám đã luyện cho bạn.
Gia sư AI tắt. RNN ký tự này có hai lỗi. Một lỗi khiến giá trị mất mát không giảm được nhiều, dù mọi giá trị mất mát vẫn là một số hữu hạn (không có gì bùng nổ). Lỗi kia khiến mạng không bao giờ thực sự dùng những gì nó đã đọc trước đó trong đoạn. Hãy tìm và sửa cả hai.
Từ và ký hiệu trong bài học này
- mạng hồi quy (RNN)
- một mạng đọc từng bước một và mang một trạng thái ẩn về phía trước
- entropy
- một phân phối trải rộng tới đâu: 0 khi chắc chắn, ln(n) khi cả n lựa chọn bằng nhau
Sửa init và run_snippet. Sau 200 bước, giá trị mất mát trung bình trên 20 bước cuối phải dưới 2.45, mọi giá trị mất mát phải là một số hữu hạn, và ký tự đầu tiên của một đoạn vẫn phải ảnh hưởng tới dự đoán cuối cùng.
Tắt AI: không có gia sư, gợi ý hoặc lời giải mẫu cho bài này. Chỉ dùng tư duy của riêng bạn.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.