Một đọc, một viết: nút thắt
Vì sao điều này quan trọng Dịch máy từng hoạt động như thế này: một RNN đọc câu thành một vector duy nhất, một RNN khác viết đầu ra từ nó. Vector đó là một nút thắt, và thấy nó thất bại là lý do cơ chế chú ý (attention) được phát minh.
Một bộ mã hóa-giải mã (encoder-decoder): RNN mã hóa đọc đầu vào; trạng thái ẩn cuối cùng của nó được trao cho RNN giải mã, thứ viết đầu ra từng ký hiệu một, đưa mỗi câu trả lời trở lại làm đầu vào. Mọi thứ bộ giải mã biết về đầu vào phải ép qua đúng một vector 48 con số đó.
Thí nghiệm đã ghi lại seq2seq-bottleneck đã huấn luyện các mạng như vậy để viết ngược một chuỗi chữ số, với độ dài 4, 8, 12 và 16, mỗi độ dài hai seed. Nó cũng huấn luyện một phiên bản có attention, thứ bạn sẽ gặp ở Mô-đun 13. Tạm thời, chỉ nhìn vào các mô hình thuần.
Đoán đường cong: hãy dự đoán độ chính xác theo chữ số của mô hình thuần ở độ dài 16. Đoán mò là 10%.
Từ và ký hiệu trong bài học này
- mạng hồi quy (RNN)
- một mạng đọc từng bước một và mang một trạng thái ẩn về phía trước
- bộ mã hóa-giải mã
- một RNN đọc đầu vào thành một vector, một RNN khác viết đầu ra từ vector đó
- nút thắt
- một vector duy nhất mà mọi thứ phải ép qua
Gán my_guess_16, rồi điền plain_acc: độ dài ứng với độ chính xác theo chữ số trung bình của hai lần chạy thuần.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.