Chương trình học Bài 162 trên tổng số 246 · Mô-đun 14: Phòng khám lần chạy II
Mô-đun 14: Phòng khám lần chạy II

Phòng khám: một mô hình tốt viết tệ

Vì sao điều này quan trọng Một mô hình đã huấn luyện vẫn có thể tạo ra rác nếu đoạn mã xung quanh nó sai. Những lỗi này sống trong mã lấy mẫu, không phải trong các trọng số, và người ta huấn luyện lại hàng ngày trời trước khi nhìn vào đó.

Mọi trường hợp bên dưới dùng cùng một mô hình độ rộng 64 đã được ghi lại, viết văn bản hợp lý ở nhiệt độ 0.8. Mỗi trường hợp có một lỗi trong cách văn bản được lấy mẫu hay giải mã:

  • too_cold: nhiệt độ gần 0. Mô hình luôn lấy ký tự tiếp theo nó thích nhất và rơi vào một vòng lặp.
  • too_hot: nhiệt độ cao hơn 1 nhiều. Phân phối bị làm phẳng tới mức các ký hiệu hiếm xuất hiện thường xuyên như các chữ cái.
  • shifted_decode: các id được biến trở lại thành ký tự với bảng chữ cái bị lệch một, nên một mẫu tốt đọc như một mật mã: mọi dấu cách trở thành "!".

Đầu dò: sample(c) cho thấy văn bản; repeat_share(text) và space_share(text) đo nó.

Đến lượt bạn

Điền diagnosis và fixes cho các trường hợp A, B và C. Sau cách sửa của bạn, mọi thiết lập phải khớp với thiết lập lành mạnh, và mẫu phải đọc lại như văn bản.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.