Một trung bình tốt hơn, cùng một kỹ năng
Vì sao điều này quan trọng "Mô hình của chúng tôi có giá trị mất mát thấp hơn" là nhận định phổ biến nhất trong mô hình hóa ngôn ngữ. Giá trị mất mát là một trung bình trên mọi dự đoán, và một trung bình có thể cải thiện mà phần bạn quan tâm hoàn toàn không cải thiện.
Khóa học đã ghi lại hai GPT được huấn luyện theo cùng cách, độ rộng 32 và 64. Cái rộng hơn có giá trị mất mát trên dữ liệu giữ lại thấp hơn. Nhưng các dự đoán không giống nhau: hoàn tất một từ bạn đã bắt đầu ("gradi" rồi "e") là dễ; chọn chữ cái đầu tiên của từ tiếp theo là chọn điều sẽ nói tiếp, và nó khó.
judge.per_position(model, X, Y) cho giá trị mất mát của mỗi dự đoán. Lấy trung bình nó trên mọi vị trí, trên các chữ cái đầu của từ, và trên phần còn lại của mỗi từ.
Hãy dự đoán trước: mô hình rộng hơn có giỏi hơn trong việc chọn từ tiếp theo không?
Từ và ký hiệu trong bài học này
- seed
- con số cố định các lựa chọn ngẫu nhiên của một lần chạy; một seed khác cho một kết quả khác
Gán my_guess là "yes" hoặc "no". Điền loss[width] bằng một dict gồm 'all', 'first letter' và 'inside word' cho độ rộng 32 và 64. Gán gain_from là loại vị trí ("first letter" hoặc "inside word") mà mức lợi của mô hình rộng hơn tới từ đó.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.