Một tập kiểm tra mà mô hình đã thấy
Vì sao điều này quan trọng Các mô hình lớn huấn luyện trên phần lớn internet công khai, và các tập kiểm tra công khai nằm trên internet. Khi các mục kiểm tra rò vào dữ liệu huấn luyện, điểm số tăng lên vì một lý do chẳng liên quan gì tới kỹ năng, và bài báo báo cáo chúng có thể không bao giờ biết.
Một tập kiểm tra công khai gồm 120 đoạn văn cho GPT của khóa học. Các tác giả của nó nói nó được viết riêng. Thực ra một phần của nó được sao chép từ văn bản bài học của khóa học, chính là thứ GPT đã huấn luyện.
Một cách kiểm tra tiêu chuẩn: cắt mỗi đoạn thành các mẩu 13 ký tự và tra chúng trong văn bản huấn luyện. Một đoạn viết riêng chia sẻ ít mẩu dài một cách tình cờ; một đoạn sao chép chia sẻ tất cả. judge.overlap(p) cho tỷ lệ các mẩu của một đoạn được tìm thấy trong văn bản huấn luyện, và judge.losses(model, passages) cho giá trị mất mát của mô hình trên mỗi đoạn.
Hãy dự đoán trước: loại bỏ các đoạn bị rò rỉ sẽ làm giá trị mất mát được báo cáo tốt hơn hay tệ hơn?
Từ và ký hiệu trong bài học này
- nhiễm bẩn (rò rỉ)
- các mục kiểm tra cũng nằm trong dữ liệu huấn luyện
Gán my_guess là "better" hoặc "worse". Điền reported (giá trị mất mát trung bình trên cả 120 đoạn), leaked (một list True/False, độ trùng lặp trên 0.5), clean (giá trị mất mát trung bình trên các đoạn không bị rò rỉ) và leaked_loss.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.