Bài kiểm tra vượt cấp: thẩm định một nhận định (tắt AI)
Vì sao điều này quan trọng Đọc kết quả một cách phản biện là một kỹ năng bạn sẽ dùng trên mọi bài báo, thẻ mô hình và bảng benchmark. Các quy tắc đơn giản; áp dụng chúng mọi lúc, mà không được bảo quy tắc nào quan trọng, mới là kỹ năng.
Luật của bài kiểm tra vượt cấp: gia sư AI tắt. Viết review(claim). Một nhận định nói "mô hình A thắng mô hình B" và đi kèm giá trị mất mát của mỗi seed của mỗi mô hình và tỷ lệ tập kiểm tra được tìm thấy trong dữ liệu huấn luyện. Theo thứ tự:
- Nếu hơn 10% tập kiểm tra nằm trong dữ liệu huấn luyện, trả về "leaked": không điểm số nào trên nó có thể tin được.
- Nếu bất kỳ mô hình nào có ít hơn 2 seed, trả về "not shown": độ phân tán chưa biết.
- Gọi diff = mean(B) - mean(A) (dương khi A tốt hơn) và se = sqrt(var(A) / nA + var(B) / nB), phương sai mẫu (
ddof=1). Trả về "shown" nếu diff > 2 se, "contradicted" nếu diff < -2 se, còn lại là "not shown".
Bài kiểm tra chạy hàm của bạn trên sáu nhận định mới, khác nhau ở mỗi lần kiểm tra, kể cả các trường hợp biên: một seed, độ trùng lặp đúng 10%, các seed trùng khớp chính xác.
Từ và ký hiệu trong bài học này
- nhiễm bẩn (rò rỉ)
- các mục kiểm tra cũng nằm trong dữ liệu huấn luyện
- seed
- con số cố định các lựa chọn ngẫu nhiên của một lần chạy; một seed khác cho một kết quả khác
Điền review. Hãy thử nó trên {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (các độ rộng 1024 và 512 đã ghi lại ở 1,5 triệu token).
Tắt AI: không có gia sư, gợi ý hoặc lời giải mẫu cho bài này. Chỉ dùng tư duy của riêng bạn.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.