Một seed là một giai thoại
Vì sao điều này quan trọng Huấn luyện cùng một mô hình hai lần với các seed ngẫu nhiên khác nhau cho các kết quả khác nhau. Một khác biệt giữa hai mô hình nhỏ hơn độ phân tán đó không phải là một kết quả, và một lần chạy duy nhất không thể cho bạn biết độ phân tán lớn tới đâu.
Một nhận định: "ở 8.000 token, độ rộng 1024 thắng độ rộng 512", dựa trên mỗi bên một lần chạy (seed 0: 2.793 so với 2.799). Khóa học đã ghi lại mỗi bên 3 seed.
Một quy tắc đơn giản cho "A thắng B" với vài seed mỗi bên: lấy hiệu của các trung bình, và sai số chuẩn của nó (hiệu đó sẽ dịch chuyển bao nhiêu nếu bạn chạy lại các seed), sqrt(var(A) / nA + var(B) / nB) với phương sai mẫu (ddof=1). Coi là đã được chứng minh khi hiệu lớn hơn 2 sai số chuẩn. judge.standard_error(a, b) tính nó.
Hãy dự đoán trước: với ba seed, độ rộng 1024 có còn thắng 512 ở 8.000 token không?
Từ và ký hiệu trong bài học này
- seed
- con số cố định các lựa chọn ngẫu nhiên của một lần chạy; một seed khác cho một kết quả khác
- sai số chuẩn
- một khác biệt đo được sẽ dịch chuyển bao nhiêu nếu các seed được chạy lại
Gán my_guess là "yes" hoặc "no". Với 8.000 và 1.500.000 token, điền diff[tokens] (giá trị mất mát trung bình của độ rộng 512 trừ giá trị mất mát trung bình của độ rộng 1024: dương nghĩa là 1024 tốt hơn) và two_se[tokens]. Gán verdict[tokens] là "shown" hoặc "not shown".
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.