Khớp một luật lũy thừa có sàn
Vì sao điều này quan trọng "Lớn hơn thì tốt hơn" vô dụng cho việc lập kế hoạch. "Giá trị mất mát giảm theo số trọng số mũ -0.5, tiến về một sàn 1.6" cho bạn đặt một con số lên một lần chạy bạn chưa trả tiền. Có được con số đó, và bạn chắc chắn về nó tới đâu, chính là kỹ năng.
Hình dạng khớp với hầu hết dữ liệu mở rộng quy mô:
loss = E + A N^(-alpha)
N là số trọng số, alpha là số mũ (nó cải thiện nhanh tới đâu), và E là sàn: giá trị mất mát mà không mô hình nào của họ này vượt qua được trên dữ liệu này. Một phần là do văn bản không thể đoán trước; một phần là giới hạn của chính họ mô hình (mô hình này chỉ thấy 8 ký tự về trước). Một họ khác, chẳng hạn một họ đọc xa hơn về trước, có sàn thấp hơn. Không có sàn, một phép khớp trên các mô hình nhỏ đánh giá quá cao mức các mô hình lớn được lợi.
Cách khớp nó: với mỗi sàn ứng viên E giữa 0 và ngay dưới giá trị mất mát nhỏ nhất, lấy log, log(loss - E) = log A - alpha log N, là một đường thẳng, và khớp nó bằng bình phương tối thiểu. Giữ E có đường cong cho sai số bình phương nhỏ nhất trên chính các giá trị mất mát.
Thanh sai số: có 3 seed cho mỗi kích thước. Khớp lại nhiều lần, mỗi lần chọn ngẫu nhiên một seed cho mỗi kích thước (một bootstrap), và nhìn độ phân tán của alpha. Hãy xem cảnh: cùng các điểm, đường cong đã khớp có và không có sàn, và dải các phép khớp bootstrap.
Từ và ký hiệu trong bài học này
- luật lũy thừa
- y = A x^-alpha: một đường thẳng trên trục log-log
- số mũ (alpha, beta)
- giá trị mất mát giảm nhanh tới đâu khi có nhiều trọng số hơn (alpha) hoặc nhiều dữ liệu hơn (beta)
- sàn (E)
- giá trị mất mát mà không mô hình nào vượt qua được trên dữ liệu này
- token
- ở đây, một lần dự đoán: một ký tự
- bootstrap
- khớp lại trên dữ liệu được lấy mẫu lại để xem một con số đã khớp sẽ dịch chuyển bao nhiêu
Viết fit(N, loss) trả về (E, A, alpha) như đã mô tả (400 sàn ứng viên từ 0 tới 0.999 x giá trị mất mát nhỏ nhất). Khớp các lần chạy 1,5 triệu token (một trung bình cho mỗi độ rộng) vào main, rồi chạy 100 lần khớp lại bootstrap và gán interval là phân vị thứ 5 và thứ 95 của alpha.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.