Chương trình học Bài 205 trên tổng số 246 · Mô-đun 19: Lớn hơn, và tốt hơn bao nhiêu (luật mở rộng quy mô)
Mô-đun 19: Lớn hơn, và tốt hơn bao nhiêu (luật mở rộng quy mô)

Dự đoán một lần chạy lớn hơn, rồi xem nó

Vì sao điều này quan trọng Một phép khớp chỉ mô tả các lần chạy bạn đã có là một bản tóm tắt. Một phép khớp dự đoán được một lần chạy bạn chưa có là một định luật, ít nhất là tạm thời. Đây là bài kiểm tra.

Khóa học đã huấn luyện thêm một kích thước sau khi lưới hoàn tất: độ rộng 2048, khoảng 375.000 trọng số, gấp đôi mô hình lớn nhất trong lưới, trên đủ 1,5 triệu token, 3 seed. Bạn chưa thấy giá trị mất mát của nó.

Dùng luật lũy thừa từ bài học 3 (từng độ rộng một, 1,5 triệu token) để dự đoán nó. Cam kết con số trong mã, rồi mở kết quả đã ghi lại.

Từ và ký hiệu trong bài học này
luật lũy thừa
y = A x^-alpha: một đường thẳng trên trục log-log
token
ở đây, một lần dự đoán: một ký tự
Đến lượt bạn

Khớp lưới 1,5 triệu token bằng scaling.fit_power_law, gán prediction cho độ rộng 2048 (scaling.params_of(2048) trọng số), rồi gán actual (trung bình của scaling.recorded_bigger()) và error. So sánh nó với sai số theo cảm tính của bạn ở bài học 1 bằng cách gán better_than_my_gut.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.