Dự đoán một lần chạy lớn hơn, rồi xem nó
Vì sao điều này quan trọng Một phép khớp chỉ mô tả các lần chạy bạn đã có là một bản tóm tắt. Một phép khớp dự đoán được một lần chạy bạn chưa có là một định luật, ít nhất là tạm thời. Đây là bài kiểm tra.
Khóa học đã huấn luyện thêm một kích thước sau khi lưới hoàn tất: độ rộng 2048, khoảng 375.000 trọng số, gấp đôi mô hình lớn nhất trong lưới, trên đủ 1,5 triệu token, 3 seed. Bạn chưa thấy giá trị mất mát của nó.
Dùng luật lũy thừa từ bài học 3 (từng độ rộng một, 1,5 triệu token) để dự đoán nó. Cam kết con số trong mã, rồi mở kết quả đã ghi lại.
Từ và ký hiệu trong bài học này
- luật lũy thừa
- y = A x^-alpha: một đường thẳng trên trục log-log
- token
- ở đây, một lần dự đoán: một ký tự
Khớp lưới 1,5 triệu token bằng scaling.fit_power_law, gán prediction cho độ rộng 2048 (scaling.params_of(2048) trọng số), rồi gán actual (trung bình của scaling.recorded_bigger()) và error. So sánh nó với sai số theo cảm tính của bạn ở bài học 1 bằng cách gán better_than_my_gut.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.