Chương trình học Bài 207 trên tổng số 246 · Mô-đun 19: Lớn hơn, và tốt hơn bao nhiêu (luật mở rộng quy mô)
Mô-đun 19: Lớn hơn, và tốt hơn bao nhiêu (luật mở rộng quy mô)

Bài kiểm tra vượt cấp: lập kế hoạch một lần huấn luyện (tắt AI)

Vì sao điều này quan trọng Đây là quyết định mà luật mở rộng quy mô tồn tại để phục vụ: bạn có một ngân sách và một cơ hội. Hãy lập kế hoạch từ bằng chứng.

Luật của bài kiểm tra vượt cấp: gia sư AI tắt. Bạn có 3 x 10^10 FLOP cho một lần chạy mô hình ký tự của khóa học, trên cùng văn bản như lưới. Chọn một độ rộng (một lũy thừa của 2) và số token mà ngân sách khi đó cho phép. Dùng lưới đã ghi lại theo bất kỳ cách nào bạn muốn: phép khớp, bảng, cả hai.

Bài kiểm tra dự đoán giá trị mất mát của lựa chọn của bạn và của lựa chọn tốt nhất có thể bằng phép khớp hai biến của khóa học, và đạt khi lựa chọn của bạn nằm trong phạm vi 0.02 so với tốt nhất và bạn đã tiêu hết ngân sách (trong phạm vi 1%).

Từ và ký hiệu trong bài học này
luật mở rộng quy mô
giá trị mất mát giảm ra sao khi trọng số, dữ liệu hoặc tính toán tăng, thường là một luật lũy thừa tiến về một sàn
token
ở đây, một lần dự đoán: một ký tự
FLOP (6 N D)
chi phí huấn luyện: khoảng 6 phép tính cho mỗi trọng số cho mỗi token
Đến lượt bạn

Gán width và tokens.

Tắt AI: không có gia sư, gợi ý hoặc lời giải mẫu cho bài này. Chỉ dùng tư duy của riêng bạn.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.