Các lần chạy nhỏ của riêng bạn, có tính chi phí
Vì sao điều này quan trọng Mở rộng quy mô là một phát biểu về chi phí: tốt hơn bao nhiêu trên mỗi đơn vị tính toán. Vì vậy mọi lần chạy cần một nhãn giá, và nhãn giá của việc huấn luyện đơn giản tới bất ngờ.
Huấn luyện tốn khoảng 6 phép tính cho mỗi trọng số cho mỗi token: 2 cho lượt lan truyền xuôi (một phép nhân, một phép cộng cho mỗi trọng số) và khoảng 4 cho lượt lan truyền ngược (gradient cho các đầu vào và cho các trọng số). Đó là quy tắc Sổ FLOP bạn đã dùng từ vạch xuất phát: scaling.flops(weights, tokens).
Ở đây bạn huấn luyện trực tiếp ba mô hình nhỏ, mỗi mô hình trên 32.000 token văn bản của khóa học, chi phí cách nhau khoảng 7 lần.
Từ và ký hiệu trong bài học này
- token
- ở đây, một lần dự đoán: một ký tự
- FLOP (6 N D)
- chi phí huấn luyện: khoảng 6 phép tính cho mỗi trọng số cho mỗi token
Huấn luyện độ rộng 4, 16 và 64, mỗi cái 32.000 token (scaling.train(model, 32_000) trả về giá trị mất mát trên dữ liệu giữ lại). Điền runs với, cho mỗi độ rộng, số trọng số, số FLOP và giá trị mất mát. Rồi gán cost_ratio: lần chạy độ rộng 64 tốn gấp bao nhiêu lần lần chạy độ rộng 4.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.