Chương trình học Bài 204 trên tổng số 246 · Mô-đun 19: Lớn hơn, và tốt hơn bao nhiêu (luật mở rộng quy mô)
Mô-đun 19: Lớn hơn, và tốt hơn bao nhiêu (luật mở rộng quy mô)

Cách dùng tốt nhất một ngân sách cố định

Vì sao điều này quan trọng Với một ngân sách tính toán cố định C, một mô hình lớn hơn thấy ít token hơn (C = 6 N D). Quá lớn thì nó bị đói; quá nhỏ thì nó đầy trước khi hết ngân sách. Năm 2022 phép tính này (bài báo "Chinchilla") đã cho thấy hầu hết các mô hình lớn thời đó quá lớn so với dữ liệu chúng được huấn luyện.

Khớp cả hai hiệu ứng cùng lúc:

loss = E + A / N^alpha + B / D^beta

scaling.fit_2d khớp nó với cả 150 lần chạy. Rồi với một ngân sách C, mỗi độ rộng N cố định D = C / (6 N), và công thức dự đoán giá trị mất mát: chọn độ rộng có dự đoán thấp nhất. scaling.params_of(width) cho số trọng số của một độ rộng.

Lĩnh vực này hiện đang ở đâu Hoffmann và cộng sự (2022, "Chinchilla") đã khớp cùng dạng hai biến này cho các mô hình ngôn ngữ lớn và tìm ra cách chia tối ưu về tính toán ở khoảng 20 token huấn luyện cho mỗi trọng số. Các phòng thí nghiệm giờ thường huấn luyện vượt xa mức đó (nhiều token hơn hẳn cho một mô hình nhỏ hơn), vì một mô hình nhỏ hơn rẻ hơn mỗi lần nó trả lời: tối ưu về tính toán cho huấn luyện không phải là tối ưu cho sử dụng. Và khi làm một mô hình rộng hơn, họ co giãn lại các trọng số khởi đầu và tốc độ học theo từng lớp (muP, Yang và cộng sự 2022) để tốc độ học tốt nhất tìm được trên một mô hình nhỏ vẫn hiệu quả trên mô hình lớn: chính vấn đề mà bài học "mô hình rộng hơn muốn bước nhỏ hơn" của Mô-đun 13 đã đo.

Từ và ký hiệu trong bài học này
số mũ (alpha, beta)
giá trị mất mát giảm nhanh tới đâu khi có nhiều trọng số hơn (alpha) hoặc nhiều dữ liệu hơn (beta)
token
ở đây, một lần dự đoán: một ký tự
FLOP (6 N D)
chi phí huấn luyện: khoảng 6 phép tính cho mỗi trọng số cho mỗi token
tối ưu về tính toán
cách chia một ngân sách cố định giữa kích thước mô hình và dữ liệu cho giá trị mất mát thấp nhất
Đến lượt bạn

Khớp lưới vào f. Viết plan(f, budget) trả về độ rộng (một lũy thừa của 2 từ 2 tới 4096) có giá trị mất mát dự đoán thấp nhất. Điền choice cho các ngân sách 1e9, 1e10 và 1e11 FLOP.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.