Cách dùng tốt nhất một ngân sách cố định
Vì sao điều này quan trọng Với một ngân sách tính toán cố định C, một mô hình lớn hơn thấy ít token hơn (C = 6 N D). Quá lớn thì nó bị đói; quá nhỏ thì nó đầy trước khi hết ngân sách. Năm 2022 phép tính này (bài báo "Chinchilla") đã cho thấy hầu hết các mô hình lớn thời đó quá lớn so với dữ liệu chúng được huấn luyện.
Khớp cả hai hiệu ứng cùng lúc:
loss = E + A / N^alpha + B / D^beta
scaling.fit_2d khớp nó với cả 150 lần chạy. Rồi với một ngân sách C, mỗi độ rộng N cố định D = C / (6 N), và công thức dự đoán giá trị mất mát: chọn độ rộng có dự đoán thấp nhất. scaling.params_of(width) cho số trọng số của một độ rộng.
Lĩnh vực này hiện đang ở đâu Hoffmann và cộng sự (2022, "Chinchilla") đã khớp cùng dạng hai biến này cho các mô hình ngôn ngữ lớn và tìm ra cách chia tối ưu về tính toán ở khoảng 20 token huấn luyện cho mỗi trọng số. Các phòng thí nghiệm giờ thường huấn luyện vượt xa mức đó (nhiều token hơn hẳn cho một mô hình nhỏ hơn), vì một mô hình nhỏ hơn rẻ hơn mỗi lần nó trả lời: tối ưu về tính toán cho huấn luyện không phải là tối ưu cho sử dụng. Và khi làm một mô hình rộng hơn, họ co giãn lại các trọng số khởi đầu và tốc độ học theo từng lớp (muP, Yang và cộng sự 2022) để tốc độ học tốt nhất tìm được trên một mô hình nhỏ vẫn hiệu quả trên mô hình lớn: chính vấn đề mà bài học "mô hình rộng hơn muốn bước nhỏ hơn" của Mô-đun 13 đã đo.
Từ và ký hiệu trong bài học này
- số mũ (alpha, beta)
- giá trị mất mát giảm nhanh tới đâu khi có nhiều trọng số hơn (alpha) hoặc nhiều dữ liệu hơn (beta)
- token
- ở đây, một lần dự đoán: một ký tự
- FLOP (6 N D)
- chi phí huấn luyện: khoảng 6 phép tính cho mỗi trọng số cho mỗi token
- tối ưu về tính toán
- cách chia một ngân sách cố định giữa kích thước mô hình và dữ liệu cho giá trị mất mát thấp nhất
Khớp lưới vào f. Viết plan(f, budget) trả về độ rộng (một lũy thừa của 2 từ 2 tới 4096) có giá trị mất mát dự đoán thấp nhất. Điền choice cho các ngân sách 1e9, 1e10 và 1e11 FLOP.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.