Đoán một mô hình lớn hơn
Vì sao điều này quan trọng Huấn luyện một mô hình lớn tốn hàng tháng và hàng triệu. Trước khi ai đó chi số tiền đó, họ dự đoán nó sẽ tốt tới đâu từ các lần chạy nhỏ. Sự thật bất ngờ đằng sau cơn bùng nổ AI là dự đoán đó thường đúng. Trước hết, hãy xem trực giác của chính bạn tốt tới đâu.
Các mô hình trong mô-đun này là các mô hình ký tự nhỏ: chúng đọc 8 ký tự và dự đoán ký tự tiếp theo. Một con số đặt kích thước của chúng, độ rộng của lớp ẩn. Khóa học đã huấn luyện 150 mô hình như vậy (10 độ rộng, 5 lượng dữ liệu, mỗi cấu hình 3 seed) trên 1,5 triệu ký tự văn bản bài học của chính nó, và đo giá trị mất mát của mỗi mô hình trên 100.000 ký tự nó chưa từng thấy.
Một mô hình độ rộng 128 (24.401 trọng số) huấn luyện trên 1,5 triệu token đạt giá trị mất mát trên dữ liệu giữ lại khoảng 1.86. Một token ở đây là một lần dự đoán: một ký tự.
Trước khi nhìn: một mô hình độ rộng 1024 có số trọng số gấp 7,7 lần. Huấn luyện trên cùng dữ liệu, nó sẽ đạt giá trị mất mát nào? Để so sánh: dự đoán mọi ký tự có khả năng như nhau được 4.42, và các mô hình tốt nhất trong số này xuống dưới 2.
Từ và ký hiệu trong bài học này
- token
- ở đây, một lần dự đoán: một ký tự
Gán my_guess là giá trị mất mát trên dữ liệu giữ lại bạn dự đoán cho độ rộng 1024 ở 1,5 triệu token. Rồi gán actual từ các lần chạy đã ghi lại (trung bình trên 3 seed), và error là bạn đã lệch bao nhiêu (actual trừ phỏng đoán).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.