Mô hình rộng hơn muốn bước nhỏ hơn
Vì sao điều này quan trọng Tốc độ học hiệu quả với một mô hình nhỏ có thể phá hỏng một mô hình lớn hơn. Các đội huấn luyện mô hình lớn tốn tiền thật để phát hiện điều này; bạn có thể đọc nó từ các lần chạy đã ghi lại.
Thí nghiệm đã ghi lại gpt-width-lr đã huấn luyện GPT nhỏ xíu ở độ rộng 32, 64 và 128, mỗi độ rộng với tốc độ học 0.001, 0.003 và 0.01, trong 2.000 bước, mỗi cấu hình ba seed, và đo giá trị mất mát trên văn bản giữ lại ở cuối.
Hãy dự đoán trước khi nhìn: tốc độ học nào tốt nhất cho mô hình rộng nhất, 128?
Từ và ký hiệu trong bài học này
- query, key, value
- điều một vị trí tìm kiếm; điều mỗi vị trí đưa ra để được so khớp; điều nó trao đi
Gán my_guess là một trong 0.001, 0.003 hoặc 0.01, rồi điền mean_loss: (width, lr) ứng với giá trị mất mát cuối cùng trung bình trên dữ liệu giữ lại qua ba seed (exp.seeds(d=..., lr=...) cho ra ba lần chạy; giá trị mất mát cuối cùng trên dữ liệu giữ lại của mỗi lần chạy là run.val_loss[-1][1]). Rồi điền best_lr: độ rộng ứng với tốc độ học có trung bình thấp nhất.
Rồi dùng quy tắc nhiễu của Mô-đun 9 để nói thiết lập nào thực sự khác nhau. Với mỗi cấu hình ba seed, hai trung bình khác nhau thật sự chỉ khi khoảng cách lớn hơn khoảng 2 × s × sqrt(2/3), trong đó s là độ phân tán seed lớn hơn của hai thiết lập (np.std của ba giá trị). Bất cứ gì gần hơn là hòa.
Gán ties: độ rộng ứng với list các tốc độ học hòa với tốc độ tốt nhất của độ rộng đó (kể cả tốc độ tốt nhất).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.