Lịch trình warmup và cosine
Vì sao điều này quan trọng Tốc độ học tốt nhất không giống nhau suốt quá trình huấn luyện. Các mô hình lớn gần như luôn được huấn luyện với một lịch trình: khởi đầu nhẹ nhàng, một quãng giữa dài ở mức cao, và một cú hạ cánh chậm.
Xem nó
Hãy chạy hoạt ảnh. Warmup: tốc độ leo theo một đường thẳng từ gần không lên đỉnh của nó trong vài trăm bước đầu tiên, vì lúc mới bắt đầu các gradient lớn và không đáng tin. Suy giảm cosine: rồi nó trượt xuống theo nửa sóng cosine tới một mức sàn nhỏ, để giai đoạn cuối của huấn luyện bước những bước nhỏ cẩn thận và lắng vào một chỗ tốt.
if step < warmup: lr = peak * (step + 1) / warmup
else: progress = (step - warmup) / (total - warmup)
lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))
Tóm tắt Leo lên, bay đều, lượn xuống.
Từ và ký hiệu trong bài học này
- warmup, cosine
- khởi đầu tốc độ học nhỏ, rồi cho nó trượt xuống theo một đường cosine
Viết lr_at(step, total, warmup, peak, floor) theo các công thức ở trên (bước đếm từ 0).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.