Chương trình học Bài 72 trên tổng số 246 · Mô-đun 5: Tối ưu hóa
Mô-đun 5: Tối ưu hóa

Lịch trình warmup và cosine

Vì sao điều này quan trọng Tốc độ học tốt nhất không giống nhau suốt quá trình huấn luyện. Các mô hình lớn gần như luôn được huấn luyện với một lịch trình: khởi đầu nhẹ nhàng, một quãng giữa dài ở mức cao, và một cú hạ cánh chậm.

Xem nó

Hãy chạy hoạt ảnh. Warmup: tốc độ leo theo một đường thẳng từ gần không lên đỉnh của nó trong vài trăm bước đầu tiên, vì lúc mới bắt đầu các gradient lớn và không đáng tin. Suy giảm cosine: rồi nó trượt xuống theo nửa sóng cosine tới một mức sàn nhỏ, để giai đoạn cuối của huấn luyện bước những bước nhỏ cẩn thận và lắng vào một chỗ tốt.

if step < warmup:  lr = peak * (step + 1) / warmup
else:              progress = (step - warmup) / (total - warmup)
                   lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))

Tóm tắt Leo lên, bay đều, lượn xuống.

Từ và ký hiệu trong bài học này
warmup, cosine
khởi đầu tốc độ học nhỏ, rồi cho nó trượt xuống theo một đường cosine
Đến lượt bạn

Viết lr_at(step, total, warmup, peak, floor) theo các công thức ở trên (bước đếm từ 0).

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.