Tìm nhanh một tốc độ học, và cắt các đột biến
Vì sao điều này quan trọng Đoán tốc độ học phí mất nhiều ngày. Một lần chạy ngắn cho bạn biết một tốc độ tốt. Và một batch xấu có thể làm bùng nổ một lần chạy trừ khi bạn giới hạn bước.
Phép thử dải tốc độ
Huấn luyện trong vài trăm bước trong khi nâng tốc độ học lên một chút mỗi bước, từ rất nhỏ tới khổng lồ, và ghi lại giá trị mất mát. Lúc đầu không có gì xảy ra; rồi giá trị mất mát giảm nhanh; rồi nó bùng nổ. Một tốc độ học tốt nằm ở chỗ giá trị mất mát đang giảm nhanh nhất, thấp hơn điểm bùng nổ một chút. Một quy tắc phổ biến: lấy tốc độ tại chỗ giá trị mất mát thấp nhất và chia cho 10.
Cắt gradient
Nếu tổng độ lớn của gradient (độ dài của nó, hay chuẩn) vượt một giới hạn, hãy co toàn bộ gradient xuống độ dài đó. Hướng được giữ nguyên; chỉ một bước khổng lồ hiếm hoi bị thuần hóa.
Chuẩn gradient (gradient norm): độ dài của mọi gradient được coi như một vector dài: căn bậc hai của tổng các bình phương của chúng.
Từ và ký hiệu trong bài học này
- chuẩn gradient, cắt gradient
- tổng độ lớn của gradient, và giới hạn trên của nó
Viết pick_lr(lrs, losses): tốc độ học tại chỗ giá trị mất mát thấp nhất, chia cho 10. Và clip(grads, max_norm): grads là một list các mảng; nếu chuẩn gộp của chúng vượt max_norm, trả về tất cả được co sao cho chuẩn bằng max_norm, nếu không thì trả về chúng không đổi.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.