Kích thước batch và tốc độ học cùng nhau
Vì sao điều này quan trọng Kích thước batch và tốc độ học không phải là những núm vặn riêng rẽ. Thay đổi một cái và giá trị tốt nhất của cái kia dịch chuyển.
Một batch lớn hơn cho một gradient ít nhiễu hơn, nên nó có thể bước một bước lớn hơn một cách an toàn. Một quy tắc đại khái mà nhiều người bắt đầu từ đó: nếu bạn gấp đôi kích thước batch, bạn có thể gấp đôi tốc độ học, tới một điểm mà bước trở nên bất ổn.
Kết quả cũng dao động từ seed này sang seed khác, nên hãy so sánh các thiết lập trên vài seed, không bao giờ một lần chạy.
Thêm một cái bẫy: các nhãn ở đây mang nhiễu với độ phân tán 0.1, nên không thiết lập nào đẩy được giá trị mất mát xuống dưới khoảng 0.1 bình phương = 0.01. Gần mức sàn đó vài cặp hòa nhau (ví dụ 0.0113 so với 0.0114). Một "người thắng" với khoảng cách nhỏ hơn mức dao động giữa các seed thì không phải người thắng, nên lần chạy cũng liệt kê mọi cặp nằm trong 5% so với cặp tốt nhất.
Tóm tắt Hãy tinh chỉnh chúng cùng nhau, và lấy trung bình trên các seed.
Từ và ký hiệu trong bài học này
- SGD
- gradient descent dùng các batch nhỏ ngẫu nhiên
Dự đoán trước: trong my_pick, hãy viết cặp (batch, lr) từ lưới mà bạn nghĩ kết thúc với giá trị mất mát thấp nhất sau 2 epoch. Rồi viết sweep(X, y, batches, lrs, seeds) trả về một dict từ (batch, lr) tới giá trị mất mát cuối cùng trung bình trên các seed (dùng sgd được cho), và best(results) trả về cặp tốt nhất.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.