Những bước nhiễu (SGD và minibatch)
Vì sao điều này quan trọng Các tập dữ liệu thật có hàng triệu ví dụ. Tính gradient chính xác trên tất cả chúng cho mỗi bước thì quá chậm, nên ta ước lượng nó từ một batch nhỏ.
Một gradient minibatch dùng, chẳng hạn, 32 ví dụ ngẫu nhiên thay vì cả 512. Nó chỉ gần đúng hướng xuống dốc, với một chút nhiễu. Bạn có 16 bước nhiễu rẻ với giá của một bước chính xác, và trên thực tế cách đó thắng dễ dàng.
Nhiễu làm gì
Đường cong mất mát trở nên lởm chởm thay vì mượt, và gần đáy nó không bao giờ ổn định hoàn toàn: nó rung rinh quanh điểm cực tiểu. Hạ tốc độ học ở giai đoạn cuối của việc huấn luyện làm dịu sự rung rinh. Một chút nhiễu thậm chí có ích trong các mạng lớn, lay lượt đi ra khỏi những chỗ kém.
SGD: gradient descent ngẫu nhiên, gradient descent với ước lượng gradient theo minibatch.
Tóm tắt Nhiều bước nhiễu rẻ thắng vài bước chính xác.
Từ và ký hiệu trong bài học này
- SGD
- gradient descent dùng các batch nhỏ ngẫu nhiên
- minibatch
- một lát nhỏ ngẫu nhiên của dữ liệu được dùng cho một bước
Viết sgd(X, y, lr, batch, epochs, seed) cho hồi quy tuyến tính (giá trị mất mát: sai số bình phương trung bình), xáo trộn mỗi epoch, trả về (w, losses) trong đó losses là giá trị mất mát trên toàn dữ liệu sau mỗi epoch. Với batch 32, lr 0.05 và 10 epoch nó phải kết thúc dưới 0.02.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.