Chương trình học Bài 66 trên tổng số 246 · Mô-đun 5: Tối ưu hóa
Mô-đun 5: Tối ưu hóa

Những bước nhiễu (SGD và minibatch)

Vì sao điều này quan trọng Các tập dữ liệu thật có hàng triệu ví dụ. Tính gradient chính xác trên tất cả chúng cho mỗi bước thì quá chậm, nên ta ước lượng nó từ một batch nhỏ.

Một gradient minibatch dùng, chẳng hạn, 32 ví dụ ngẫu nhiên thay vì cả 512. Nó chỉ gần đúng hướng xuống dốc, với một chút nhiễu. Bạn có 16 bước nhiễu rẻ với giá của một bước chính xác, và trên thực tế cách đó thắng dễ dàng.

Nhiễu làm gì

Đường cong mất mát trở nên lởm chởm thay vì mượt, và gần đáy nó không bao giờ ổn định hoàn toàn: nó rung rinh quanh điểm cực tiểu. Hạ tốc độ học ở giai đoạn cuối của việc huấn luyện làm dịu sự rung rinh. Một chút nhiễu thậm chí có ích trong các mạng lớn, lay lượt đi ra khỏi những chỗ kém.

SGD: gradient descent ngẫu nhiên, gradient descent với ước lượng gradient theo minibatch.

Tóm tắt Nhiều bước nhiễu rẻ thắng vài bước chính xác.

Từ và ký hiệu trong bài học này
SGD
gradient descent dùng các batch nhỏ ngẫu nhiên
minibatch
một lát nhỏ ngẫu nhiên của dữ liệu được dùng cho một bước
Đến lượt bạn

Viết sgd(X, y, lr, batch, epochs, seed) cho hồi quy tuyến tính (giá trị mất mát: sai số bình phương trung bình), xáo trộn mỗi epoch, trả về (w, losses) trong đó losses là giá trị mất mát trên toàn dữ liệu sau mỗi epoch. Với batch 32, lr 0.05 và 10 epoch nó phải kết thúc dưới 0.02.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.