Dropout, tự dựng
Vì sao điều này quan trọng Dropout là một cách đơn giản để ngăn một mạng dựa quá nhiều vào bất kỳ đơn vị đơn lẻ nào, và bạn sẽ thấy nó bên trong nhiều mô hình.
Trong khi huấn luyện, dropout tắt ngẫu nhiên mỗi đơn vị với xác suất p (chẳng hạn 0.5) ở mọi bước. Mạng không thể dựa vào bất kỳ đơn vị nào, vì nó có thể biến mất ở bước sau, nên nó trải những gì nó biết ra nhiều đơn vị.
Giữ trung bình cho đúng
Nếu một nửa số đơn vị bị tắt, lớp tiếp theo nhận khoảng một nửa tín hiệu. Inverted dropout hiện đại sửa điều này trong khi huấn luyện: những đơn vị sống sót được nhân với 1 / (1 - p), ở đây là 2. Lúc đánh giá dropout hoàn toàn không làm gì, và tín hiệu trung bình khớp với lúc huấn luyện. (Bài báo gốc năm 2014 thay vào đó co giãn lúc đánh giá; kết quả là như nhau, nhưng inverted dropout giữ nguyên mã đánh giá.)
Tỉ lệ dropout p: xác suất tắt một đơn vị trong khi huấn luyện.
Từ và ký hiệu trong bài học này
- dropout (p)
- tắt ngẫu nhiên các đơn vị với xác suất p trong khi huấn luyện
Viết dropout(h, p, training, rng): khi huấn luyện, đưa mỗi phần tử về không với xác suất p và co giãn những cái sống sót theo 1 / (1 - p); nếu không thì trả về h không đổi. Dùng rng.random(h.shape) >= p làm mặt nạ giữ lại.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.