Sụp đổ chế độ, có chủ đích
Vì sao điều này quan trọng Thất bại GAN phổ biến nhất trông như thành công: mọi mẫu đều sắc nét và thuyết phục, nhưng chúng gần như giống hệt nhau. Nó được gọi là sụp đổ chế độ (mode collapse; mỗi cụm là một "chế độ" của dữ liệu). Bạn không thể sửa thứ bạn không làm cho xảy ra được, nên ở đây bạn làm cho nó xảy ra.
Vì sao nó xảy ra: G chỉ phải đánh lừa D của hôm nay. Nếu một cụm đánh lừa D tốt nhất, G dồn mọi thứ vào đó. D học được rằng cụm đó đáng ngờ, G nhảy sang cụm khác, và hai bên có thể đuổi nhau quanh vòng tròn mà G không bao giờ trải ra.
ganlab.train(...) huấn luyện cùng GAN như bài học trước với bất kỳ thiết lập nào trong số này: noise (G nhận bao nhiêu số nhiễu, mặc định 2), d_steps (số bước của D cho mỗi bước G, 1), g_lr và d_lr (mỗi cái 1e-3), loss, smooth, instance_noise, spectral. Các lần chạy đã ghi lại, ganlab.recorded(), cho thấy một số thiết lập qua 8 seed.
Sụp đổ nghĩa là ít cụm VÀ các điểm sắc nét. Một bộ sinh rải điểm khắp nơi cũng phủ ít cụm, nhưng đó là một thất bại khác: nó chưa bao giờ học được các cụm cả.
Từ và ký hiệu trong bài học này
- GAN
- mạng đối nghịch sinh: một bộ sinh và một bộ phân biệt được huấn luyện đối đầu nhau
- bộ sinh (G)
- mạng biến nhiễu thành một mẫu
- sụp đổ chế độ
- bộ sinh chỉ tạo ra vài loại mẫu, mỗi loại đều thuyết phục
- số cụm được phủ, chất lượng
- giám khảo của vòng tròn: các cụm có hơn 2% số điểm, và tỷ lệ điểm nằm trên một cụm
Tìm các thiết lập làm GAN sụp đổ trên seed 0: phủ nhiều nhất 3 cụm, với chất lượng ít nhất 0.6. Đặt chúng vào settings. Để mỗi lần thử ngắn gọn, bài học này huấn luyện 1000 bước với tốc độ học 0.002 (đã đặt sẵn cho bạn; sự sụp đổ nó cho thấy giống như ở 2000 bước). Chỉ thay đổi các thiết lập riêng của GAN (noise, d_steps tới 3, loss, smooth, instance_noise, spectral); seed, số bước và tốc độ học giữ như đã cho. Rồi gán looks_like là chữ cái mô tả sự sụp đổ.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.