Những mẹo đôi khi có ích
Vì sao điều này quan trọng Các bài báo và bài blog về GAN liệt kê hàng chục mẹo. Phần lớn được trình diễn trên một thiết lập, thường với một seed. Ở đây bạn kiểm tra bốn mẹo trên cùng một sự sụp đổ, qua 8 seed đã ghi lại, và báo cáo điều bạn đã đo, không phải điều bạn đã đọc.
Bốn mẹo, mỗi mẹo áp dụng cho GAN đang sụp đổ với 8 số nhiễu:
- Làm mượt nhãn: D được bảo rằng mẫu thật là thật ở mức 0.8, không phải 1, nên nó không bao giờ quá chắc chắn.
- Nhiễu thể hiện: một chút nhiễu được cộng vào mọi điểm D thấy, co dần về 0 trong quá trình huấn luyện, để mẫu thật và giả chồng lấn nhau lúc đầu.
- Chuẩn hóa phổ: mọi ma trận trọng số của D được chia cho độ kéo giãn lớn nhất của nó, nên D không thể phản ứng quá gắt với những thay đổi nhỏ.
- Cân bằng tốc độ học: G chậm hơn D (g_lr 2.5e-4) hoặc nhanh hơn (g_lr 3e-3).
Hãy dùng tinh thần của Mô-đun 9: một khác biệt chỉ được tính khi nó rõ ràng lớn hơn nhiễu giữa các seed. So sánh mỗi mẹo với lần chạy thuần theo từng seed (cùng seed, ghép cặp):
- helped (đã giúp): số cụm trung bình cao hơn ít nhất 1 VÀ nhiều cụm hơn trên ít nhất 6 trong 8 seed;
- hurt (gây hại): số cụm trung bình thấp hơn ít nhất 1 và ít hơn trên ít nhất 6 seed, HOẶC chất lượng trung bình thấp hơn ít nhất 0.25 và thấp hơn trên ít nhất 6 seed (một bộ sinh giữ được cụm nhưng rải điểm thì chưa được giúp);
- còn lại là no clear change (không thay đổi rõ ràng).
Từ và ký hiệu trong bài học này
- GAN
- mạng đối nghịch sinh: một bộ sinh và một bộ phân biệt được huấn luyện đối đầu nhau
- bộ sinh (G)
- mạng biến nhiễu thành một mẫu
- số cụm được phủ, chất lượng
- giám khảo của vòng tròn: các cụm có hơn 2% số điểm, và tỷ lệ điểm nằm trên một cụm
- làm mượt nhãn
- huấn luyện D với nhãn thật là 0.8 thay vì 1
- nhiễu thể hiện
- nhiễu được cộng vào mọi thứ D thấy, co dần về 0 trong quá trình huấn luyện
- chuẩn hóa phổ
- chia mỗi ma trận trọng số của D cho độ kéo giãn lớn nhất của nó
Viết verdict(trick) trả về "helped", "hurt" hoặc "no clear change" từ các lần chạy đã ghi lại. Rồi điền report với phán quyết của bạn cho mỗi lần chạy trong năm lần chạy mẹo.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.