Chương trình học Bài 179 trên tổng số 246 · Mô-đun 16: Hai mạng trong một trò chơi (GAN, tùy chọn)
Mô-đun 16: Hai mạng trong một trò chơi (GAN, tùy chọn)

Những mẹo đôi khi có ích

Vì sao điều này quan trọng Các bài báo và bài blog về GAN liệt kê hàng chục mẹo. Phần lớn được trình diễn trên một thiết lập, thường với một seed. Ở đây bạn kiểm tra bốn mẹo trên cùng một sự sụp đổ, qua 8 seed đã ghi lại, và báo cáo điều bạn đã đo, không phải điều bạn đã đọc.

Bốn mẹo, mỗi mẹo áp dụng cho GAN đang sụp đổ với 8 số nhiễu:

  • Làm mượt nhãn: D được bảo rằng mẫu thật là thật ở mức 0.8, không phải 1, nên nó không bao giờ quá chắc chắn.
  • Nhiễu thể hiện: một chút nhiễu được cộng vào mọi điểm D thấy, co dần về 0 trong quá trình huấn luyện, để mẫu thật và giả chồng lấn nhau lúc đầu.
  • Chuẩn hóa phổ: mọi ma trận trọng số của D được chia cho độ kéo giãn lớn nhất của nó, nên D không thể phản ứng quá gắt với những thay đổi nhỏ.
  • Cân bằng tốc độ học: G chậm hơn D (g_lr 2.5e-4) hoặc nhanh hơn (g_lr 3e-3).

Hãy dùng tinh thần của Mô-đun 9: một khác biệt chỉ được tính khi nó rõ ràng lớn hơn nhiễu giữa các seed. So sánh mỗi mẹo với lần chạy thuần theo từng seed (cùng seed, ghép cặp):

  • helped (đã giúp): số cụm trung bình cao hơn ít nhất 1 VÀ nhiều cụm hơn trên ít nhất 6 trong 8 seed;
  • hurt (gây hại): số cụm trung bình thấp hơn ít nhất 1 và ít hơn trên ít nhất 6 seed, HOẶC chất lượng trung bình thấp hơn ít nhất 0.25 và thấp hơn trên ít nhất 6 seed (một bộ sinh giữ được cụm nhưng rải điểm thì chưa được giúp);
  • còn lại là no clear change (không thay đổi rõ ràng).
Từ và ký hiệu trong bài học này
GAN
mạng đối nghịch sinh: một bộ sinh và một bộ phân biệt được huấn luyện đối đầu nhau
bộ sinh (G)
mạng biến nhiễu thành một mẫu
số cụm được phủ, chất lượng
giám khảo của vòng tròn: các cụm có hơn 2% số điểm, và tỷ lệ điểm nằm trên một cụm
làm mượt nhãn
huấn luyện D với nhãn thật là 0.8 thay vì 1
nhiễu thể hiện
nhiễu được cộng vào mọi thứ D thấy, co dần về 0 trong quá trình huấn luyện
chuẩn hóa phổ
chia mỗi ma trận trọng số của D cho độ kéo giãn lớn nhất của nó
Đến lượt bạn

Viết verdict(trick) trả về "helped", "hurt" hoặc "no clear change" từ các lần chạy đã ghi lại. Rồi điền report với phán quyết của bạn cho mỗi lần chạy trong năm lần chạy mẹo.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.