Chương trình học Bài 176 trên tổng số 246 · Mô-đun 16: Hai mạng trong một trò chơi (GAN, tùy chọn)
Mô-đun 16: Hai mạng trong một trò chơi (GAN, tùy chọn)

Hai mạng trong một trò chơi

Vì sao điều này quan trọng Một VAE học dựng lại ảnh và trả giá bằng độ mờ. Một GAN (mạng đối nghịch sinh) không bao giờ dựng lại thứ gì. Một mạng tạo ảnh, mạng thứ hai chấm chúng, và mỗi mạng huấn luyện đối đầu với mạng kia. Đó là ý tưởng đằng sau những gương mặt được sinh ra đầu tiên đã đánh lừa được con người.

Hai người chơi:

  • Bộ sinh G biến nhiễu ngẫu nhiên z thành một mẫu, G(z).
  • Bộ phân biệt D nhìn một mẫu và cho một điểm số (một logit). sigmoid(score) là niềm tin của nó rằng mẫu là thật.

D huấn luyện như bất kỳ bộ phân loại nào: mẫu thật gắn nhãn 1, mẫu được sinh gắn nhãn 0, binary cross-entropy. G huấn luyện để đánh lừa D. Có hai cách viết giá trị mất mát của G, và sự khác biệt quyết định việc huấn luyện có bắt đầu được hay không:

  • Bão hòa (trò chơi của bài báo gốc): G tối thiểu hóa log(1 - D(G(z))).
  • Không bão hòa: G tối thiểu hóa -log D(G(z)). Cùng mục tiêu, "làm D nói là thật".

Những con số nhỏ xíu: các độ dốc

Viết f cho điểm số của D trên một mẫu giả, nên D(G(z)) = sigmoid(f). Độ dốc của mỗi giá trị mất mát theo f là:

bão hòa: -sigmoid(f)    không bão hòa: sigmoid(f) - 1

Đầu quá trình huấn luyện D dễ dàng phát hiện mẫu giả: D(G(z)) = 0.001. Độ dốc bão hòa khi đó là -0.001, gần như không có gì để học. Độ dốc không bão hòa là -0.999, một cú đẩy đầy đủ. Đó là lý thuyết. Khóa học đã đo khi nào nó quan trọng: trên vòng tròn khỏe mạnh cả hai giá trị mất mát đều huấn luyện được (cả 8 seed đã ghi lại); trong một thiết lập mà D thắng, giá trị mất mát bão hòa không học được gì.

Mọi giá trị mất mát ở đây dùng mẹo log-sum-exp để không logarit nào gặp 0: log(sigmoid(f)) = -softplus(-f) và log(1 - sigmoid(f)) = -softplus(f), với softplus(a) = log(1 + e^a), tính bằng np.logaddexp(0, a).

Từ và ký hiệu trong bài học này
GAN
mạng đối nghịch sinh: một bộ sinh và một bộ phân biệt được huấn luyện đối đầu nhau
bộ sinh (G)
mạng biến nhiễu thành một mẫu
bộ phân biệt (D)
mạng chấm điểm một mẫu là thật hay được sinh ra
giá trị mất mát bão hòa
G tối thiểu hóa log(1 - D(G(z))); độ dốc của nó khoảng 0 một khi D đã chắc chắn, nên G ngừng học
Đến lượt bạn

Viết ba giá trị mất mát dưới dạng trung bình trên một batch điểm số: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) và g_loss_nonsat(fake_scores). Rồi điền slopes: với mỗi D(G(z)) trong 0.001, 0.1 và 0.5, độ dốc của mỗi giá trị mất mát của bộ sinh theo điểm số của mẫu giả (cho một mẫu).

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.