Hai mạng trong một trò chơi
Vì sao điều này quan trọng Một VAE học dựng lại ảnh và trả giá bằng độ mờ. Một GAN (mạng đối nghịch sinh) không bao giờ dựng lại thứ gì. Một mạng tạo ảnh, mạng thứ hai chấm chúng, và mỗi mạng huấn luyện đối đầu với mạng kia. Đó là ý tưởng đằng sau những gương mặt được sinh ra đầu tiên đã đánh lừa được con người.
Hai người chơi:
- Bộ sinh G biến nhiễu ngẫu nhiên z thành một mẫu, G(z).
- Bộ phân biệt D nhìn một mẫu và cho một điểm số (một logit). sigmoid(score) là niềm tin của nó rằng mẫu là thật.
D huấn luyện như bất kỳ bộ phân loại nào: mẫu thật gắn nhãn 1, mẫu được sinh gắn nhãn 0, binary cross-entropy. G huấn luyện để đánh lừa D. Có hai cách viết giá trị mất mát của G, và sự khác biệt quyết định việc huấn luyện có bắt đầu được hay không:
- Bão hòa (trò chơi của bài báo gốc): G tối thiểu hóa log(1 - D(G(z))).
- Không bão hòa: G tối thiểu hóa -log D(G(z)). Cùng mục tiêu, "làm D nói là thật".
Những con số nhỏ xíu: các độ dốc
Viết f cho điểm số của D trên một mẫu giả, nên D(G(z)) = sigmoid(f). Độ dốc của mỗi giá trị mất mát theo f là:
bão hòa: -sigmoid(f) không bão hòa: sigmoid(f) - 1
Đầu quá trình huấn luyện D dễ dàng phát hiện mẫu giả: D(G(z)) = 0.001. Độ dốc bão hòa khi đó là -0.001, gần như không có gì để học. Độ dốc không bão hòa là -0.999, một cú đẩy đầy đủ. Đó là lý thuyết. Khóa học đã đo khi nào nó quan trọng: trên vòng tròn khỏe mạnh cả hai giá trị mất mát đều huấn luyện được (cả 8 seed đã ghi lại); trong một thiết lập mà D thắng, giá trị mất mát bão hòa không học được gì.
Mọi giá trị mất mát ở đây dùng mẹo log-sum-exp để không logarit nào gặp 0: log(sigmoid(f)) = -softplus(-f) và log(1 - sigmoid(f)) = -softplus(f), với softplus(a) = log(1 + e^a), tính bằng np.logaddexp(0, a).
Từ và ký hiệu trong bài học này
- GAN
- mạng đối nghịch sinh: một bộ sinh và một bộ phân biệt được huấn luyện đối đầu nhau
- bộ sinh (G)
- mạng biến nhiễu thành một mẫu
- bộ phân biệt (D)
- mạng chấm điểm một mẫu là thật hay được sinh ra
- giá trị mất mát bão hòa
- G tối thiểu hóa log(1 - D(G(z))); độ dốc của nó khoảng 0 một khi D đã chắc chắn, nên G ngừng học
Viết ba giá trị mất mát dưới dạng trung bình trên một batch điểm số: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) và g_loss_nonsat(fake_scores). Rồi điền slopes: với mỗi D(G(z)) trong 0.001, 0.1 và 0.5, độ dốc của mỗi giá trị mất mát của bộ sinh theo điểm số của mẫu giả (cho một mẫu).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.