Một mã cách tâm bao xa: KL giữa hai đường cong hình chuông
Vì sao điều này quan trọng Lực kéo 2 cần một con số để tối thiểu hóa: đám mây N(mu, spread) của mỗi mã cách mục tiêu N(0, 1) bao xa. Con số đó là độ phân kỳ KL bạn đã gặp ở Mô-đun 2, giờ cho các đường cong hình chuông.
Mô-đun 2 đã cho công thức chính xác cho hai đường cong hình chuông: KL giữa N(m1, s1) và N(m2, s2) là
log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.
Với mục tiêu N(0, 1) (m2 = 0, s2 = 1) và độ phân tán viết dưới dạng logvar = log(s1²), nó trở thành 0.5 (mu² + exp(logvar) - 1 - logvar) cho mỗi số mã. Cộng nó lại trên các số của mã.
Những con số nhỏ xíu
mu = 0, logvar = 0 (độ phân tán 1): 0.5 (0 + 1 - 1 - 0) = 0, mã đã khớp với mục tiêu. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, nên một mã quá chắc chắn về chính nó cũng phải trả giá.
Kiểm tra nó không cần công thức
KL là một trung bình: trung bình của log p(x) - log q(x) với x rút từ p. Rút nhiều x và lấy trung bình cho cùng con số, hơi nhiễu một chút. Hai phương pháp khớp nhau là cách bạn biết mã đúng.
Từ và ký hiệu trong bài học này
- mã (latent)
- vài con số mà bộ mã hóa tạo ra từ một bức ảnh
- mu, logvar
- tâm và log của bình phương độ phân tán của một số mã trong một VAE
Viết kl_normal(m1, s1, m2, s2) từ công thức, kl_to_standard(mu, logvar) (các array NumPy có shape (N, z), trả về tổng trên các số mã lấy trung bình trên N hàng), và kl_by_sampling(m1, s1, m2, s2, n) lấy trung bình log p(x) - log q(x) trên n lần rút từ p.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.