Chương trình học Bài 170 trên tổng số 246 · Mô-đun 15: Ép, dựng lại, sinh mới (autoencoder và VAE)
Mô-đun 15: Ép, dựng lại, sinh mới (autoencoder và VAE)

Một mã cách tâm bao xa: KL giữa hai đường cong hình chuông

Vì sao điều này quan trọng Lực kéo 2 cần một con số để tối thiểu hóa: đám mây N(mu, spread) của mỗi mã cách mục tiêu N(0, 1) bao xa. Con số đó là độ phân kỳ KL bạn đã gặp ở Mô-đun 2, giờ cho các đường cong hình chuông.

Mô-đun 2 đã cho công thức chính xác cho hai đường cong hình chuông: KL giữa N(m1, s1) và N(m2, s2) là

log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.

Với mục tiêu N(0, 1) (m2 = 0, s2 = 1) và độ phân tán viết dưới dạng logvar = log(s1²), nó trở thành 0.5 (mu² + exp(logvar) - 1 - logvar) cho mỗi số mã. Cộng nó lại trên các số của mã.

Những con số nhỏ xíu

mu = 0, logvar = 0 (độ phân tán 1): 0.5 (0 + 1 - 1 - 0) = 0, mã đã khớp với mục tiêu. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, nên một mã quá chắc chắn về chính nó cũng phải trả giá.

Kiểm tra nó không cần công thức

KL là một trung bình: trung bình của log p(x) - log q(x) với x rút từ p. Rút nhiều x và lấy trung bình cho cùng con số, hơi nhiễu một chút. Hai phương pháp khớp nhau là cách bạn biết mã đúng.

Từ và ký hiệu trong bài học này
mã (latent)
vài con số mà bộ mã hóa tạo ra từ một bức ảnh
mu, logvar
tâm và log của bình phương độ phân tán của một số mã trong một VAE
Đến lượt bạn

Viết kl_normal(m1, s1, m2, s2) từ công thức, kl_to_standard(mu, logvar) (các array NumPy có shape (N, z), trả về tổng trên các số mã lấy trung bình trên N hàng), và kl_by_sampling(m1, s1, m2, s2, n) lấy trung bình log p(x) - log q(x) trên n lần rút từ p.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.