Giá trị mất mát của VAE, từng bước (ELBO)
Vì sao điều này quan trọng "Dựng lại tốt cộng ở gần tâm" nghe như hai mục tiêu dán vào nhau. Nó là một mục tiêu: làm các chữ số thật có xác suất cao nhất có thể dưới mô hình. Thấy được vì sao cho bạn biết con số giá trị mất mát có nghĩa là gì.
Một VAE là một câu chuyện về cách một chữ số được tạo ra: rút một mã z từ N(0, 1), rồi rút mỗi điểm ảnh với xác suất bộ giải mã cho. Mô hình tốt nhất cho các chữ số thật xác suất cao nhất, log p(x). Tính chính xác log p(x) cần một trung bình trên mọi z có thể, điều nằm ngoài tầm với.
Mẹo là một cận dưới bạn có thể tính được, ELBO (cận dưới của bằng chứng):
log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))
Ở đây q(z | x) = N(mu, spread) là phỏng đoán của bộ mã hóa về những mã nào có thể đã tạo ra x, và E[...] lấy trung bình trên các mã rút từ nó. Số hạng một là điểm dựng lại. Số hạng hai là lực kéo 2. Khoảng cách giữa log p(x) và ELBO đúng bằng mức sai của phỏng đoán của bộ mã hóa (một KL tới hậu nghiệm thật), nên đẩy ELBO lên làm tăng log p(x), hoặc thu hẹp khoảng cách (làm phỏng đoán tốt hơn), hoặc cả hai: riêng ELBO không thể cho bạn biết là cái nào.
Huấn luyện tối thiểu hóa -ELBO, tức là giá trị mất mát dựng lại + KL: chính giá trị mất mát trong gen.train_vae.
Điền vào chỗ trống trên một ví dụ nhỏ xíu
Một ảnh 4 điểm ảnh x = [1, 0, 1, 1]. Bộ mã hóa cho mu = [0.5, -1.0] và logvar = [0.0, -1.0]. Một lần rút mã cho các xác suất của bộ giải mã p = [0.9, 0.2, 0.7, 0.6] (khả năng có mực của mỗi điểm ảnh).
Từ và ký hiệu trong bài học này
- mã (latent)
- vài con số mà bộ mã hóa tạo ra từ một bức ảnh
- VAE
- autoencoder biến phân: một autoencoder có các mã bị kéo để lấp đầy N(0, 1), nên các mã ngẫu nhiên giải mã thành ảnh mới
- mu, logvar
- tâm và log của bình phương độ phân tán của một số mã trong một VAE
- ELBO
- cận dưới của bằng chứng: điểm dựng lại trừ KL; huấn luyện một VAE đẩy nó lên
Điền từng bước: log_p_x_given_z (tổng trên các điểm ảnh của x log p + (1 - x) log(1 - p)), kl (tới N(0, 1), cộng trên cả hai số mã), elbo, và loss (thứ việc huấn luyện tối thiểu hóa). Rồi gán gap_means là chữ cái nói khoảng cách giữa log p(x) và ELBO đo cái gì.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.