Chương trình học Bài 173 trên tổng số 246 · Mô-đun 15: Ép, dựng lại, sinh mới (autoencoder và VAE)
Mô-đun 15: Ép, dựng lại, sinh mới (autoencoder và VAE)

VAE của bạn tạo ra chữ số mới

Vì sao điều này quan trọng Mọi mảnh đã sẵn sàng: mu và logvar của bộ mã hóa, mẹo để lấy mẫu xuyên qua, giá trị mất mát dựng lại và KL. Đặt chúng vào một bước huấn luyện và bạn có một mô hình tạo ra những chữ số chưa ai vẽ.

Một bước huấn luyện, bằng lời:

  1. Mã hóa một batch: mu, logvar = model.encode(E.T(x)).
  2. Rút eps từ N(0, 1) với shape của mu, và tạo mã bằng phép tái tham số hóa của bạn.
  3. Giải mã mã thành điểm số điểm ảnh: model.decode_logits(code).
  4. Giá trị mất mát = E.bce_with_logits(scores, x) + E.kl_to_standard(mu, logvar) (phiên bản KL của bạn trong bộ máy của khóa học).
  5. Lan truyền ngược, rồi opt.step().

Rồi chấm nó bằng cùng giám khảo như trước: độ gần và độ đa dạng của 500 chữ số mới rút từ N(0, 1). Sai số dựng lại sẽ tệ hơn của autoencoder (khoảng 0.03 so với 0.008). Đó là cái giá của lực kéo 2, và nó mua được một không gian mã bạn có thể lấy mẫu.

Từ và ký hiệu trong bài học này
autoencoder
một bộ mã hóa ép một bức ảnh thành vài con số và một bộ giải mã dựng lại nó
mã (latent)
vài con số mà bộ mã hóa tạo ra từ một bức ảnh
VAE
autoencoder biến phân: một autoencoder có các mã bị kéo để lấp đầy N(0, 1), nên các mã ngẫu nhiên giải mã thành ảnh mới
mu, logvar
tâm và log của bình phương độ phân tán của một số mã trong một VAE
tái tham số hóa
code = mu + exp(logvar / 2) x eps, với eps được rút trước, để gradient tới được mu và logvar
độ gần, độ đa dạng
giám khảo của khóa học: khoảng cách tới chữ số thật gần nhất, và số bit trải đều trên mười chữ số
Đến lượt bạn

Viết thân vòng lặp huấn luyện (600 bước, mỗi bước 256 ảnh). Đạt khi: sai số dựng lại trên tập kiểm tra dưới 0.035, chữ số mới có độ gần nhiều nhất 1.30 và độ đa dạng ít nhất 3.0, và ít nhất 3 số mã hoạt động. Hãy dùng vòng lặp của riêng bạn: gen.train_vae bị cấm dùng ở đây.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.