Chương trình học Bài 175 trên tổng số 246 · Mô-đun 15: Ép, dựng lại, sinh mới (autoencoder và VAE)
Mô-đun 15: Ép, dựng lại, sinh mới (autoencoder và VAE)

Bài kiểm tra vượt cấp: VAE chỉ vẽ một chữ số (tắt AI)

Vì sao điều này quan trọng Lỗi này có tên, sụp đổ hậu nghiệm (posterior collapse), và nó đủ phổ biến để mọi mô hình sinh bạn dựng sau này có thể gặp một phiên bản nào đó của nó. Ở đây bạn tự chẩn đoán và sửa nó.

Luật của bài kiểm tra vượt cấp: gia sư AI tắt. Chạy mã khởi đầu và nhìn xem VAE bị hỏng tạo ra gì. Bạn có thể huấn luyện bao nhiêu biến thể tùy thích bằng gen.train_vae(...) và chấm chúng bằng gen.judge, active_units() và sai số dựng lại.

Có ba thiết lập, mỗi cái có một lý do để thử:

  • weight: độ mạnh của lực kéo 2 (KL), mặc định là 1.
  • warmup_steps: bắt đầu với weight 0 và tăng nó đều lên weight qua chừng ấy bước (việc huấn luyện là 600 bước).
  • free_bits: một sàn cho mỗi số mã. Một số có KL dưới sàn trả bằng sàn và không bị đẩy về tâm, nên mô hình có đủ khả năng để dùng nó.

Bạn sẽ đọc thấy trên mạng rằng khởi động dần weight là cách sửa tiêu chuẩn. Hãy tìm hiểu xem ở đây có đúng vậy không.

Bài kiểm tra huấn luyện lại cách sửa của bạn trên một seed mới và chỉ cho đạt nếu cả bốn điều kiện đều đúng: sai số dựng lại trên tập kiểm tra dưới 0.035, ít nhất 3 số mã hoạt động, chữ số mới có độ gần nhiều nhất 1.33 và độ đa dạng ít nhất 3.0.

Từ và ký hiệu trong bài học này
mã (latent)
vài con số mà bộ mã hóa tạo ra từ một bức ảnh
VAE
autoencoder biến phân: một autoencoder có các mã bị kéo để lấp đầy N(0, 1), nên các mã ngẫu nhiên giải mã thành ảnh mới
mu, logvar
tâm và log của bình phương độ phân tán của một số mã trong một VAE
độ gần, độ đa dạng
giám khảo của khóa học: khoảng cách tới chữ số thật gần nhất, và số bit trải đều trên mười chữ số
sụp đổ hậu nghiệm
một VAE có các mã đều trở thành N(0, 1) và không mang gì; nó vẽ ra một ảnh trung bình
Đến lượt bạn

Gán diagnosis là một chữ cái và fix là một dict các thiết lập cho gen.train_vae chữa được sự sụp đổ.

Tắt AI: không có gia sư, gợi ý hoặc lời giải mẫu cho bài này. Chỉ dùng tư duy của riêng bạn.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.