Lấy mẫu mà bạn có thể huấn luyện xuyên qua
Vì sao điều này quan trọng Mã là một lần rút ngẫu nhiên từ N(mu, spread). Lan truyền ngược cần một độ dốc từ giá trị mất mát về mu và logvar, và "một số ngẫu nhiên" không có độ dốc. Một lần viết lại sửa được điều đó, và nó được dùng vượt xa VAE.
Rút tính ngẫu nhiên trước, từ một đường cong hình chuông cố định: eps từ N(0, 1). Rồi dựng mã từ nó:
code = mu + exp(logvar / 2) * eps
Mã có đúng cùng độ phân tán giá trị như một lần rút từ N(mu, spread), nhưng giờ nó là phép tính số học bình thường trên mu và logvar, với eps là một đầu vào thông thường. Các độ dốc đơn giản: d code / d mu = 1, và d code / d logvar = 0.5 exp(logvar / 2) eps. Đây là mẹo tái tham số hóa.
Những con số nhỏ xíu
mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 x 0.5 = 1.5. Độ dốc theo mu: 1. Độ dốc theo logvar: 0.5 x 1 x 0.5 = 0.25.
Bạn cần một phép toán mới cho nó, exp. Bộ máy của khóa học đã có một cái (E.exp); ở đây bạn tự dựng cái của mình, theo cách của Mô-đun 4: giá trị xuôi, và một quy tắc ngược nhân gradient đi vào với độ dốc cục bộ (với exp, độ dốc chính là exp).
Trong bộ máy của khóa học một phép toán là một tensor out = E.T(value, (parent,)) với một quy tắc out.back = lambda g: parent._acc(g * local_slope): back nhận gradient tới out, và _acc cộng một gradient vào cha. E.GUIDE in ra các thành phần của bộ máy.
Từ và ký hiệu trong bài học này
- mã (latent)
- vài con số mà bộ mã hóa tạo ra từ một bức ảnh
- VAE
- autoencoder biến phân: một autoencoder có các mã bị kéo để lấp đầy N(0, 1), nên các mã ngẫu nhiên giải mã thành ảnh mới
- mu, logvar
- tâm và log của bình phương độ phân tán của một số mã trong một VAE
- tái tham số hóa
- code = mu + exp(logvar / 2) x eps, với eps được rút trước, để gradient tới được mu và logvar
Viết exp_op(a) dưới dạng một phép toán của bộ máy (trả về một E.T có cha và một quy tắc back). Viết reparam(mu, logvar, eps) bằng exp_op, E.scale, E.mul và E.add. Rồi kiểm tra cả hai gradient với phép đẩy nhẹ và gán max_gap là hiệu lớn nhất bạn tìm thấy.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.