Học cách dự đoán nhiễu
Vì sao điều này quan trọng Toàn bộ công thức huấn luyện cho một mô hình khuếch tán vừa trong năm dòng, và nó là hồi quy thuần túy: cho mạng thấy một điểm nhiễu và bước, hỏi nó về nhiễu. Không có trò chơi, không có mạng thứ hai.
Một bước huấn luyện:
- Lấy một batch điểm thật x0 và, cho mỗi điểm, một bước ngẫu nhiên t và nhiễu mới eps.
- Nhảy tới x_t bằng lối tắt.
- Hỏi mạng về nhiễu:
model.predict(x_t, t). - Giá trị mất mát = trung bình của (nhiễu dự đoán - eps) bình phương.
- Lan truyền ngược, bước.
Đoán đường cong
Trước khi chạy, hãy đoán giá trị mất mát ở ba thời điểm: qua 10 bước đầu, quanh bước 300, và quanh bước 3000. Hai mốc: một mạng luôn dự đoán 0 được đúng 1 (nhiễu có độ phân tán 1), và một mạng hoàn hảo không thể đạt 0, vì ở các bước rất nhiễu thì nhiễu dễ đoán nhưng ở các bước gần như sạch thì gần như không thể.
Lĩnh vực này hiện đang ở đâu Dự đoán nhiễu, sai khác một hệ số tỷ lệ, cũng giống như ước lượng score: hướng mà dữ liệu nhiễu trở nên có khả năng hơn (Song và Ermon 2019; Ho và cộng sự 2020). Đó là lý do các mũi tên chỉ về nhà. Các trình tạo ảnh thật không thêm nhiễu vào điểm ảnh: trước hết chúng ép mỗi bức ảnh bằng một autoencoder, như ở Mô-đun 15, và chạy khuếch tán trên các mã nhỏ (khuếch tán latent, Rombach và cộng sự 2022). Mọi thứ trong mô-đun này đều chuyển sang được; chỉ không gian thay đổi.
Từ và ký hiệu trong bài học này
- mô hình khuếch tán
- một mạng được huấn luyện để loại bỏ nhiễu từng chút một; chạy ngược từ nhiễu thuần, nó sinh ra dữ liệu
- x0, x_t
- dữ liệu sạch, và cùng dữ liệu đó sau t bước nhiễu
- eps
- nhiễu hình chuông đã được cộng vào; mạng học cách dự đoán nó
- trên hình dạng, độ phủ
- giám khảo 2D: tỷ lệ mẫu nằm gần hình dạng thật, và tỷ lệ hình dạng có một mẫu nằm gần
Điền my_guess, rồi viết thân vòng lặp (3000 bước, mỗi bước 256 điểm xoắn ốc; difflab.shape('spiral', 256, rng), difflab.add_noise). Thêm giá trị mất mát của mỗi bước vào losses. Đạt khi giá trị mất mát cuối cùng dưới 0.40 và các mẫu đạt ít nhất 0.75 trên hình dạng.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.