Chương trình học Bài 186 trên tổng số 246 · Mô-đun 17: Nhiễu vào, ảnh ra (khuếch tán)
Mô-đun 17: Nhiễu vào, ảnh ra (khuếch tán)

Lịch nhiễu: giá trị mất mát thấp hơn, mẫu tệ hơn

Vì sao điều này quan trọng Giá trị mất mát là con số bạn theo dõi, nên thật hấp dẫn khi chọn bất cứ thứ gì làm nó thấp nhất. Ở đây bản năng đó sai hoàn toàn, và thấy được vì sao dạy bạn giá trị mất mát đo cái gì.

Hai lịch cho cùng 100 bước:

  • Tuyến tính (bài báo DDPM gốc): beta tăng đều từ 0.0001 tới 0.02 x (1000 / T). Chỉ với 100 bước, abar giảm nhanh: hầu hết các bước gần như là nhiễu thuần.
  • Cosine (Nichol và Dhariwal, 2021): abar đi theo một đường cong cosine, nên tín hiệu phai đều qua các bước.

Khóa học đã huấn luyện cả hai trên hình xoắn ốc, mỗi lịch 3 seed (difflab.recorded()).

Hãy dự đoán trước: lịch nào kết thúc với giá trị mất mát huấn luyện thấp hơn, và lịch nào tạo ra các mẫu nằm trên hình xoắn ốc tốt hơn?

Từ và ký hiệu trong bài học này
lịch nhiễu (beta)
bao nhiêu nhiễu mới được trộn vào ở mỗi bước
abar
phần tín hiệu gốc còn lại sau một số bước (căn bậc hai của nó nhân với x0)
eps
nhiễu hình chuông đã được cộng vào; mạng học cách dự đoán nó
DDPM
lấy mẫu bằng cách lùi qua từng bước, với nhiễu mới mỗi lần
trên hình dạng, độ phủ
giám khảo 2D: tỷ lệ mẫu nằm gần hình dạng thật, và tỷ lệ hình dạng có một mẫu nằm gần
Đến lượt bạn

Gán guess cho cả hai câu hỏi là "linear" hoặc "cosine". Rồi điền table với giá trị mất mát cuối cùng trung bình và điểm trên hình dạng trung bình của mỗi lịch qua 3 seed đã ghi lại, và noisy_share: cho mỗi lịch, tỷ lệ trong 100 bước mà còn lại dưới 10% phương sai của tín hiệu (abar dưới 0.1; kích thước của tín hiệu là sqrt(abar), khoảng 0.32 ở đó). Cuối cùng gán shows, cùng hai câu hỏi được trả lời từ bảng của bạn. Phỏng đoán của bạn giữ nguyên như bạn đã đưa ra.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.