Lịch nhiễu: giá trị mất mát thấp hơn, mẫu tệ hơn
Vì sao điều này quan trọng Giá trị mất mát là con số bạn theo dõi, nên thật hấp dẫn khi chọn bất cứ thứ gì làm nó thấp nhất. Ở đây bản năng đó sai hoàn toàn, và thấy được vì sao dạy bạn giá trị mất mát đo cái gì.
Hai lịch cho cùng 100 bước:
- Tuyến tính (bài báo DDPM gốc): beta tăng đều từ 0.0001 tới 0.02 x (1000 / T). Chỉ với 100 bước, abar giảm nhanh: hầu hết các bước gần như là nhiễu thuần.
- Cosine (Nichol và Dhariwal, 2021): abar đi theo một đường cong cosine, nên tín hiệu phai đều qua các bước.
Khóa học đã huấn luyện cả hai trên hình xoắn ốc, mỗi lịch 3 seed (difflab.recorded()).
Hãy dự đoán trước: lịch nào kết thúc với giá trị mất mát huấn luyện thấp hơn, và lịch nào tạo ra các mẫu nằm trên hình xoắn ốc tốt hơn?
Từ và ký hiệu trong bài học này
- lịch nhiễu (beta)
- bao nhiêu nhiễu mới được trộn vào ở mỗi bước
- abar
- phần tín hiệu gốc còn lại sau một số bước (căn bậc hai của nó nhân với x0)
- eps
- nhiễu hình chuông đã được cộng vào; mạng học cách dự đoán nó
- DDPM
- lấy mẫu bằng cách lùi qua từng bước, với nhiễu mới mỗi lần
- trên hình dạng, độ phủ
- giám khảo 2D: tỷ lệ mẫu nằm gần hình dạng thật, và tỷ lệ hình dạng có một mẫu nằm gần
Gán guess cho cả hai câu hỏi là "linear" hoặc "cosine". Rồi điền table với giá trị mất mát cuối cùng trung bình và điểm trên hình dạng trung bình của mỗi lịch qua 3 seed đã ghi lại, và noisy_share: cho mỗi lịch, tỷ lệ trong 100 bước mà còn lại dưới 10% phương sai của tín hiệu (abar dưới 0.1; kích thước của tín hiệu là sqrt(abar), khoảng 0.32 ở đó). Cuối cùng gán shows, cùng hai câu hỏi được trả lời từ bảng của bạn. Phỏng đoán của bạn giữ nguyên như bạn đã đưa ra.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.