पाठ्यक्रम 246 में से पाठ 186 · Module 17: शोर अंदर, तस्वीरें बाहर (diffusion)
Module 17: शोर अंदर, तस्वीरें बाहर (diffusion)

Noise schedules: कम loss, बदतर samples

यह क्यों मायने रखता है loss वह संख्या है जिसे आप देखते हैं, इसलिए वह चुनना लुभावना है जो उसे सबसे कम करे। यहाँ वह सहज बुद्धि ठीक ग़लत है, और देखना कि क्यों आपको सिखाता है कि loss क्या मापता है।

उन्हीं 100 steps के लिए दो schedules:

  • Linear (मूल DDPM paper): beta 0.0001 से 0.02 x (1000 / T) तक बराबर बढ़ता है। बस 100 steps के साथ, abar तेज़ी से गिरता है: ज़्यादातर steps लगभग शुद्ध शोर हैं।
  • Cosine (Nichol और Dhariwal, 2021): abar एक cosine वक्र का पालन करता है, इसलिए signal steps के पार बराबर फीका होता है।

कोर्स ने दोनों को सर्पिल पर train किया, हर एक 3 seeds (difflab.recorded())।

पहले अनुमान लगाएँ: कौन-सा schedule कम training loss पर ख़त्म होता है, और कौन-सा ऐसे samples बनाता है जो सर्पिल पर बेहतर बैठते हैं?

इस पाठ के शब्द और चिह्न
noise schedule (beta)
हर step पर कितना नया शोर मिलाया जाता है
abar
कुछ steps के बाद बचा मूल signal का हिस्सा (उसका square root x0 को गुणा करता है)
eps
जोड़ा गया घंटी-वक्र शोर; network इसका अनुमान लगाना सीखता है
DDPM
हर step से पीछे जाकर sampling, हर बार नए शोर के साथ
on shape, coverage
2D जज: असली आकार के पास के samples का हिस्सा, और आकार का वह हिस्सा जिसके पास एक sample है
आपकी बारी

दोनों सवालों के लिए guess को "linear" या "cosine" पर सेट करें। फिर table को 3 दर्ज seeds पर हर schedule के औसत अंतिम loss और औसत on-shape अंक से भरें, और noisy_share: हर schedule के लिए, 100 steps का वह हिस्सा जहाँ signal के variance का 10% से कम बचा है (abar 0.1 से नीचे; वहाँ signal का आकार sqrt(abar), लगभग 0.32 है)। अंत में shows सेट करें, वही दो सवाल आपकी table से जवाब दिए। आपका अनुमान वैसा ही रहता है जैसा आपने लगाया।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।