Noise schedules: कम loss, बदतर samples
यह क्यों मायने रखता है loss वह संख्या है जिसे आप देखते हैं, इसलिए वह चुनना लुभावना है जो उसे सबसे कम करे। यहाँ वह सहज बुद्धि ठीक ग़लत है, और देखना कि क्यों आपको सिखाता है कि loss क्या मापता है।
उन्हीं 100 steps के लिए दो schedules:
- Linear (मूल DDPM paper): beta 0.0001 से 0.02 x (1000 / T) तक बराबर बढ़ता है। बस 100 steps के साथ, abar तेज़ी से गिरता है: ज़्यादातर steps लगभग शुद्ध शोर हैं।
- Cosine (Nichol और Dhariwal, 2021): abar एक cosine वक्र का पालन करता है, इसलिए signal steps के पार बराबर फीका होता है।
कोर्स ने दोनों को सर्पिल पर train किया, हर एक 3 seeds (difflab.recorded())।
पहले अनुमान लगाएँ: कौन-सा schedule कम training loss पर ख़त्म होता है, और कौन-सा ऐसे samples बनाता है जो सर्पिल पर बेहतर बैठते हैं?
इस पाठ के शब्द और चिह्न
- noise schedule (beta)
- हर step पर कितना नया शोर मिलाया जाता है
- abar
- कुछ steps के बाद बचा मूल signal का हिस्सा (उसका square root x0 को गुणा करता है)
- eps
- जोड़ा गया घंटी-वक्र शोर; network इसका अनुमान लगाना सीखता है
- DDPM
- हर step से पीछे जाकर sampling, हर बार नए शोर के साथ
- on shape, coverage
- 2D जज: असली आकार के पास के samples का हिस्सा, और आकार का वह हिस्सा जिसके पास एक sample है
दोनों सवालों के लिए guess को "linear" या "cosine" पर सेट करें। फिर table को 3 दर्ज seeds पर हर schedule के औसत अंतिम loss और औसत on-shape अंक से भरें, और noisy_share: हर schedule के लिए, 100 steps का वह हिस्सा जहाँ signal के variance का 10% से कम बचा है (abar 0.1 से नीचे; वहाँ signal का आकार sqrt(abar), लगभग 0.32 है)। अंत में shows सेट करें, वही दो सवाल आपकी table से जवाब दिए। आपका अनुमान वैसा ही रहता है जैसा आपने लगाया।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।