पाठ्यक्रम 246 में से पाठ 184 · Module 17: शोर अंदर, तस्वीरें बाहर (diffusion)
Module 17: शोर अंदर, तस्वीरें बाहर (diffusion)

शोर का अनुमान लगाना सीखना

यह क्यों मायने रखता है एक diffusion model का पूरा training नुस्खा पाँच lines में समाता है, और यह सादा regression है: network को एक शोर भरा बिंदु और step दिखाएँ, शोर माँगें। कोई खेल नहीं, कोई दूसरा network नहीं।

एक training step:

  1. असली बिंदुओं x0 का एक batch लें और, हर एक के लिए, एक बेतरतीब step t और नया शोर eps।
  2. shortcut से x_t पर छलाँग लगाएँ।
  3. network से शोर माँगें: model.predict(x_t, t)।
  4. Loss = (अनुमानित शोर - eps) के वर्ग का औसत।
  5. Backward, step।

Call the Curve

चलाने से पहले, तीन पलों पर loss का अनुमान लगाएँ: पहले 10 steps पर, step 300 के आस-पास, और step 3000 के आस-पास। दो लंगर: हमेशा 0 का अनुमान लगाने वाला network ठीक 1 पाता है (शोर का फैलाव 1 है), और एक सटीक network 0 तक नहीं पहुँच सकता, क्योंकि बहुत शोर भरे steps पर शोर का अनुमान आसान है पर लगभग साफ़ steps पर यह लगभग असंभव है।

क्षेत्र अभी कहाँ है शोर का अनुमान लगाना, एक पैमाने तक, score का अनुमान लगाने जैसा है: वह दिशा जिसमें शोर भरा data ज़्यादा संभावित बनता है (Song और Ermon 2019; Ho et al. 2020)। इसीलिए तीर घर की ओर इशारा करते हैं। असली image generators pixels में शोर नहीं जोड़ते: वे पहले हर तस्वीर को एक autoencoder से दबाते हैं, जैसे Module 15 में, और छोटे codes पर diffusion चलाते हैं (latent diffusion, Rombach et al. 2022)। इस module की हर चीज़ आगे जाती है; बस जगह बदलती है।

इस पाठ के शब्द और चिह्न
diffusion model
एक बार में थोड़ा शोर हटाने के लिए train किया network; शुद्ध शोर से पीछे चलाने पर, यह बनाता है
x0, x_t
साफ़ data, और t steps के शोर के बाद वही data
eps
जोड़ा गया घंटी-वक्र शोर; network इसका अनुमान लगाना सीखता है
on shape, coverage
2D जज: असली आकार के पास के samples का हिस्सा, और आकार का वह हिस्सा जिसके पास एक sample है
आपकी बारी

my_guess भरें, फिर loop का शरीर लिखें (256 सर्पिल बिंदुओं के 3000 steps; difflab.shape('spiral', 256, rng), difflab.add_noise)। हर step का loss losses में जोड़ें। 0.40 से नीचे के अंतिम loss और आकार पर कम से कम 0.75 वाले samples के साथ पास करें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।