एक छोटा U-Net
यह क्यों मायने रखता है तस्वीरों के लिए, असली diffusion models में शोर अनुमानक एक U-Net है: यह बड़े आकार देखने के लिए तस्वीर को नीचे दबाता है, फिर उसे वापस पूरे आकार तक बढ़ाता है, shortcuts के साथ जो बारीक विवरण पार ले जाते हैं। आप हर हिस्सा पहले से जानते हैं।
एक channel वाली 8 x 8 तस्वीरों के लिए एक U-Net:
- Down: 16 channels तक 3 x 3 conv, ReLU। इसे
skip(8 x 8 x 16) के रूप में रखें। फिर 4 x 4 तक 2 x 2 average pool। - Middle: 32 channels तक 3 x 3 conv, ReLU (4 x 4 x 32): हर unit अब एक चौड़ा क्षेत्र देखती है।
- Up: 8 x 8 तक upsample, फिर उसे channels के साथ
skipसे जोड़ें (E.concat): 8 x 8 x 48। - 16 channels तक 3 x 3 conv, ReLU, फिर 1 channel तक एक 3 x 3 conv: अनुमानित शोर, input के आकार का।
skip connection U-Net का मुख्य विचार है: नीचे का रास्ता आकार देखने के लिए विवरण फेंक देता है, और skip वह विवरण सीधे ऊपर के रास्ते को देता है। उसके बिना, output धुँधला है।
यहाँ कोई training नहीं: आप इसे बनाते हैं और साबित करते हैं कि यह सही जुड़ा है, आकारों और एक gradient जाँच से, जैसे आपने Module 4 में layers जाँचीं।
इस पाठ के शब्द और चिह्न
- diffusion model
- एक बार में थोड़ा शोर हटाने के लिए train किया network; शुद्ध शोर से पीछे चलाने पर, यह बनाता है
- U-Net
- एक network जो आकार देखने के लिए तस्वीर सिकोड़ता है, उसे वापस बढ़ाता है, और skip connections से विवरण पार देता है
आकार (n, 8, 8, 1) के एक E.T x के लिए unet(x, P) लिखें, starter के बनाए P में weights के साथ। फिर धकेलकर एक gradient जाँचें: max_gap को P['up2'][0] की पहली 5 संख्याओं पर backprop और धकेलने के बीच सबसे बड़े अंतर पर सेट करें। engine float32 में काम करता है, इसलिए h = 1e-3 या ज़्यादा से धकेलें: 1e-4 के साथ loss का बदलाव गोलाई में खो जाता है और एक सही gradient ग़लत दिखता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।