आपका engine, PyTorch के शब्दों में
यह क्यों मायने रखता है इस कोर्स के अगले दिन आप PyTorch (या कोई और framework) से मिलेंगे। आपने जो बनाया वह सब उस पर मैप होता है; बस कुछ परंपराएँ अलग हैं, और लोग जब code port करते हैं तो ज़्यादातर bugs वही पैदा करती हैं।
PyTorch इस browser में नहीं चल सकता, इसलिए यह पाठ NumPy से कोर्स के arrays को PyTorch की बनावटों में बदलता है, और बदलाव को ठीक जाँचता है।
| चीज़ | यह कोर्स | PyTorch |
|---|---|---|
| Linear weight | W (n_in, n_out) है, output x @ W + b | weight (out, in) है, output x @ weight.T + bias |
| शुरुआती weights | हर layer के लिए फैलाव sqrt(2 / n_in) (He) के साथ normal, bias 0 | nn.Linear default: लगभग ±1 / sqrt(n_in) के भीतर uniform, bias भी uniform |
| Images | channels last, (N, H, W, C) | channels first, (N, C, H, W) |
| Conv weight | (k × k × C_in, C_out), rows (row, column, channel) से क्रमित | (C_out, C_in, k, k) |
| BatchNorm running variance | n से भाग देता batch variance | unbiased वाला, n - 1 से भाग देता (normalise करना अब भी n इस्तेमाल करता है) |
| gradients साफ़ करना | घर का Adam.step() उन्हें ख़ुद साफ़ करता है | आप हर step optimizer.zero_grad() बुलाते हैं |
कौन-से tensors .grad रखते हैं | graph का हर node | बस weights जैसे leaf tensors, जब तक आप retain_grad() न बुलाएँ |
| GELU | z * sigmoid(1.702 z), एक सन्निकटन | default रूप से erf के साथ ठीक रूप; तेज़ वाले के लिए approximate='tanh' |
| LSTM | [x, h] पर एक weight matrix, forget bias 1 या 3 पर शुरू | दो biases के साथ अलग input और hidden weights, सब छोटे और बेतरतीब शुरू |
| नन्हा GPT block | ReLU, उसकी linear layers में कोई biases नहीं: 12d² + 4d weights | GPT-2: GELU और biases: 12d² + 13d |
इनमें से कोई ग़लत नहीं; वे चुनाव हैं। जो एक port को चुपचाप तोड़ते हैं वे बनावटें हैं: एक transposed Linear weight या एक channels-last image जब आकार संयोग से मेल खाएँ तो बिना त्रुटि के ग़लत संख्याएँ देती है।
इस पाठ के शब्द और चिह्न
- head
- अगल-बगल चलते H संकरे attentions में से एक, हर एक अपने pattern के साथ
PyTorch का (weight, bias) लौटाने वाला linear_to_torch(W, b), nhwc_to_nchw(X), (C_out, C_in, k, k) weight लौटाने वाला conv_to_torch(w, c_in), और n से भाग देने वाले variance को n - 1 से भाग देने वाले में बदलने वाला unbiased(var, n) लिखें। छिपा test आपके weights से PyTorch तरीके से लिखा एक channels-first convolution चलाता है और उसकी कोर्स के conv से तुलना करता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।