पाठ्यक्रम 246 में से पाठ 157 · Module 13: Attention और transformers
Module 13: Attention और transformers

आपका engine, PyTorch के शब्दों में

यह क्यों मायने रखता है इस कोर्स के अगले दिन आप PyTorch (या कोई और framework) से मिलेंगे। आपने जो बनाया वह सब उस पर मैप होता है; बस कुछ परंपराएँ अलग हैं, और लोग जब code port करते हैं तो ज़्यादातर bugs वही पैदा करती हैं।

PyTorch इस browser में नहीं चल सकता, इसलिए यह पाठ NumPy से कोर्स के arrays को PyTorch की बनावटों में बदलता है, और बदलाव को ठीक जाँचता है।

चीज़यह कोर्सPyTorch
Linear weightW (n_in, n_out) है, output x @ W + bweight (out, in) है, output x @ weight.T + bias
शुरुआती weightsहर layer के लिए फैलाव sqrt(2 / n_in) (He) के साथ normal, bias 0nn.Linear default: लगभग ±1 / sqrt(n_in) के भीतर uniform, bias भी uniform
Imageschannels last, (N, H, W, C)channels first, (N, C, H, W)
Conv weight(k × k × C_in, C_out), rows (row, column, channel) से क्रमित(C_out, C_in, k, k)
BatchNorm running variancen से भाग देता batch varianceunbiased वाला, n - 1 से भाग देता (normalise करना अब भी n इस्तेमाल करता है)
gradients साफ़ करनाघर का Adam.step() उन्हें ख़ुद साफ़ करता हैआप हर step optimizer.zero_grad() बुलाते हैं
कौन-से tensors .grad रखते हैंgraph का हर nodeबस weights जैसे leaf tensors, जब तक आप retain_grad() न बुलाएँ
GELUz * sigmoid(1.702 z), एक सन्निकटनdefault रूप से erf के साथ ठीक रूप; तेज़ वाले के लिए approximate='tanh'
LSTM[x, h] पर एक weight matrix, forget bias 1 या 3 पर शुरूदो biases के साथ अलग input और hidden weights, सब छोटे और बेतरतीब शुरू
नन्हा GPT blockReLU, उसकी linear layers में कोई biases नहीं: 12d² + 4d weightsGPT-2: GELU और biases: 12d² + 13d

इनमें से कोई ग़लत नहीं; वे चुनाव हैं। जो एक port को चुपचाप तोड़ते हैं वे बनावटें हैं: एक transposed Linear weight या एक channels-last image जब आकार संयोग से मेल खाएँ तो बिना त्रुटि के ग़लत संख्याएँ देती है।

इस पाठ के शब्द और चिह्न
head
अगल-बगल चलते H संकरे attentions में से एक, हर एक अपने pattern के साथ
आपकी बारी

PyTorch का (weight, bias) लौटाने वाला linear_to_torch(W, b), nhwc_to_nchw(X), (C_out, C_in, k, k) weight लौटाने वाला conv_to_torch(w, c_in), और n से भाग देने वाले variance को n - 1 से भाग देने वाले में बदलने वाला unbiased(var, n) लिखें। छिपा test आपके weights से PyTorch तरीके से लिखा एक channels-first convolution चलाता है और उसकी कोर्स के conv से तुलना करता है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।