एक embedding एक lookup है, और एक lookup एक गुणा है
यह क्यों मायने रखता है एक network बस अंकगणित करता है, पर टेक्स्ट चिह्नों से बना है। हर language model हर चिह्न को संख्याओं की एक छोटी सूची, उसके embedding, में बदलकर शुरू होता है।
हर चिह्न को 0 से V घटा 1 तक एक संख्या (उसकी id) दें। embedding table E में हर चिह्न की एक row है, हर एक d संख्याएँ। एक id को संख्याओं में बदलना बस उसकी row पढ़ना है: E[id]।
यह फिर भी एक layer क्यों है
id को एक one-hot vector के रूप में लिखें: V शून्य, स्थान id पर एक अकेले 1 के साथ। फिर one-hot गुणा E ठीक वह row चुनता है। इसलिए एक embedding एक linear layer है जिसका input संयोग से one-hot है। हम इसके बजाय lookup करते हैं क्योंकि यह शून्य से V गुणा d गुणाएँ छोड़ता है।
यह यह भी बताता है कि यह कैसे train होता है: gradient बस इस्तेमाल हुई rows तक पहुँचता है। एक चिह्न जो एक batch में कभी नहीं दिखता अपनी row बिना बदले रखता है।
छोटी संख्याएँ
V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]। one-hot के रूप में id 1 [0, 1, 0] है, और [0, 1, 0] गुणा E = [3, 4], E[1] जैसा ही।
इस पाठ के शब्द और चिह्न
- embedding
- सीखी संख्याओं की वह row जो एक चिह्न की जगह खड़ी है
- one-hot
- V शून्य एक अकेले 1 के साथ; table से गुणा, यह एक row चुनता है
आकार (len(ids), V) का एक array लौटाने वाला onehot(ids, V) लिखें। फिर rows_with_gradient को embedding table की उन rows की संख्या पर सेट करें जिन्हें दिखाए backward pass के बाद एक ग़ैर-शून्य gradient मिलता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।