Tokens: सबसे आम जोड़े मिलाना
यह क्यों मायने रखता है असली models अक्षर या पूरे शब्द नहीं पढ़ते। वे tokens पढ़ते हैं, बीच के टुकड़े, एक सादे गिनती नियम से बने। इसीलिए एक model एक आम शब्द को एक टुकड़े के रूप में और एक दुर्लभ को कई के रूप में "देखता" है।
Byte pair encoding (BPE) अकेले अक्षरों से शुरू होता है और एक क़दम दोहराता है: पड़ोसी चिह्नों की वह जोड़ी ढूँढें जो टेक्स्ट में सबसे अक्सर दिखती है, और उसे हर जगह एक नए चिह्न में चिपकाएँ।
छोटा उदाहरण
शब्द "low" (5 बार) और "lot" (2 बार)। जोड़े: l o 7 बार दिखता है, o w 5, o t 2। l o मिलाएँ: अब "lo w" और "lo t"। आगे, lo w 5 बार दिखता है: उसे मिलाएँ, और "low" एक अकेला token है।
असली tokenisers दो चीज़ें जोड़ते हैं जो यह पाठ छोड़ता है। वे अक्षरों के बजाय bytes से शुरू करते हैं, इसलिए किसी भी भाषा का कोई भी टेक्स्ट, emoji समेत, एक 256-चिह्न शुरुआत से लिखा जा सकता है। और वे चिह्नित करते हैं कि शब्द कहाँ शुरू होते हैं (GPT-2 space को अगले शब्द के आगे चिपकाता है), इसलिए एक शब्द की शुरुआत का एक टुकड़ा और एक शब्द के अंदर वही अक्षर अलग tokens बनते हैं। हर शब्द के अक्षर अक्षर दर अक्षर पढ़ने की क़ीमत है। जैसे merges जुड़ते हैं हर शब्द के tokens गिरते हैं: model के लिए कम, बड़े क़दम, एक बड़ी vocabulary की क़ीमत पर।
इस पाठ के शब्द और चिह्न
- token, BPE
- टेक्स्ट का एक टुकड़ा जो model पढ़ता है; byte pair encoding सबसे आम पड़ोसी जोड़ी को बार-बार चिपकाता है
pair_counts(vocab) (हर पड़ोसी जोड़ी कितनी बार दिखती है, शब्द गिनती से तौला) और merge(vocab, pair) (उस जोड़ी को हर जगह चिपकाएँ) लिखें। my_guess का अनुमान लगाएँ, 200 merges के बाद हर शब्द के tokens (यह लगभग 4.6 से शुरू होता है)। loop आपके लिए लिखा है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।