देखें: टेक्स्ट संख्याएँ कैसे बनता है
एक LLM आपके prompt के साथ कुछ भी कर सके, उससे पहले उसे आपके टेक्स्ट को संख्याओं में बदलना होता है, क्योंकि एक neural network सिर्फ़ संख्याओं पर गणित करता है। यह करने वाला क़दम tokenization है।
play दबाएँ। एक अकेले शब्द को tokens (टेक्स्ट के बार-बार आने वाले टुकड़े, अक्सर subwords, पूरे शब्द नहीं) में बँटते देखें, और हर token को मॉडल की vocabulary से एक पूर्णांक id बनते देखें। इसके बाद मॉडल कभी अक्षर नहीं देखता, सिर्फ़ ids की एक सूची।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।