लंबे दस्तावेज़ों को chunk करना
Retrieval-augmented generation (RAG) वह तरीका है जिससे आप एक सामान्य मॉडल को अपने डेटा की ओर करते हैं: एक नीति handbook, एक product manual, पिछली तिमाही के support tickets। मॉडल ने इनमें से कुछ याद नहीं किया, इसलिए सवाल के समय आप relevant हिस्से लाते हैं और उन्हें prompt में चिपकाते हैं। पूरी pipeline बस पाँच ईमानदार टुकड़े हैं: दस्तावेज़ों को chunk करें, हर chunk को embed करें, vectors रखें, query के लिए top मिलान लाएँ, और एक grounded prompt बनाएँ। आप इस मॉड्यूल में पाँचों बनाएँगे। आख़िरी वाक्य लिखने वाला मॉडल आपके ब्राउज़र का on-device WebLLM हो सकता है, पर उसके चारों ओर का हर क़दम सादा, टेस्ट होने लायक Python है, और ठीक इसी हिस्से की नौकरी देने वाले जाँच करते हैं।
पहला क़दम chunking है। 40 पन्नों का दस्तावेज़ एक vector के रूप में embed करने के लिए बहुत बड़ा है और prompt में ठूँसने के लिए भी, इसलिए आप उसे overlap वाली खिड़कियों में काटते हैं। overlap क्यों? क्योंकि जिस तथ्य की आपको ज़रूरत है वह किसी पक्की सीमा पर फैला हो सकता है। अगर आप अक्षर 500 पर साफ़ काटें और वाक्य "refunds take five business days" 495 से 515 तक फैला हो, तो किसी chunk में पूरा जवाब नहीं है। कुछ अक्षरों का overlap वही वाक्य दोनों पड़ोसियों में साबुत रहने देता है।
इसका आकार: आप size अक्षरों की एक खिड़की को हर बार size - overlap के step से आगे खिसकाते हैं।
def chunk(text, size, overlap):
step = size - overlap
chunks = []
i = 0
while i < len(text):
chunks.append(text[i:i + size])
if i + size >= len(text):
break # this window already reached the end
i += step
return chunksवह break मायने रखता है: इसके बिना आप अंत के पार क़दम बढ़ाते रहते हैं और आख़िरी "chunk" के रूप में "g" जैसा छोटा टुकड़ा देते हैं। जैसे ही कोई खिड़की अंत तक पहुँचे रुकना आख़िरी chunk को असली रखता है।
क्या बनाना है। chunk(text, size, overlap) लिखें जो overlap वाली खिड़कियों की सूची लौटाए। टेस्ट जो नियम जाँचते हैं:
- इनपुट जाँचें: अगर
size <= 0है, याoverlapऋणात्मक है या>= sizeहै (इतना बड़ा overlap कभी आगे नहीं बढ़ता), तोValueErrorउठाएँ। - ख़ाली टेक्स्ट ख़ाली सूची
[]लौटाता है। - एक chunk के आख़िरी
overlapअक्षर अगले के पहलेoverlapअक्षरों के बराबर हैं। - पूरा ढकना:
chunks[0]और हर बाद वाले chunk के लिएchunks[i][overlap:]जोड़ने से मूल टेक्स्ट ठीक-ठीक बनता है, कोई अक्षर खोया या दोहराया नहीं।
एक-से-चूक वाली ग़लतियाँ यहीं रहती हैं, इसलिए Run दबाएँ और एक अनुच्छेद को ऐसी खिड़कियों में बँटते देखें जिन्हें आप आँख से जाँच सकें।
chunk(text, size, overlap) लिखें जो size अक्षरों की एक खिड़की को हर क़दम पर size - overlap से आगे खिसकाए और खिड़कियों की सूची लौटाए। जब size <= 0 हो या overlap ऋणात्मक या >= size हो तो ValueError उठाएँ। ख़ाली टेक्स्ट के लिए [] लौटाएँ। जैसे ही कोई खिड़की टेक्स्ट के अंत तक पहुँचे रुक जाएँ (इसलिए आख़िरी chunk size से छोटा हो सकता है, और कभी ऐसी अतिरिक्त खिड़की नहीं होती जो बस overlap दोहराए)। पड़ोसी chunks को ठीक overlap अक्षर साझा करने होंगे, और पहले chunk को हर बाद वाले chunk के chunk[overlap:] के साथ जोड़ने से मूल टेक्स्ट दोबारा बनना चाहिए।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।