تقسيم المستندات الطويلة
تعد تقنية Retrieval-augmented generation (RAG) هي الطريقة التي توجه بها نموذجاً عاماً نحو بياناتك: دليل السياسات، دليل المنتج، أو تذاكر الدعم الخاصة بالربع الأخير. لم يحفظ النموذج أي جزء منها أبداً، لذا عند طرح السؤال تقوم بجلب المقاطع ذات الصلة وتلصقها في الـ prompt. تتكون العملية بأكملها من خمس قطع واضحة: تقسيم المستندات، تمثيل كل قطعة كـ embed، تخزين الـ vectors، جلب أفضل المطابقات للاستعلام، وبناء prompt موثق. ستقوم ببناء هذه القطع الخمس عبر هذه الوحدة. يمكن أن يكون النموذج الذي يكتب الجملة النهائية هو WebLLM الموجود على الجهاز في متصفحك، لكن كل خطوة حوله هي Python بسيطة وقابلة للاختبار، وهذا هو الجزء الذي يبحث عنه أصحاب العمل بالضبط.
الخطوة الأولى هيStep one is chunking. وثيقة مكونة من 40 صفحة كبيرة جدا لتضمينها كمتجه واحد وكبيرة جدا لوضعها في prompt، لذا عليك تقسيمها إلى نوافذ متداخلة. لماذا متداخلة؟ لأن حقيقة قد تحتاجها قد تمتد عبر حدود صلبة. إذا قمت بالتقسيم بدقة عند الحرف 500 وكانت جملة "refunds take five business days" تمتد من 495 إلى 515، فلن تحتوي أي قطعة على الإجابة كاملة. بضع أحرف من overlap تجعل الجملة نفسها تظهر كاملة في كلا الجارين.
شكلها: تقوم بسحب نافذة من size أحرف للأمام بمقدار step من size - overlap في كل مرة.
def chunk(text, size, overlap):
step = size - overlap
chunks = []
i = 0
while i < len(text):
chunks.append(text[i:i + size])
if i + size >= len(text):
break # this window already reached the end
i += step
return chunksهذا break مهم: بدون ذلك ستستمر في تجاوز النهاية وإخراج قطعة صغيرة مثل "g" كآخر "chunk". التوقف بمجرد وصول window إلى النهاية يحافظ على آخر chunk كقطعة حقيقية.
ما الذي يجب بناؤه. اكتب chunk(text, size, overlap) التي تعيد قائمة بالنوافذ المتداخلة. القواعد التي تتحقق منها الاختبارات:
- التحقق من المدخلات: إثارة
ValueErrorإذا كانsize <= 0، أو إذا كانoverlapسالباً أو>= size(تداخل بهذا الحجم لا يتقدم أبداً). - النص الفارغ يعيد قائمة فارغة
[]. - تساوي آخر
overlapأحرف في جزء واحد مع أولoverlapأحرف في الجزء التالي. - تغطية كاملة: خياطة
chunks[0]بالإضافة إلىchunks[i][overlap:]لكل قطعة لاحقة تعيد إنتاج النص الأصلي تماما، دون فقدان أي أحرف أو تكرارها.
تعيش أخطاء الإزاحة بواحد هنا، لذا اضغط Run وشاهد فقرة تنقسم إلى نوافذ يمكنك فحصها بعينك.
اكتب chunk(text, size, overlap) الذي يقوم بتحريك نافذة من size أحرف للأمام بمقدار size - overlap في كل خطوة ويعيد قائمة النوافذ. ارفع ValueError عندما يكون size <= 0 أو عندما يكون overlap سالباً أو >= size. أعد [] للنص الفارغ. توقف بمجرد وصول نافذة إلى نهاية النص (لذا قد تكون القطعة الأخيرة أقصر من size، ولا توجد أبداً نافذة إضافية تكرر التداخل فقط). يجب أن تشترك القطع المتجاورة في overlap أحرف بالضبط، ويجب أن يؤدي دمج القطعة الأولى مع chunk[overlap:] من كل قطعة لاحقة إلى إعادة بناء النص الأصلي.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.