المنهج الدراسي الدرس 154 من 250 · بناء خط أنابيب RAG
بناء خط أنابيب RAG

تقسيم المستندات الطويلة

تعد تقنية Retrieval-augmented generation (RAG) هي الطريقة التي توجه بها نموذجاً عاماً نحو بياناتك: دليل السياسات، دليل المنتج، أو تذاكر الدعم الخاصة بالربع الأخير. لم يحفظ النموذج أي جزء منها أبداً، لذا عند طرح السؤال تقوم بجلب المقاطع ذات الصلة وتلصقها في الـ prompt. تتكون العملية بأكملها من خمس قطع واضحة: تقسيم المستندات، تمثيل كل قطعة كـ embed، تخزين الـ vectors، جلب أفضل المطابقات للاستعلام، وبناء prompt موثق. ستقوم ببناء هذه القطع الخمس عبر هذه الوحدة. يمكن أن يكون النموذج الذي يكتب الجملة النهائية هو WebLLM الموجود على الجهاز في متصفحك، لكن كل خطوة حوله هي Python بسيطة وقابلة للاختبار، وهذا هو الجزء الذي يبحث عنه أصحاب العمل بالضبط.

الخطوة الأولى هي

Step one is chunking. وثيقة مكونة من 40 صفحة كبيرة جدا لتضمينها كمتجه واحد وكبيرة جدا لوضعها في prompt، لذا عليك تقسيمها إلى نوافذ متداخلة. لماذا متداخلة؟ لأن حقيقة قد تحتاجها قد تمتد عبر حدود صلبة. إذا قمت بالتقسيم بدقة عند الحرف 500 وكانت جملة "refunds take five business days" تمتد من 495 إلى 515، فلن تحتوي أي قطعة على الإجابة كاملة. بضع أحرف من overlap تجعل الجملة نفسها تظهر كاملة في كلا الجارين.

شكلها: تقوم بسحب نافذة من size أحرف للأمام بمقدار step من size - overlap في كل مرة.

def chunk(text, size, overlap):
    step = size - overlap
    chunks = []
    i = 0
    while i < len(text):
        chunks.append(text[i:i + size])
        if i + size >= len(text):
            break          # this window already reached the end
        i += step
    return chunks

هذا break مهم: بدون ذلك ستستمر في تجاوز النهاية وإخراج قطعة صغيرة مثل "g" كآخر "chunk". التوقف بمجرد وصول window إلى النهاية يحافظ على آخر chunk كقطعة حقيقية.

ما الذي يجب بناؤه. اكتب chunk(text, size, overlap) التي تعيد قائمة بالنوافذ المتداخلة. القواعد التي تتحقق منها الاختبارات:

  • التحقق من المدخلات: إثارة ValueError إذا كان size <= 0، أو إذا كان overlap سالباً أو >= size (تداخل بهذا الحجم لا يتقدم أبداً).
  • النص الفارغ يعيد قائمة فارغة [].
  • تساوي آخر overlap أحرف في جزء واحد مع أول overlap أحرف في الجزء التالي.
  • تغطية كاملة: خياطة chunks[0] بالإضافة إلى chunks[i][overlap:] لكل قطعة لاحقة تعيد إنتاج النص الأصلي تماما، دون فقدان أي أحرف أو تكرارها.

تعيش أخطاء الإزاحة بواحد هنا، لذا اضغط Run وشاهد فقرة تنقسم إلى نوافذ يمكنك فحصها بعينك.

دورك

اكتب chunk(text, size, overlap) الذي يقوم بتحريك نافذة من size أحرف للأمام بمقدار size - overlap في كل خطوة ويعيد قائمة النوافذ. ارفع ValueError عندما يكون size <= 0 أو عندما يكون overlap سالباً أو >= size. أعد [] للنص الفارغ. توقف بمجرد وصول نافذة إلى نهاية النص (لذا قد تكون القطعة الأخيرة أقصر من size، ولا توجد أبداً نافذة إضافية تكرر التداخل فقط). يجب أن تشترك القطع المتجاورة في overlap أحرف بالضبط، ويجب أن يؤدي دمج القطعة الأولى مع chunk[overlap:] من كل قطعة لاحقة إلى إعادة بناء النص الأصلي.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.