المنهج الدراسي الدرس 179 من 250 · تحويل نماذج اللغات الكبيرة إلى بيئة الإنتاج: التكلفة، والتخزين المؤقت، وحواجز الحماية
تحويل نماذج اللغات الكبيرة إلى بيئة الإنتاج: التكلفة، والتخزين المؤقت، وحواجز الحماية

ميزانيّة نافذة السياق

لكل نموذج نافذة context window محدودة: وهي أقصى عدد من tokens يمكنه قراءتها في استدعاء واحد. تاريخ الدردشة الطويل يتجاوزها في النهاية، ويؤدي الاستدعاء إما إلى خطأ أو إلى قطع النص بصمت. الحل الإنتاجي هو budgeter يقوم بقص المحادثة قبل إرسالها.

السياسة القياسية بسيطة ومجربة: حافظ دائما على system message (فهي تحمل التعليمات والشخصية التي يجب عدم إهمالها)، ثم احذف الأقدم من الأدوار العادية واحدا تلو الآخر حتى يتناسب تقدير token الجاري مع الميزانية. الأدوار الأخيرة هي الأكثر أهمية للتماسك، لذا هي آخر ما يتم حذفه.

تبدو

Messages مثل تنسيق الدردشة المألوف:

[
  {"role": "system",    "content": "You are a careful assistant."},
  {"role": "user",      "content": "What is the capital of France?"},
  {"role": "assistant", "content": "The capital of France is Paris."},
  {"role": "user",      "content": "And of Spain?"}
]

لديك أصلاً مقدّر للرموز (الأحرف/4) من الدرس السابق؛ وهو متوفر لك هنا باسم estimate_tokens. اجمعه على content لكل رسالة محتفَظ بها للحصول على الإجمالي الجاري.

ابنِ fit_to_budget(messages, max_tokens). أرجع قائمة جديدة من الرسائل، بالترتيب الأصلي، بحيث: يتم الاحتفاظ برسائل النظام دائماً؛ يكون إجمالي التوكنز المقدرة للرسائل المحتفظ بها <= max_tokens كلما كان الحذف ممكناً؛ وعندما يجب عليك الحذف، احذف أقدم الرسائل غير النظام أولاً. الميزانية السخية تحتفظ بكل شيء. لا تعدل القائمة المدخلة.

دورك

اكتب fit_to_budget(messages, max_tokens) الذي يعيد الرسائل المحتفظ بها بالترتيب الأصلي. احتفظ بكل رسالة نظام. احذف أقدم الرسائل غير التابعة للنظام واحدة تلو الأخرى حتى يصل إجمالي عدد الرموز المقدر (مجموع estimate_tokens عبر كل content) إلى <= max_tokens. الميزانية السخية لا تحذف شيئا؛ يجب أن تحتفظ ميزانيتان مختلفتان بمجموعات مختلفة، وتنجو الأدوار الأحدث على الأدوار الأقدم.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.