السياق وميزانية الرموز
لكل نموذج نافذة context window محدودة، وتدفع مقابل كل token. عندما يتجاوزت المحادثة الميزانية، لا يمكنك إرسالها بالكامل، لذا تقرر ما ستحتفظ به. السياسة القياسية هي: الاحتفاظ بـ system prompt (فهو يحدد القواعد) بالإضافة إلى most recent الرسائل التي لا تزال تتسع، وحذف الأقدم.
ستقوم ببناء أداة ميزانية بسيطة. أولا، تقدير تقريبي للرموز: أدوات tokenizers الحقيقية خاصة بكل نموذج، لكن تقريبا دقيقا غير متصل بالإنترنت هو حوالي 4 أحرف لكل رمز. estimate_tokens(text) تعيد len(text) // 4 (و 0 للنص الفارغ، على الأقل 1 لأي نص غير فارغ).
ثم fit_context(system, messages, budget) يقرر ما الذي سيبقى:
- يتم حساب تعليمات النظام أولا ويتم الاحتفاظ بها دائما.
- قم بمعالجة الرسائل من الأحدث إلى الأقدم، مع الاحتفاظ بكل رسالة لا تزال رموزها ضمن الميزانية؛ توقف عندما تتجاوز الرسالة التالية الميزانية.
- أعد
{"kept": [...], "dropped": n, "tokens": total}مع استعادةkeptإلى ترتيب زمني.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20} # newest two surviveهناك تفصيلان دقيقان يتحققهما المصحح: الميزانية الأضيق تحتفظ برسائل أقل (والرسائل الصحيحة)، والطلب النظامي غير الفارغ يستهلك من الميزانية مما يجعل عدداً أقل من الرسائل مناسباً. استخدم التكرار العكسي لاختيار الأحدث أولاً، ثم اعكس القائمة المحتفظ بها لتقرأ المحادثة بالترتيب. اضغط Run للتقييم.
اكتب estimate_tokens(text) الذي يعيد len(text) // 4 (0 للفارغ، و1 على الأقل لغير الفارغ). اكتب fit_context(system, messages, budget) الذي يحسب النظام أولا، ويحتفظ بأحدث الرسائل التي تناسبه (كرر بشكل عكسي)، ويعيد {"kept", "dropped", "tokens"} مع kept بالترتيب الزمني.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.