ذاكرة المحادثة متعددة الأدوار
A ذاكرة خاصة به -> يرى النموذج فقط ما ترسله إليه في كل استدعاء. للحفاظ على المحادثة، عليك إعادة تشغيل التاريخ: رسالة النظام بالإضافة إلى الأدوار المتبادلة حتى الآن. لكن التاريخ ينمو بلا حدود ونافذة السياق لا تنمو، لذا تحتاج إلى memory يحفظ المحادثة ويقصها لتناسب المساحة قبل كل استدعاء.
السياسة هي ما تتقارب عليه أنظمة الإنتاج. حافظ دائما على system message -> فهي تحمل التعليمات والشخصية التي يجب ألا تضيع أبدا. ثم احتفظ بأكبر عدد من most-recent الأدوار التي تناسب الميزانية، مع حذف oldest الأدوار العادية الأقدم أولا، لأن السياق الحديث هو الأكثر أهمية للرد المتماسك. تستخدم ميزانيات الـ Token التقدير المألوف chars / 4.
convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64) # what you actually sendهذا هو بالضبط الكائن الذي يقع أمام أي نموذج دردشة، بما في ذلك محرك WebLLM على الجهاز: أنت تجمع الأدوار، ثم تمرر trimmed_context(...) كرسائل للاتصال التالي. لا يعمل أي نموذج هنا -> منطق التقليم حتمي ويتم تقييمه مباشرة.
قم ببناء فئة Conversation.يأخذ constructor رسالة system اختيارية (مثبتة، لا يتم إسقاطها). add(role, content) يضيف turn. trimmed_context(max_tokens) يعيد turns المحفوظة بالترتيب الزمني: كل system message، بالإضافة إلى أحدث ordinary turns التي تناسب tokens المقدرة (مجموعها مع chars / 4 rule) ضمن max_tokens، مع إسقاط الأقدم أولاً. يتم الاحتفاظ بالتاريخ القصير تحت ميزانية سخية بالكامل.
قم ببناء فئة Conversation تحتوي على أدوارها بترتيبها في سمة قائمة turns (كل دور هو قاموس {"role", "content"}؛ حيث يخزن Conversation(system=...) رسالة النظام كأول دور): تقوم add(role, content) بإضافة دور، وتحتفظ trimmed_context(max_tokens) برسالة (رسائل) النظام بالإضافة إلى أحدث unbroken run من الأدوار التي تناسب ميزانية chars/4 tokens، وتُرجعها بترتيب زمني. عد إلى الوراء من أحدث دور وتوقف عند أول دور لا يناسب: لا تتخطى دوراً أبداً واحتفظ بدور أقدم، لأن المحادثة التي تحتوي على فجوة في المنتصف (إجابة بدون سؤالها) تربك النموذج. يتم الاحتفاظ بالتاريخ القصير كاملاً؛ الميزانية الضيقة تحذف الأقدم ولكنها تحتفظ برسالة النظام وأحدث دور (إذا كان حتى أحدث دور لا يناسب، تتبقى رسالة النظام فقط)؛ يبقى الترتيب زمنياً؛ تقدير tokens صحيح.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.