تخزين مؤقت للأوامر من جهة المزود
تخطى الدرس السابق النموذج عندما تكرر الطلب. هذا الدرس يجعل الطلب نفسه أرخص. يقدم معظم المزودين prompt caching: تقوم بتحديد بادئة مستقرة من طلبك، وفي الطلب التالي الذي يعيد استخدامها، يتخطى المزود إعادة معالجة تلك الرموز ويحاسبك عليها بخصم كبير. إنها أداة مختلفة عن response cache الذي بنيته للتو:
- ذاكرة التخزين المؤقت للاستجابة (الدرس السابق): يتم إعادة استخدام الإجابة كاملة، لذا تتخطى الاستدعاء تماما. يعمل فقط عندما يتكرر السؤال.
- Prompt cache (هذا الدرس): لا يزال الاستدعاء يحدث وما زلت تحصل على إجابة جديدة، ولكن prefix المشترك أرخص. يعمل حتى عندما يكون كل سؤال مختلفا.
ما الذي ينتمي إلى البادئة المخزنة؟ الأشياء الكبيرة والمستقرة التي ترافق كل استدعاء: مطالبة نظام طويلة، تعريفات الأدوات، أمثلة few-shot، مستند مسترجع ستسأل عنه عدة أسئلة. تضع الجزء المتغير (سؤال المستخدم الفعلي) بعد نقطة التوقف المخزنة. مع Anthropic تقوم بتحديد الحدود بكتلة cache_control:
system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
"cache_control": {"type": "ephemeral"}}]تحتوي الاقتصاديات على ثلاثة معدلات، وكلها نسبية لسعر الإدخال العادي. تكلفة write (الاستدعاء الأول، الذي يخزن البادئة) تبلغ حوالي 1.25x إدخال. تكلفة read (استدعاء لاحق يصيب البادئة المخزنة) تبلغ حوالي 0.1x إدخال. الإخفاق هو مجرد 1x. يبقى الإدخال لعدة دقائق ويتجدد مؤقته عند كل إصابة، لذا تبقى البادئة النشطة دافئة. هناك ثلاثة حدود عملية: البادئة الأقصر من الحد الأدنى للنموذج (بضع مئات إلى بضع آلاف من tokens، حسب النموذج) لا يتم تخزينها في الذاكرة بصمت؛ الذاكرة هي مطابقة للبادئة، لذا فإن تغيير أي byte في بداية prompt (طابع زمني في system prompt، مثلاً) يبطل كل ما بعده؛ وكل cache ينتمي لنموذج واحد، لذا فإن تبديل النماذج يبدأ بارداً. تحقق من usage.cache_read_input_tokens في الاستجابة لمعرفة ما إذا حصلت فعلياً على إصابات. نقطة التعادل سريعة: إذا أعيد استخدام بادئة كبيرة حتى لمرات قليلة، فإن عملية write لمرة واحدة بمقدار 1.25x تصبح ضئيلة مقارنة بدفع 0.1x بدلاً من 1x عند كل إعادة استخدام.
ستقوم ببناء نموذج التكلفة الذي يقرر ما إذا كان تخزين البادئة في الذاكرة المؤقتة مجدياً.
نمذج الاقتصاد. الأسعار هي دولار لكل 1,000,000 tokens؛ استخدم 3.0 للمدخلات و 15.0 للمخرجات. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls): كل استدعاء يدفع سعر المدخلات الكامل على prefix_tokens + variable_tokens بالإضافة إلى سعر المخرجات على output_tokens، مضروباً في calls. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls): يتم كتابة البادئة مرة واحدة بسعر المدخلات 1.25x، ثم تقرأ في بقية استدعاءات calls - 1 بسعر المدخلات 0.1x؛ تدفع tokens المتغيرة دائماً سعر المدخلات الكامل، وتدفع المخرجات دائماً سعر المخرجات الكامل في كل استدعاء. افترض calls >= 1. (3) تعيد caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) قيمة True عندما تكون cached_cost أقل من uncached_cost تماماً. أعد قيم floats بسيطة (دولار).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.