سرفصل‌ها درس 181 از 250 · عملیاتی‌سازی LLMها: هزینه، کشینگ و محدودیت‌ها
عملیاتی‌سازی LLMها: هزینه، کشینگ و محدودیت‌ها

کش‌کردن پرامپت سمت ارائه‌دهنده

درس قبلی وقتی درخواست تکرار می‌شد، مدل را نادیده می‌گرفت. این روش خودِ درخواست را ارزان‌تر می‌کند. اکثر ارائه‌دهندگان کشینگ فوری ارائه می‌کنند: شما یک پیش‌وند ثابت از پرامپت خود را مشخص می‌کنید و در تماس بعدی که از آن استفاده مجدد می‌کند، ارائه‌دهنده پردازش مجدد آن توکن‌ها را نادیده گرفته و آن‌ها را با تخفیف قابل‌توجهی صورتحساب می‌کند. این اهرمی متفاوت از کش پاسخ است که همین حالا ساخته‌اید:

  • پیش‌پوینده پاسخ (درس قبل): کل پاسخ دوباره استفاده می‌شود، بنابراین تماس را به‌طور کامل حذف می‌کنید. این تنها زمانی کار می‌کند که سؤال تکرار شود.
  • پرامپت کش (این درس): فراخوانی همچنان انجام می‌شود و شما همچنان یک پاسخ جدید دریافت می‌کنید، اما پیش‌وند مشترک ارزان‌تر است. این روش حتی زمانی که هر سؤال متفاوت است نیز کار می‌کند.

چه چیزهایی باید در پیشوند کش‌شده قرار گیرند؟ موارد بزرگ و پایدار که در هر فراخوانی همراه هستند: یک پیام طولانی سیستم، تعریف ابزارها، مثال‌های چندشاتی، یک سند بازیابی‌شده که قرار است چند سؤال در مورد آن بپرسید. بخش متغیر (سؤال واقعی کاربر) را بعد از نقطه توقف کش‌شده قرار می‌دهید. با Anthropic شما مرز را با یک cache_control بلوک:

system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
         "cache_control": {"type": "ephemeral"}}]

از نظر اقتصادی سه نرخ وجود دارد که همگی نسبت به قیمت معمول ورودی محاسبه می‌شوند. هزینه یک عملیات نوشتن در کش (اولین فراخوانی که پیش‌وند را ذخیره می‌کند) حدود 1.25x ورودی. یک خواندن از کش (یک فراخوانی بعدی که به پیش‌وند ذخیره‌شده دسترسی پیدا می‌کند) حدوداً هزینه دارد 0.1x ورودی. یک عدم‌یافتن (miss) فقط 1x. این ورودی چند دقیقه عمر می‌کند و تایمر آن در هر بار دسترسی (hit) دوباره تازه می‌شود، بنابراین یک پیش‌وند پرکار گرم باقی می‌ماند. سه محدودیت عملی وجود دارد: پیش‌وندی که کوتاه‌تر از حداقل مدل باشد (چند صد تا چند هزار توکن، بسته به مدل) بی‌صدا در کش ذخیره نمی‌شود؛ کش یک تطبیق پیش‌وندی است، بنابراین تغییر هر بایتی در ابتدای ورودی (مثلاً یک نشانه‌زمان در ورودی سیستمی) تمام موارد پس از آن را باطل می‌کند؛ و هر کش به یک مدل تعلق دارد، بنابراین با تغییر مدل، کش از ابتدا سرد است. بررسی کنید usage.cache_read_input_tokens روی پاسخ بررسی می‌کنید که آیا واقعاً هیت (hits) دریافت کرده‌اید یا خیر. نقطه سربه‌سر سریع است: اگر یک پیش‌وند بزرگ حتی چند بار دوباره استفاده شود، هزینه نوشتن یک‌باره ۱.۲۵ برابری در مقایسه با پرداخت ۰.۱ به جای ۱ در هر بار استفاده مجدد، ناچیز می‌شود.

شما مدل هزینه‌ای را خواهید ساخت که مشخص می‌کند آیا کش کردن یک پیش‌وند به صرفه است یا خیر.

نوبت شما

اقتصاد را مدل‌سازی کنید. قیمت‌ها دلار به ازای هر یک میلیون توکن هستند؛ استفاده کنید 3.0 برای ورودی و 15.0 برای خروجی. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls): هر فراخوانی قیمت ورودی کامل را در prefix_tokens + variable_tokens به‌علاوه قیمت خروجی روی output_tokens، ضربدر calls. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls): پیشوند یک‌بار در 1.25x قیمت ورودی، سپس روی باقی‌مانده بخوانید calls - 1 فراخوانی‌ها در 0.1x قیمت ورودی؛ توکن‌های متغیر همیشه کل قیمت ورودی را پرداخت می‌کنند و خروجی همیشه در هر فراخوانی کل قیمت خروجی را پرداخت می‌کند. فرض کنید calls >= 1. (3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) بازمی‌گرداند True وقتی cached_cost به‌طور دقیق کمتر از uncached_cost. بازگرداندن اعداد اعشاری ساده (دلار).

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.