سرفصل‌ها درس 179 از 250 · عملیاتی‌سازی LLMها: هزینه، کشینگ و محدودیت‌ها
عملیاتی‌سازی LLMها: هزینه، کشینگ و محدودیت‌ها

بودجه‌بندی پنجرهٔ زمینه

هر مدل یک پنجرهٔ زمینهٔ محدود دارد: بیشترین تعداد توکن‌هایی که می‌تواند در یک فراخوانی بخواند. تاریخچهٔ طولانی چت در نهایت این پنجره را لبریز می‌کند و فراخوانی یا با خطا مواجه می‌شود یا بی‌صدا کوتاه می‌شود. راه‌حل تولید یک ابزار بودجه‌بندی است که گفتگو را قبل از ارسال برای شما کوتاه می‌کند.

سیاست استاندارد ساده و آزموده‌شده است: همیشه پیام سیستم را نگه دارید (این پیام دستورالعمل‌ها و شخصیتی را حمل می‌کند که هرگز نباید حذف شوند)، سپس قدیمی‌ترین نوبت‌های عادی را یکی‌یکی حذف کنید تا برآورد توکن جاری با بودجه مطابقت پیدا کند. نوبت‌های اخیر برای انسجام بیشترین اهمیت را دارند، بنابراین آخرین چیزی هستند که حذف می‌شوند.

پیام‌ها شبیه قالب چت آشنا هستند:

[
  {"role": "system",    "content": "You are a careful assistant."},
  {"role": "user",      "content": "What is the capital of France?"},
  {"role": "assistant", "content": "The capital of France is Paris."},
  {"role": "user",      "content": "And of Spain?"}
]

شما از درس قبلی یک برآوردگر توکن (chars/4) دارید؛ این برآوردگر در اینجا به صورت زیر در اختیار شما قرار می‌گیرد: estimate_tokens. آن را بر روی جمع کنید content هر پیام نگه‌داشته‌شده را جمع کنید تا مجموع جاری به‌دست آید.

تابع fit_to_budget(messages, max_tokens) را بسازید. یک لیست جدید از پیام‌ها را بازگردانید، به ترتیب اصلی، به گونه‌ای که: پیام(های) سیستمی همیشه نگه داشته شوند؛ مجموع توکن‌های تخمینی پیام‌های نگه داشته شده برابر یا کمتر از باشد. max_tokens هرگاه حذف ممکن باشد؛ و وقتی مجبور به حذف هستید، ابتدا قدیمی‌ترین پیام‌های غیرسیستمی را حذف می‌کنید. یک بودجهٔ سخاوتمندانه همه چیز را حفظ می‌کند. لیست ورودی را تغییر ندهید.

نوبت شما

نوشتن fit_to_budget(messages, max_tokens) که پیام‌های نگه‌داشته‌شده را در ترتیب اصلی بازمی‌گرداند. تمام پیام‌های سیستمی را نگه دارید. پیام‌های غیرسیستمی قدیمی‌ترین را یکی‌یکی حذف کنید تا مجموع تخمینی تعداد توکن‌ها (جمع‌بندی estimate_tokens روی هر content) است <= max_tokens. یک بودجهٔ سخاوتمندانه هیچ‌چیز را حذف نمی‌کند؛ دو بودجهٔ متفاوت باید مجموعه‌های متفاوتی را نگه دارند، و توکن‌های جدیدتر بر توکن‌های قدیمی‌تر اولویت دارند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.