زمینه و بودجهبندی توکن
هر مدل یک پنجرهٔ زمینهٔ محدود دارد و شما بهازای هر توکن هزینه میپردازید. وقتی یک گفتگو از بودجه فراتر میرود، نمیتوانید همهاش را ارسال کنید، بنابراین تصمیم میگیرید چه چیزی را نگه دارید. سیاست استاندارد: پیام ورودی سیستم (که قواعد را تعیین میکند) و جدیدترین پیامهایی را که هنوز جا دارند نگه دارید و قدیمیترینها را حذف کنید.
شما یک بودجهبندی ساده خواهید ساخت. ابتدا، یک برآوردگر کلی توکن: توکنسازهای واقعی به مدل بستگی دارند، اما یک تخمین آفلاین مطمئن حدود ۴ کاراکتر در هر توکن است. estimate_tokens(text) بازگرداندن len(text) // 4 (و 0 برای متن خالی، حداقل ۱ برای هر متن غیرخالی).
سپس fit_context(system, messages, budget) تصمیم میگیرد چه چیزی باقی بماند:
- پرامپت سیستم ابتدا شمارش میشود و همیشه حفظ میگردد.
- پیامها را از جدیدترین تا قدیمیترین پیمایش کنید، هر پیامی را که توکنهایش هنوز در چارچوب بودجه قرار دارد نگه دارید؛ وقتی پیام بعدی از بودجه فراتر رفت، متوقف شوید.
- بازگشت
{"kept": [...], "dropped": n, "tokens": total}باkeptبه ترتیب زمانی بازگردانده شده است.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20} # newest two surviveدو نکته ظریف که نمرهدهنده بررسی میکند: بودجهٔ تنگتر پیامهای کمتری (و مناسبتر) را نگه میدارد، و یک ورودی سیستم غیرخالی از بودجه میکاهد، بنابراین پیامهای کمتری جا میگیرند. به صورت معکوس تکرار کنید تا جدیدترینها اول انتخاب شوند، سپس فهرست نگهداشتهشده را دوباره معکوس کنید تا گفتگو به ترتیب خوانده شود. برای نمرهدهی روی Run کلیک کنید.
نوشتن estimate_tokens(text) بازگشت len(text) // 4 (0 برای خالی، حداقل 1 برای غیرخالی). بنویسید fit_context(system, messages, budget) که ابتدا سیستم را در نظر میگیرد، جدیدترین پیامهای مناسب را نگه میدارد (به صورت معکوس تکرار میکند)، و بازمیگرداند {"kept", "dropped", "tokens"} با kept در ترتیب زمانی بازمیگرداند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.