سرفصل‌ها درس 189 از 250 · الگوهای تولید: تلاش‌های مجدد، غیرهم‌زمان، پخش جریانی و حافظه
الگوهای تولید: تلاش‌های مجدد، غیرهم‌زمان، پخش جریانی و حافظه

حافظه گفتگوی چندنوبتی

یک چت‌بات حافظهٔ مستقل ندارد -> مدل فقط آنچه را در هر تماس برایش می‌فرستید می‌بیند. برای ادامهٔ گفتگو، تاریخچه را بازپخش می‌کنید: پیام سیستم به‌علاوهٔ تمام رد و بدل‌های قبلی. اما تاریخچه بی‌نهایت رشد می‌کند و پنجرهٔ زمینه محدود است، بنابراین به یک حافظه که گفتگو را حفظ می‌کند و قبل از هر تماس آن را برای گنجایش محدود می‌کند.

سیاست همان چیزی است که سیستم‌های تولید به آن همگرا می‌شوند. همیشه پیام سیستم را نگه دارید -> آن دستورالعمل‌ها و شخصیتی را در خود دارد که هرگز نباید از دست بروند. سپس تا حد امکان از ... جدیدترین متناسب با بودجه تغییر می‌کند، با حذف کردن مسن‌ترین عادی‌ها ابتدا اولویت می‌یابند، زیرا زمینهٔ اخیر برای یک پاسخ منسجم بیشترین اهمیت را دارد. بودجه‌های توکن از برآورد آشنا استفاده می‌کنند. chars / 4.

convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64)   # what you actually send

این دقیقاً همان هدفی است که در مقابل هر مدل چت، از جمله موتور WebLLM روی دستگاه، قرار دارد: نوبت‌ها را جمع می‌کنید و سپس می‌گذرانید. trimmed_context(...) به‌عنوان پیام‌ها برای تماس بعدی. در اینجا هیچ مدل‌اجرایی وجود ندارد -> منطق برش به‌صورت تعیین‌گراست و مستقیماً درجه‌بندی می‌شود.

ساخت یک Conversation کلاس سازنده یک پارامتر اختیاری را می‌پذیرد. system پیام (پین‌شده، هرگز حذف نمی‌شود) add(role, content) یک چرخش اضافه می‌کند. trimmed_context(max_tokens) نوبت‌های نگهداشته‌شده را بازمی‌گرداند به ترتیب زمانی: هر پیام سیستمی، به‌علاوهٔ آخرین دورهای عادی که توکن‌های تخمینی آن‌ها (با جمع با chars / 4 قاعده) گنجانده شوند max_tokens، با رها کردن قدیمی‌ترین‌ها در اول. یک تاریخچهٔ کوتاه با بودجه‌ای سخاوتمندانه به‌طور کامل حفظ شده است.

نوبت شما

یک کلاس Conversation بسازید که دورهای خود را به ترتیب در یک ویژگی لیست turns نگه می‌دارد (هر کدام یک {"role", "content"} dict؛ Conversation(system=...) پیام سیستم را به عنوان اولین دور ذخیره می‌کند): add(role, content) یک دور اضافه می‌کند، و trimmed_context(max_tokens) پیام(های) سیستم را به علاوه جدیدترین اجرای یکپارچه دورها که با بودجه توکن chars/4 مطابقت دارد، به ترتیب زمانی بازمی‌گرداند. از آخرین نوبت به عقب حرکت کنید و در اولین نوبتی که مناسب نیست متوقف شوید: هرگز یک نوبت را رد نکنید و یک نوبت قدیمی‌تر را نگه ندارید، زیرا مکالمه‌ای که در وسطش شکاف دارد (پاسخی بدون پرسشش) مدل را گیج می‌کند. یک تاریخچه کوتاه کامل باقی می‌ماند؛ یک بودجه محدود قدیمی‌ترین را حذف می‌کند اما پیام سیستم و جدیدترین دور را نگه می‌دارد (اگر حتی جدیدترین دور نیز مناسب نباشد، فقط پیام سیستم باقی می‌ماند)؛ ترتیب به صورت زمانی باقی می‌ماند؛ و تخمین توکن صحیح است.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.