حافظهٔ عامل و انباشت حالت
حلقه ReAct که ساختهاید دچار فراموشی است: هر مرحله ابزاری را فراخوانی میکند و سپس فراموش میکند. یک عامل واقعی باید آنچه را یاد گرفته به مراحل بعدی منتقل کند – حقایقی را که جستجو کرده، نتایجی را که ابزارها بازگرداندهاند – تا مرحله بعدی بتواند از آنها استفاده کند. آن دفترچه یادداشت در حال اجرا حافظه عامل است (مردم آن را اسکرچپد یا زمینه کاری نیز مینامند). کد شما مالک آن است؛ مدل هرگز مالک آن نیست.
اما حافظه رایگان نیست. همه چیز در حافظه در مرحله بعدی دوباره به ورودی (prompt) تزریق میشود و مدل یک پنجره زمینه (context window) ثابت دارد که برحسب توکن (tokens) اندازهگیری میشود. اگر اجازه دهید حافظه برای همیشه رشد کند، در نهایت پنجره را لبریز میکنید (و علاوه بر آن برای هر توکن هزینهای پرداخت میکنید). بنابراین حافظه به دو نیمه نیاز دارد: در حین کار حقایق جدید را جمعآوری کند، و وقتی بیش از حد بزرگ شد، خود را به اندازه یک بودجه محدود سازد.
شکل آن
حالت یک dict است: یک دائمی system یادداشت (دستورالعملهای ثابت عامل، که هرگز دور نمیریزید) و یک لیست از facts که جمعآوری کرده است:
state = {"system": "You are a research agent.", "facts": []}هر مشاهده یک خط حقیقت میشود. پس از اجرای یک ابزار، یک رکورد خوانا از آنچه رخ داده اضافه میکنید:
state["facts"].append(f"{tool}({args}) -> {observation}")برش بر اساس بودجه توکن
توکنسازهای واقعی آموزشدیده و مبتنی بر زیرواژه هستند؛ ما نمیتوانیم یکی را اینجا اجرا کنیم، بنابراین یک توکن را معادل یک کلمهٔ فضای خالی تخمین میزنیم (len(text.split())) - همان ترفند ماژول LLM. (در تولید شما از شمارش واقعی زیرواژهها از APIها استفاده خواهید کرد usage field، یا len(text) / 4 قاعده کلی کاراکتری؛ این برآورد فاصله خالی صرفاً این تمرین را تعیینکننده نگه میدارد.) قاعده برش منعکسکننده کاری است که عاملهای تولید در واقع انجام میدهند: همیشه یادداشت سیستم را نگه دارید، سپس تا حد امکان حقایق جدیدتر را در آنچه از بودجه باقی مانده است، حفظ کنید. تازگی برتری دارد زیرا نتایج جدیدتر معمولاً همانهایی هستند که مرحله بعدی به آنها نیاز دارد.
budget = max_tokens - est_tokens(state["system"])
# walk facts newest-first, keep while they fit, then stopفکتها را از جدیدترین به قدیمیترین بررسی کنید، و هزینه توکن هر کدام را اضافه کنید تا زمانی که فکت بعدی بودجه را بیش از حد مصرف کند، سپس متوقف شوید. سپس به سمت مخالف بازگردید تا فکتهای نگهداشتهشده در ترتیب اصلی خود باقی بمانند. اگر بودجه بسیار کم باشد، ممکن است هیچ فکتی را نگه ندارید، اما یادداشت سیستم همیشه باقی میماند.
در یک عامل زنده، مدل میخواند render(state) در بالای هر مرحله بخواند و چرخهٔ یکسان جمعآوری-سپس-پاکسازی پس از هر فراخوانی ابزار اجرا شود، تا پنجره هرگز لبریز نشود. مربی روی دستگاه میتواند این حلقه را اجرا کند، اما ارزیابی تنها وضعیت Deterministic (تعیینشده) را بررسی میکند. دکمهٔ Run را فشار دهید تا یک متن گفتگو (transcript) کوتاه جمعآوری شود و ببینید که چگونه قدیمیترین حقایق تحت یک بودجهٔ محدود حذف میشوند.
حافظهٔ عامل را بسازید. بنویسید new_state(system_note) -> {"system": note, "facts": []}; record(state, tool, args, observation) که خط واقعیت را الحاق میکند "<tool>(<args>) -> <observation>" و حالت را بازمیگرداند؛ est_tokens(text) -> شمارش توکنهای فضای خالی؛ و trim(state, max_tokens) که یادداشت سیستم و جدیدترین حقایق را که توکنهایشان (یادداشت سیستم در بودجه محاسبه میشود) در جا میگنجند، نگه میدارد max_tokens. سپس بنویسید accumulate(system_note, transcript, max_tokens): شروع یک وضعیت جدید، record هر (tool, args, observation) به ترتیب گام، trim یک بار در انتها، و حالت کوتاهشده را بازگردانید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.