سرفصل‌ها درس 232 از 250 · پروژه: عامل پژوهشی ابزار-استفاده‌کننده
پروژه: عامل پژوهشی ابزار-استفاده‌کننده

برنامه‌ریزی + نگهبانان حلقه

عاملی که می‌تواند عمل کند، می‌تواند عمل کند. برای همیشهراه شماره یک برای اینکه یک عامل واقعی پول و صفحات را برای یک مهندس در حالت آماده‌باش هدر دهد، یک حلقه بی‌فرمان است: مدام همان ابزار را فراخوانی می‌کند، همان مشاهده را دریافت می‌کند و هرگز تصمیم نمی‌گیرد که کار تمام شده است. این درس دو چیزی را اضافه می‌کند که یک عامل را واقعاً امن می‌کنند تا اجرا شود: یک کوچک برنامه‌ریز که یک هدف را به زیرکارهای مرتب‌شده تقسیم می‌کند، و یک نگهبان حلقه که عامل را قبل از آنکه از کنترل خارج شود، متوقف می‌کند.

اول، برنامه‌ریزی. decompose(goal) یک هدف تک‌خطی را به فهرستی شماره‌گذاری‌شده از زیرمجموعه‌ها تبدیل می‌کند. ما آن را تعیین‌کننده و مبتنی بر قاعده نگه می‌داریم (LLM این کار را در تولید انجام می‌دهد، اما شکل (همین است که اهمیت دارد): هدف را روی کلمه تقسیم کن "then"هر قطعه را از هم جدا کنید و آن‌ها را از ۱ شماره‌گذاری کنید.

decompose("find the team size then multiply by 2 then report")
# ["1. find the team size", "2. multiply by 2", "3. report"]

حالا نگهبان. run_with_guard(policy, state, max_steps) سیاست را گام به گام پیش می‌برد، اما آن از فرار کردن امتناع می‌کند. یک سیاست در اینجا تابعی است policy(state) -> action (یک رشته که نام عملی را که می‌خواهد انجام دهد، مشخص می‌کند)؛ اجرای یک عمل صرفاً آن را به فهرست تاریخچه اضافه می‌کند. گارد به یکی از سه دلیل متوقف می‌شود و گزارش می‌دهد که کدام یک بوده است:

  • تمام شد: سیاست عمل را بازمی‌گرداند "done" -> توقف با دلیل "done".
  • بدون پیشرفت: سیاست بازمی‌گرداند همان عمل را دو بار پشت سر هم -> توقف با دلیل "repeat". این سیگنال کلاسیک گرفتار در حلقه است: عامل از مشاهدات خود یاد نمی‌گیرد.
  • بودجه: می‌رسد max_steps بدون پایان -> توقف با دلیل "max_steps".
def run_with_guard(policy, state, max_steps):
    history = []
    for _ in range(max_steps):
        action = policy(state)
        if action == "done":
            return {"history": history, "reason": "done"}
        if history and action == history[-1]:
            return {"history": history, "reason": "repeat"}
        history.append(action)
        # let the policy advance its own state here
        ...
    return {"history": history, "reason": "max_steps"}

یک دیکت بازگردانید {"history": [...], "reason": ...}. آن "repeat" تأیید همان چیزی است که شما را نجات می‌دهد: یک سیاست پر از اشکال یا گیج‌شده که مدام منتشر می‌شود. "search" فرآیند forever در دومین اقدام یکسان متوقف می‌شود، با دلیلی که می‌توانید آن را ثبت و هشدار دهید. یک سیاست خوش‌رفتار که پیشرفت می‌کند و سپس می‌گوید "done" در محدوده بودجه خود به‌خوبی به پایان می‌رسد. گریدر یک سیاست حلقه‌ای را بررسی می‌کند که با "repeat", یک سیاست بی‌رویه به اجرا درمی‌آید "max_steps"، و یک سیاست خوب با پایان می‌یابد "done"، به‌علاوهٔ آن decompose اعداد را به درستی. فشار دهید دویدن دیدن هر سه نتیجه

نوبت شما

نوشتن decompose(goal): جدا کردن goal روی " then "، هر قسمت را جدا کنید و آن‌ها را به صورت بازگردانید "1. part", "2. part"، ... سپس بنویسید run_with_guard(policy, state, max_steps) که policy(state) یک رشتهٔ عملیاتی بازمی‌گرداند. سیاست را تا max_steps بار و بازگرداندن {"history": [...], "reason": ...}: توقف با دلیل "done" زمانی که اقدام "done"; متوقف شدن با دلیل "repeat" وقتی یک اقدام با اقدام قبلی برابر باشد (بدون پیشرفت)؛ با دلیل متوقف شود؛ وقتی اقدام باشد؛ با دلیل 2 متوقف شود اگر بودجه تمام شود. هر اقدام پذیرفته‌شده را به انتهای لیست اضافه کنید. "max_steps" اگر بودجه تمام شود. هر عمل پذیرفته‌شده را به history.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.