سرفصل‌ها درس 233 از 250 · پروژه: عامل پژوهشی ابزار-استفاده‌کننده
پروژه: عامل پژوهشی ابزار-استفاده‌کننده

ردیابی ایجنت را ارزیابی کنید

آخرین بخش پروژه همان بخشی است که بیشترین بار نادیده گرفته می‌شود و در رزومه بیشترین اهمیت را دارد: ارزیابیهر کسی می‌تواند یک عامل را طوری سیم‌کشی کند که در یک دمو کار کند. مهندس استخدام‌شده کسی است که می‌تواند ثابت کند عامل کار می‌کند، متوجه شود وقتی بی‌صدا کار اشتباه انجام می‌دهد و وقتی نتواند پاسخ دهد، به‌طور شایسته شکست بخورد. شما قرار است ردپای تولیدشده توسط عامل‌تان را نمره‌گذاری کنید و برای زمانی که عامل تسلیم می‌شود، یک روش پشتیبان اضافه کنید.

ردیابی را از درس ۲ به یاد آورید: یک فهرست مرتب از (thought, tool, args, observation) تُپل‌ها. برای نمره‌دهی به یک اجرا، شما مقایسه می‌کنید که عامل در واقع انجام داد در مقایسه با آنچه قبلاً بود قرار است انجام دهد.

بنویس score_run(trace, expected_tools, expected_answer) بازگرداندن یک دیکت با سه فیلد:

  • "tools_ok"آیا عامل ابزارهای مناسب را به ترتیب درست به کار برد؟ نام ابزار را از هر مرحله بیرون بکش و توالی را با ... مقایسه کن. expected_toolsابزار نادرست یا گم‌شده این کار را انجام می‌دهد. False. اینگونه است که یک عامل را که به پاسخ درست رسیده است، می‌گیرید از مسیر اشتباه (که در ورودی بعدی شکسته خواهد شد)
  • "answer_ok"آیا مرحلهٔ نهایی پاسخ درست را تولید کرد؟ پاسخ نهایی مشاهدهٔ مرحلهٔ آخر است. آن را با expected_answer. دویدنی که هرگز پاسخی تولید نکرد (ردیابی خالی) است answer_ok = False.
  • "steps": تعداد گام‌های برداشته‌شده (len(trace)) -> سیگنال هزینه/تاخیر شما.
def score_run(trace, expected_tools, expected_answer):
    tools_used = [tool for (_thought, tool, _args, _obs) in trace]
    final = trace[-1][3] if trace else None
    return {
        "tools_ok": tools_used == list(expected_tools),
        "answer_ok": bool(trace) and final == expected_answer,
        "steps": len(trace),
    }

سپس شبکهٔ ایمنی. answer_or_fallback(trace) روی درخواست‌های زنده اجرا می‌شود، جایی که هیچ‌کس پاسخ درست را نمی‌داند، بنابراین نمی‌توان آن را با یکی مقایسه کرد (این همان چیزی است که score_run (به صورت آفلاین، روی مجموعه آزمایشی شما انجام می‌شود). این تنها زمانی به یک اجرا اعتماد می‌کند که آخرین مرحله یک finish در صورت وجود پاسخ واقعی، یک قدم برمی‌دارد و در غیر این صورت، رشتهٔ ثابت را بازمی‌گرداند. "unable to answer": یک اجرا که به محدودیت مرحله‌ای خود رسید، در حین جستجو متوقف شد، یا در "not found"در تولید، این چیزی است که به جای هذیان یا ردیابی پشته به کاربر بازمی‌گردانید.

def answer_or_fallback(trace):
    # At serving time there is no expected answer to compare with. Trust a run
    # only if it ended with a finish step carrying a real answer.
    if not trace:
        return "unable to answer"
    _thought, tool, _args, observation = trace[-1]
    if tool != "finish" or observation in (None, "not found"):
        return "unable to answer"
    return observation

گریدر در یک اجرای صحیح، همه چیز را تغذیه می‌کند. True)، یک اجرای که از ابزار نادرست استفاده کرد (tools_ok است False اما پاسخ ممکن است همچنان مطابقت داشته باشد)، و یک اجرا بدون پاسخ (answer_ok است False)، به‌علاوه ردیابی‌های تصادفی که با یک مرجع درون‌خطی مقایسه می‌شوند تا هیچ نمره‌دهنده ثابتی جا نماند. این را سبز کنید و تیتر خودبه‌خود نوشته می‌شود: یک عامل ReAct با قابلیت استفاده از ابزار، همراه با محافظ‌های حلقه و ارزیابی ردیابی، ساخته شد.. مطبوعات دویدن.

نوبت شما

نوشتن score_run(trace, expected_tools, expected_answer) روی یک ردپا از (thought, tool, args, observation) تُپل‌ها، بازگردانده می‌شود {"tools_ok", "answer_ok", "steps"}: tools_ok این است که آیا دنبالهٔ نام ابزارها برابر است با expected_tools; answer_ok این است که آیا مشاهدهٔ آخرین گام برابر است با expected_answer (False برای یک ردپای خالی)؛ steps است len(trace). سپس بنویسید answer_or_fallback(trace)، چکی که روی یک درخواست زنده اجرا می‌کنید، جایی که هیچ پاسخ مورد انتظاری وجود ندارد: تنها زمانی که آخرین مرحله یک "finish" گام و مشاهده آن نه None و نه "not found"؛ در غیر این صورت رشته را بازگردانید "unable to answer". (score_run برای مجموعه تست آفلاین شماست، جایی که پاسخ‌ها را می‌دانید؛ answer_or_fallback برای تولید است، جایی که شما پاسخ‌ها را نمی‌دانید.)

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.