المنهج الدراسي الدرس 233 من 250 · المشروع: وكيل بحث يستخدم الأدوات
المشروع: وكيل بحث يستخدم الأدوات

قيم أثر الوكيل

الجزء الأخير من المشروع هو الجزء الذي يتم تجاهله أكثر وهو الأكثر أهمية في السيرة الذاتية: evaluation. يمكن لأي شخص ربط agent يعمل في عرض توضيحي. المهندس الذي يتم توظيفه هو من يستطيع إثبات أنه يعمل، واكتشاف متى يقوم بالشيء الخاطئ بصمت، والفشل بشكل لائق عندما لا يستطيع الإجابة. ستقوم بتقييم الـ trace الذي أنتجه الـ agent الخاص بك وإضافة fallback عندما يستسلم.

استرجع التتبع من الدرس 2: قائمة مرتبة من (thought, tool, args, observation) tuples. لتقييم التشغيل، قارن ما فعله الوكيل فعلياً مقابل ما كان من المفترض أن يفعله.

اكتب score_run(trace, expected_tools, expected_answer) تعيد dict يحتوي على ثلاثة حقول:

  • "tools_ok": هل استخدم الوكيل الأدوات الصحيحة بالترتيب الصحيح؟ استخرج اسم الأداة من كل خطوة وقارن التسلسل بـ expected_tools. الأداة الخاطئة أو المفقودة تجعل هذا False. هذه هي الطريقة التي تمسك بها بوكيل وصل إلى الإجابة الصحيحة عبر المسار الخاطئ (والذي سيفشل عند الإدخال التالي).
  • "answer_ok": هل أنتجت الخطوة النهائية الإجابة الصحيحة؟ الإجابة النهائية هي ملاحظة الخطوة الأخيرة. قارنها بـ expected_answer. التشغيل الذي لم ينتج إجابة أبداً (أثر فارغ) هو answer_ok = False.
  • "steps": عدد الخطوات التي استغرقتها عملية التشغيل (len(trace)) -> إشارة التكلفة/زمن الاستجابة الخاصة بك.
def score_run(trace, expected_tools, expected_answer):
    tools_used = [tool for (_thought, tool, _args, _obs) in trace]
    final = trace[-1][3] if trace else None
    return {
        "tools_ok": tools_used == list(expected_tools),
        "answer_ok": bool(trace) and final == expected_answer,
        "steps": len(trace),
    }

ثم شبكة الأمان. answer_or_fallback(trace) تعمل على الطلبات المباشرة، حيث لا يعرف أحد الإجابة الصحيحة، لذا لا يمكنها المقارنة مع واحدة (هذا ما يفعله score_run في وضع عدم الاتصال، على مجموعة الاختبار الخاصة بك). هي تثق في التشغيل فقط عندما تكون الخطوة الأخيرة خطوة finish بإجابة حقيقية، وإلا تعيد السلسلة الثابتة "unable to answer": تشغيل وصل إلى حد خطواته، أو توقف عند بحث، أو انتهى عند "not found". في بيئة الإنتاج هذا ما تعيده للمستخدم بدلاً من هلوسة أو stack trace.

def answer_or_fallback(trace):
    # At serving time there is no expected answer to compare with. Trust a run
    # only if it ended with a finish step carrying a real answer.
    if not trace:
        return "unable to answer"
    _thought, tool, _args, observation = trace[-1]
    if tool != "finish" or observation in (None, "not found"):
        return "unable to answer"
    return observation

يُدخل المصحّح تشغيلاً صحيحاً (كل شيء True)، وتشغيلاً استخدم الأداة الخاطئة (tools_ok هو False لكن الإجابة قد تظل مطابقة)، وتشغيلاً بلا إجابة (answer_ok هو False)، إضافة إلى سجلات عشوائية تُقارن بمرجع مضمّن حتى لا يمر أي مُقيِّم ثابت. اجعل هذا أخضر وسيكتب العنوان نفسه: built a tool-using ReAct agent with loop guards and trace eval. اضغط Run.

دورك

اكتب score_run(trace, expected_tools, expected_answer) فوق سلسلة من تكرارات (thought, tool, args, observation)، مع إرجاع {"tools_ok", "answer_ok", "steps"}: tools_ok يحدد ما إذا كانت سلسلة أسماء الأدوات تساوي expected_tools؛ answer_ok يحدد ما إذا كانت ملاحظة الخطوة الأخيرة تساوي expected_answer (False للسلسلة الفارغة)؛ steps هو len(trace). ثم اكتب answer_or_fallback(trace)، وهو الفحص الذي تقوم بتشغيله على طلب مباشر، حيث لا يوجد إجابة متوقعة: أرجع الملاحظة النهائية فقط عندما تكون الخطوة الأخيرة خطوة "finish" وملاحظتها ليست None ولا "not found"؛ وإلا أرجع السلسلة النصية "unable to answer". (score_run لمجموعة الاختبار غير المتصلة الخاصة بك، حيث تعرف الإجابات؛ answer_or_fallback للإنتاج، حيث لا تعرفها.)

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.