قيم أثر الوكيل
الجزء الأخير من المشروع هو الجزء الذي يتم تجاهله أكثر وهو الأكثر أهمية في السيرة الذاتية: evaluation. يمكن لأي شخص ربط agent يعمل في عرض توضيحي. المهندس الذي يتم توظيفه هو من يستطيع إثبات أنه يعمل، واكتشاف متى يقوم بالشيء الخاطئ بصمت، والفشل بشكل لائق عندما لا يستطيع الإجابة. ستقوم بتقييم الـ trace الذي أنتجه الـ agent الخاص بك وإضافة fallback عندما يستسلم.
استرجع التتبع من الدرس 2: قائمة مرتبة من (thought, tool, args, observation) tuples. لتقييم التشغيل، قارن ما فعله الوكيل فعلياً مقابل ما كان من المفترض أن يفعله.
اكتب score_run(trace, expected_tools, expected_answer) تعيد dict يحتوي على ثلاثة حقول:
"tools_ok": هل استخدم الوكيل الأدوات الصحيحة بالترتيب الصحيح؟ استخرج اسم الأداة من كل خطوة وقارن التسلسل بـexpected_tools. الأداة الخاطئة أو المفقودة تجعل هذاFalse. هذه هي الطريقة التي تمسك بها بوكيل وصل إلى الإجابة الصحيحة عبر المسار الخاطئ (والذي سيفشل عند الإدخال التالي)."answer_ok": هل أنتجت الخطوة النهائية الإجابة الصحيحة؟ الإجابة النهائية هي ملاحظة الخطوة الأخيرة. قارنها بـexpected_answer. التشغيل الذي لم ينتج إجابة أبداً (أثر فارغ) هوanswer_ok = False."steps": عدد الخطوات التي استغرقتها عملية التشغيل (len(trace)) -> إشارة التكلفة/زمن الاستجابة الخاصة بك.
def score_run(trace, expected_tools, expected_answer):
tools_used = [tool for (_thought, tool, _args, _obs) in trace]
final = trace[-1][3] if trace else None
return {
"tools_ok": tools_used == list(expected_tools),
"answer_ok": bool(trace) and final == expected_answer,
"steps": len(trace),
}ثم شبكة الأمان. answer_or_fallback(trace) تعمل على الطلبات المباشرة، حيث لا يعرف أحد الإجابة الصحيحة، لذا لا يمكنها المقارنة مع واحدة (هذا ما يفعله score_run في وضع عدم الاتصال، على مجموعة الاختبار الخاصة بك). هي تثق في التشغيل فقط عندما تكون الخطوة الأخيرة خطوة finish بإجابة حقيقية، وإلا تعيد السلسلة الثابتة "unable to answer": تشغيل وصل إلى حد خطواته، أو توقف عند بحث، أو انتهى عند "not found". في بيئة الإنتاج هذا ما تعيده للمستخدم بدلاً من هلوسة أو stack trace.
def answer_or_fallback(trace):
# At serving time there is no expected answer to compare with. Trust a run
# only if it ended with a finish step carrying a real answer.
if not trace:
return "unable to answer"
_thought, tool, _args, observation = trace[-1]
if tool != "finish" or observation in (None, "not found"):
return "unable to answer"
return observationيُدخل المصحّح تشغيلاً صحيحاً (كل شيء True)، وتشغيلاً استخدم الأداة الخاطئة (tools_ok هو False لكن الإجابة قد تظل مطابقة)، وتشغيلاً بلا إجابة (answer_ok هو False)، إضافة إلى سجلات عشوائية تُقارن بمرجع مضمّن حتى لا يمر أي مُقيِّم ثابت. اجعل هذا أخضر وسيكتب العنوان نفسه: built a tool-using ReAct agent with loop guards and trace eval. اضغط Run.
اكتب score_run(trace, expected_tools, expected_answer) فوق سلسلة من تكرارات (thought, tool, args, observation)، مع إرجاع {"tools_ok", "answer_ok", "steps"}: tools_ok يحدد ما إذا كانت سلسلة أسماء الأدوات تساوي expected_tools؛ answer_ok يحدد ما إذا كانت ملاحظة الخطوة الأخيرة تساوي expected_answer (False للسلسلة الفارغة)؛ steps هو len(trace). ثم اكتب answer_or_fallback(trace)، وهو الفحص الذي تقوم بتشغيله على طلب مباشر، حيث لا يوجد إجابة متوقعة: أرجع الملاحظة النهائية فقط عندما تكون الخطوة الأخيرة خطوة "finish" وملاحظتها ليست None ولا "not found"؛ وإلا أرجع السلسلة النصية "unable to answer". (score_run لمجموعة الاختبار غير المتصلة الخاصة بك، حيث تعرف الإجابات؛ answer_or_fallback للإنتاج، حيث لا تعرفها.)
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.