Agent Trace'i değerlendir
Projenin en çok atlanan ama özgeçmişte en çok önem kazanan parçası evaluation. Herkes demo için çalışan bir agent bağlayabilir. İşe alınan mühendis, bunun çalıştığını kanıtlayabilen, sessizce yanlış yaptığında bunu yakalayan ve cevap veremediğinde zarifçe hata veren kişidir. Agentinin ürettiği trace skorunu verecek ve pes ettiğinde çalışacak bir fallback ekleyeceksin.
Ders 2'deki izi hatırla: (thought, tool, args, observation) tuple'larından oluşan sıralı bir liste. Bir çalışmayı notlandırmak için ajanın gerçekten ne yaptığını, ne yapması gerektiği ile karşılaştır.
score_run(trace, expected_tools, expected_answer) döndüren bir dict yaz: üç alanı olsun:
"tools_ok": ajan doğru araçları doğru sırayla kullandı mı? Her adımdan araç adını çıkar ve sırayıexpected_toolsile karşılaştır. Yanlış veya eksik bir araç bunuFalseyapar. Bu, doğru cevaba yanlış yoldan (bir sonraki girişte hata verecek olan) ulaşan bir ajanı yakalama yöntemidir."answer_ok": son adım doğru cevabı üretti mi? Son cevap, son adımın gözlemidir. Onuexpected_answerile karşılaştır. Hiçbir zaman cevap üretmeyen bir çalışma (boş iz)answer_ok = False. ."steps": çalışmanın kaç adım sürdüğü (len(trace)) -> senin maliyet/gecikme sinyalin.
def score_run(trace, expected_tools, expected_answer):
tools_used = [tool for (_thought, tool, _args, _obs) in trace]
final = trace[-1][3] if trace else None
return {
"tools_ok": tools_used == list(expected_tools),
"answer_ok": bool(trace) and final == expected_answer,
"steps": len(trace),
}Sonra güvenlik ağı. answer_or_fallback(trace) canlı isteklerde çalışır, burada kimse doğru cevabı bilmez, bu yüzden bir tanesiyle karşılaştırma yapamaz (score_run bunu çevrimdışı, test setinde yapar). Bir çalışmaya sadece son adım bir finish adımı ve gerçek bir cevap olduğunda güvenir, aksi takdirde sabit "unable to answer" dizisini döndürür: adım sınırına ulaşan, bir aramada duran veya "not found" ile biten bir çalışma. Üretimde, bir halüsinasyon veya yığın izi yerine kullanıcıya bunu döndürürsün.
def answer_or_fallback(trace):
# At serving time there is no expected answer to compare with. Trust a run
# only if it ended with a finish step carrying a real answer.
if not trace:
return "unable to answer"
_thought, tool, _args, observation = trace[-1]
if tool != "finish" or observation in (None, "not found"):
return "unable to answer"
return observation Değerlendirici doğru bir çalışma (her şey True), yanlış araç kullanılan bir çalışma (tools_ok False'dir ama cevap hala eşleşebilir) ve cevabı olmayan bir çalışma (answer_ok False'dir) ile sabit bir puanlayıcının sızmasını önlemek için satır içi referansa göre rastgele izleri besler. Bunu yeşil yap ve başlık kendi kendine yazılacak: döngü korumalı ve iz değerlendirmeli bir araç kullanan ReAct ajanı oluşturdu . Run tuşuna bas.
(thought, tool, args, observation) demetlerinin bir izi üzerinde score_run(trace, expected_tools, expected_answer) yaz ve {"tools_ok", "answer_ok", "steps"} döndür: tools_ok araç isimleri dizisinin expected_tools'ye eşit olup olmadığıdır; answer_ok son adımın gözleminin expected_answer'ye eşit olup olmadığıdır (boş bir iz için False); steps, len(trace)'dir. Sonra, beklenen bir cevabın bulunmadığı canlı bir istek üzerinde çalıştırdığın kontrol olan answer_or_fallback(trace)'yi yaz: sadece son adım bir "finish" adımıysa ve gözlemi ne None ne de "not found" ise son gözlemi döndür; aksi takdirde "unable to answer" dizgisini döndür. (score_run cevapları bildiğin çevrimdışı test setin içindir; answer_or_fallback cevapları bilmediğin üretim ortamı içindir.)
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.