Evaluasi Agent Trace
Bagian terakhir dari proyek ini adalah yang paling sering dilewati dan paling penting di resume: evaluation. Siapa saja bisa membuat agent yang jalan di demo. Engineer yang diterima adalah yang bisa membuktikan itu bekerja, mendeteksi saat ia melakukan hal yang salah secara diam-diam, dan gagal dengan anggun saat tidak bisa menjawab. Kamu akan memberi skor pada trace yang dihasilkan agent kamu dan menambahkan fallback untuk saat ia menyerah.
Ingat kembali trace dari pelajaran 2: daftar terurut dari (thought, tool, args, observation) tuple. Untuk menilai sebuah run, kamu membandingkan apa yang benar-benar dilakukan agen dengan apa yang seharusnya dilakukan.
Tulis score_run(trace, expected_tools, expected_answer) yang mengembalikan dict dengan tiga field:
"tools_ok": apakah agen menggunakan alat yang benar dengan urutan yang benar? Ambil nama alat dari setiap langkah dan bandingkan urutannya denganexpected_tools. Alat yang salah atau hilang membuat iniFalse. Begini cara kamu menangkap agen yang mencapai jawaban yang benar dengan rute yang salah (yang akan error pada input berikutnya)."answer_ok": apakah langkah terakhir menghasilkan jawaban yang benar? Jawaban akhir adalah hasil pengamatan dari langkah terakhir. Bandingkan denganexpected_answer. Jalankan yang tidak pernah menghasilkan jawaban (trace kosong) adalahanswer_ok = False."steps": berapa banyak langkah yang dibutuhkan saat dijalankan (len(trace)) -> sinyal biaya/latensi kamu.
def score_run(trace, expected_tools, expected_answer):
tools_used = [tool for (_thought, tool, _args, _obs) in trace]
final = trace[-1][3] if trace else None
return {
"tools_ok": tools_used == list(expected_tools),
"answer_ok": bool(trace) and final == expected_answer,
"steps": len(trace),
}Lalu jaring pengamannya. answer_or_fallback(trace) berjalan pada permintaan live, di mana tidak ada yang tahu jawaban yang benar, jadi tidak bisa dibandingkan dengan satu jawaban (itulah yang dilakukan score_run secara offline, pada set pengujianmu). Ia hanya mempercayai sebuah run jika langkah terakhir adalah langkah finish dengan jawaban asli, dan jika tidak maka mengembalikan string tetap "unable to answer": sebuah run yang mencapai batas langkahnya, berhenti pada pencarian, atau selesai pada "not found". Di produksi inilah yang kamu kembalikan ke pengguna alih-alih halusinasi atau stack trace.
def answer_or_fallback(trace):
# At serving time there is no expected answer to compare with. Trust a run
# only if it ended with a finish step carrying a real answer.
if not trace:
return "unable to answer"
_thought, tool, _args, observation = trace[-1]
if tool != "finish" or observation in (None, "not found"):
return "unable to answer"
return observationGrader memasukkan jalannya yang benar (semuanya True), jalan yang menggunakan alat yang salah (tools_ok adalah False tapi jawabannya mungkin tetap cocok), dan jalan tanpa jawaban (answer_ok adalah False), ditambah jejak acak dibandingkan dengan referensi inline supaya tidak ada pembuat skor konstan yang lolos. Dapatkan warna hijau ini dan judulnya akan tertulis sendiri: membangun agen ReAct pengguna alat dengan loop guards dan trace eval. Tekan Run.
Tulis score_run(trace, expected_tools, expected_answer) di atas jejak tuple (thought, tool, args, observation), kembalikan {"tools_ok", "answer_ok", "steps"}: tools_ok adalah apakah urutan nama tool sama dengan expected_tools; answer_ok adalah apakah observasi langkah terakhir sama dengan expected_answer (False untuk jejak kosong); steps adalah len(trace). Lalu tulis answer_or_fallback(trace), pengecekan yang kamu jalankan pada permintaan langsung, di mana tidak ada jawaban yang diharapkan: kembalikan observasi akhir hanya jika langkah terakhir adalah langkah "finish" dan observasinya bukan None maupun "not found"; jika tidak, kembalikan string "unable to answer". (score_run adalah untuk set tes offline kamu, di mana kamu tahu jawabannya; answer_or_fallback adalah untuk produksi, di mana kamu tidak tahu.)
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.