Silabus Pelajaran 233 dari 250 · Proyek: Agen Riset Pengguna Alat
Proyek: Agen Riset Pengguna Alat

Evaluasi Agent Trace

Bagian terakhir dari proyek ini adalah yang paling sering dilewati dan paling penting di resume: evaluation. Siapa saja bisa membuat agent yang jalan di demo. Engineer yang diterima adalah yang bisa membuktikan itu bekerja, mendeteksi saat ia melakukan hal yang salah secara diam-diam, dan gagal dengan anggun saat tidak bisa menjawab. Kamu akan memberi skor pada trace yang dihasilkan agent kamu dan menambahkan fallback untuk saat ia menyerah.

Ingat kembali trace dari pelajaran 2: daftar terurut dari (thought, tool, args, observation) tuple. Untuk menilai sebuah run, kamu membandingkan apa yang benar-benar dilakukan agen dengan apa yang seharusnya dilakukan.

Tulis score_run(trace, expected_tools, expected_answer) yang mengembalikan dict dengan tiga field:

  • "tools_ok": apakah agen menggunakan alat yang benar dengan urutan yang benar? Ambil nama alat dari setiap langkah dan bandingkan urutannya dengan expected_tools. Alat yang salah atau hilang membuat ini False. Begini cara kamu menangkap agen yang mencapai jawaban yang benar dengan rute yang salah (yang akan error pada input berikutnya).
  • "answer_ok": apakah langkah terakhir menghasilkan jawaban yang benar? Jawaban akhir adalah hasil pengamatan dari langkah terakhir. Bandingkan dengan expected_answer. Jalankan yang tidak pernah menghasilkan jawaban (trace kosong) adalah answer_ok = False.
  • "steps": berapa banyak langkah yang dibutuhkan saat dijalankan (len(trace)) -> sinyal biaya/latensi kamu.
def score_run(trace, expected_tools, expected_answer):
    tools_used = [tool for (_thought, tool, _args, _obs) in trace]
    final = trace[-1][3] if trace else None
    return {
        "tools_ok": tools_used == list(expected_tools),
        "answer_ok": bool(trace) and final == expected_answer,
        "steps": len(trace),
    }

Lalu jaring pengamannya. answer_or_fallback(trace) berjalan pada permintaan live, di mana tidak ada yang tahu jawaban yang benar, jadi tidak bisa dibandingkan dengan satu jawaban (itulah yang dilakukan score_run secara offline, pada set pengujianmu). Ia hanya mempercayai sebuah run jika langkah terakhir adalah langkah finish dengan jawaban asli, dan jika tidak maka mengembalikan string tetap "unable to answer": sebuah run yang mencapai batas langkahnya, berhenti pada pencarian, atau selesai pada "not found". Di produksi inilah yang kamu kembalikan ke pengguna alih-alih halusinasi atau stack trace.

def answer_or_fallback(trace):
    # At serving time there is no expected answer to compare with. Trust a run
    # only if it ended with a finish step carrying a real answer.
    if not trace:
        return "unable to answer"
    _thought, tool, _args, observation = trace[-1]
    if tool != "finish" or observation in (None, "not found"):
        return "unable to answer"
    return observation

Grader memasukkan jalannya yang benar (semuanya True), jalan yang menggunakan alat yang salah (tools_ok adalah False tapi jawabannya mungkin tetap cocok), dan jalan tanpa jawaban (answer_ok adalah False), ditambah jejak acak dibandingkan dengan referensi inline supaya tidak ada pembuat skor konstan yang lolos. Dapatkan warna hijau ini dan judulnya akan tertulis sendiri: membangun agen ReAct pengguna alat dengan loop guards dan trace eval. Tekan Run.

Giliranku

Tulis score_run(trace, expected_tools, expected_answer) di atas jejak tuple (thought, tool, args, observation), kembalikan {"tools_ok", "answer_ok", "steps"}: tools_ok adalah apakah urutan nama tool sama dengan expected_tools; answer_ok adalah apakah observasi langkah terakhir sama dengan expected_answer (False untuk jejak kosong); steps adalah len(trace). Lalu tulis answer_or_fallback(trace), pengecekan yang kamu jalankan pada permintaan langsung, di mana tidak ada jawaban yang diharapkan: kembalikan observasi akhir hanya jika langkah terakhir adalah langkah "finish" dan observasinya bukan None maupun "not found"; jika tidak, kembalikan string "unable to answer". (score_run adalah untuk set tes offline kamu, di mana kamu tahu jawabannya; answer_or_fallback adalah untuk produksi, di mana kamu tidak tahu.)

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.