Silabus Pelajaran 232 dari 250 · Proyek: Agen Riset Pengguna Alat
Proyek: Agen Riset Pengguna Alat

Perencanaan + Loop Guards

Agen yang bisa bertindak juga bisa bertindak selamanya. Cara nomor satu agen sungguhan membakar uang dan membangunkan engineer jaga adalah loop tanpa rem: ia terus memanggil tool yang sama, mendapat observasi yang sama, dan tidak pernah memutuskan bahwa ia sudah selesai. Pelajaran ini menambahkan dua hal yang membuat agen aman untuk benar-benar dijalankan: perencana kecil yang memecah tujuan menjadi subtugas berurutan, dan penjaga loop yang menghentikan agen sebelum ia lepas kendali.

Pertama, perencanaan. decompose(goal) mengubah tujuan satu baris menjadi daftar subtugas bernomor. Kita membuatnya deterministik dan berbasis aturan (di produksi LLM yang melakukannya, tetapi yang penting adalah bentuknya): pecah tujuan pada kata "then", rapikan setiap potongan, dan beri nomor mulai dari 1.

decompose("find the team size then multiply by 2 then report")
# ["1. find the team size", "2. multiply by 2", "3. report"]

Sekarang penjaganya. run_with_guard(policy, state, max_steps) menjalankan sebuah policy langkah demi langkah, tetapi ia menolak lepas kendali. Policy di sini adalah fungsi policy(state) -> action (string yang menamai tindakan yang ingin diambilnya); menerapkan sebuah tindakan hanya menambahkannya ke daftar riwayat. Penjaga berhenti karena salah satu dari tiga alasan dan melaporkan yang mana:

  • selesai: policy mengembalikan tindakan "done" -> berhenti dengan alasan "done".
  • tidak ada kemajuan: policy mengembalikan tindakan yang sama dua kali berturut-turut -> berhenti dengan alasan "repeat". Ini sinyal klasik terjebak dalam loop: agen tidak belajar dari observasinya.
  • anggaran: ia mencapai max_steps tanpa selesai -> berhenti dengan alasan "max_steps".
def run_with_guard(policy, state, max_steps):
    history = []
    for _ in range(max_steps):
        action = policy(state)
        if action == "done":
            return {"history": history, "reason": "done"}
        if history and action == history[-1]:
            return {"history": history, "reason": "repeat"}
        history.append(action)
        # let the policy advance its own state here
        ...
    return {"history": history, "reason": "max_steps"}

Kembalikan dict {"history": [...], "reason": ...}. Pemeriksaan "repeat" itulah yang menyelamatkanmu: policy yang bug atau bingung dan terus mengeluarkan "search" selamanya dihentikan pada tindakan identik kedua, dengan alasan yang bisa kamu catat dan jadikan peringatan. Policy yang berperilaku baik, membuat kemajuan, lalu berkata "done" selesai dengan rapi di dalam anggarannya. Penilai memeriksa bahwa policy yang berputar berhenti dengan "repeat", policy yang lepas kendali mencapai "max_steps", dan policy yang baik selesai dengan "done", ditambah bahwa decompose memberi nomor dengan benar. Tekan Run untuk melihat ketiga hasilnya.

Giliranku

Tulis decompose(goal): split goal pada " then ", strip setiap bagian, dan kembalikan sebagai "1. part", "2. part", ... Lalu tulis run_with_guard(policy, state, max_steps) di mana policy(state) mengembalikan string aksi. Jalankan kebijakan sampai max_steps kali dan kembalikan {"history": [...], "reason": ...}: berhenti dengan alasan "done" saat aksinya adalah "done"; berhenti dengan alasan "repeat" saat sebuah aksi sama dengan aksi sebelumnya (no-progress); berhenti dengan alasan "max_steps" jika anggaran habis. Tambahkan setiap aksi yang diterima ke history.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.