Silabus Pelajaran 237 dari 250 · Proyek: Prompt Evaluation CI
Proyek: Prompt Evaluation CI

LLM-as-Judge: Parse Rubrik + Vonis

Exact-match dan token-F1 mulai tidak akurat saat jawaban menjadi terbuka. "Summarize this ticket" punya ribuan jawaban bagus dan tidak ada satu string emas yang pasti. Solusi industri saat ini adalah LLM-as-judge: kamu meminta model kedua untuk membaca jawaban berdasarkan rubric dan mengembalikan keputusan. Itulah cara tim menilai chatbot, jawaban RAG, dan transkrip agent dalam skala besar.

Inilah kenyataan teknisnya, dan hal yang dicari oleh manajer perekrutan: hakimnya adalah model bahasa, jadi balasannya adalah teks bebas yang berantakan.Ia mungkin mengatakan VERDICT: PASS pada satu percobaan dan Final verdict - fail pada percobaan berikutnya, terkadang dengan paragraf penalaran di awal. Bagian rapuh dari setiap harness hakim bukanlah prompt, melainkan parser yang menarik hasil bersih yang bisa digunakan mesin dari teks tersebut. Jadi dalam pelajaran ini hakimnya dimock (tidak ada model langsung, tidak ada jaringan) dan kamu membangun dua bagian deterministik di sekitarnya: prompt rubrik dan verdict parser.

Buat prompt rubrik. build_rubric(criteria) mengambil daftar string kriteria dan mengembalikan satu string prompt untuk juri. Ini harus:

  • mengandung kata Rubric supaya juri tahu tugasnya,
  • tulis setiap kriteria di barisnya masing-masing, diberi nomor mulai dari 1 (1. accuracy, 2. clarity, ...),
  • dan akhiri dengan memberi tahu juri kontrak output yang tepat: satu baris VERDICT: PASS atau VERDICT: FAIL dan satu baris SCORE: <0-10>. (Kamu defining format yang akan dibaca oleh parser milikmu sendiri.)

Bangun parsernya. parse_verdict(judge_text) memindai balasan mentah dari judge dan mengembalikan {"verdict": "PASS" or "FAIL", "score": int}. Aturan ketahanan yang dipaksakan oleh output judge asli padamu:

  • Be case-insensitive: pass, PASS, dan Pass semuanya berarti PASS.
  • Hanya keputusan berlabel yang dihitung: VERDICT: PASS, verdict = fail, verdict - pass. Kata "pass" saja di bagian penalaran bukan sebuah keputusan: "VERDICT: FAIL. Perbaikannya akan membuatnya pass" adalah FAIL, dan "ini tidak pass" tidak boleh dianggap sebagai PASS. Saat juri menulis beberapa keputusan berlabel (dia berubah pikiran), yang terakhir adalah yang menang.
  • Skor
  • A harus berupa angka bulat dari 0 sampai 10, rentang yang diminta rubrik kamu. Abaikan apa pun di luar itu ("SCORE: 85" adalah juri yang melanggar kontrak, bukan jawaban yang bagus). Dari skor yang valid, yang terakhir yang menang.
  • Kembalikan default yang aman jika tidak ada yang valid ditemukan: verdict "FAIL" dan score 0. Jawaban judge yang tidak bisa di-parse tidak boleh dianggap sebagai pass secara diam-diam.

Cari verdicts dengan re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) dan scores dengan re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I), simpan scores dari 0 sampai 10, lalu ambil yang terakhir dari masing-masing. Kita menilai parser dan rubric saja; pemanggilan live judge adalah prosa di pelajaran ini, jangan pernah jalankan di tes. Tekan Run untuk memparsing beberapa balasan judge.

Giliranku

Bangun bagian deterministik dari harness LLM-as-judge (judge di-mock). Tulis build_rubric(criteria) yang mengembalikan string prompt yang berisi Rubric, memberi nomor setiap kriteria dari 1 di baris masing-masing, dan menyatakan kontrak output VERDICT: PASS/FAIL + SCORE: <0-10>. Tulis parse_verdict(judge_text) (skor bisa ditulis SCORE: 7, score=7 atau Score 7) yang mengembalikan {"verdict": "PASS"|"FAIL", "score": int}: tidak peka huruf besar, hanya menghitung vonis berlabel (VERDICT: PASS, verdict = fail, verdict - pass) dan hanya skor dari 0 sampai 10, mengambil yang TERAKHIR dari masing-masing, dan menggunakan default {"verdict": "FAIL", "score": 0} jika tidak ada yang tersedia.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.