LLM-as-Judge (Pembuatan Rubrik + Parsing Vonis)
Exact-match, F1, dan ROUGE semuanya butuh jawaban emas sebagai pembanding. Tetapi untuk keluaran terbuka, "apakah penjelasan ini jelas?", "apakah nadanya profesional?", tidak ada satu string yang benar. Jawaban yang bisa diskalakan dan akhirnya dipilih industri adalah LLM sebagai juri: kamu memberi model kedua jawabannya beserta sebuah rubrik dan memintanya menilai setiap kriteria. Dengan rubrik yang dirumuskan dengan baik, ia sering mencapai kesepakatan 80-90% dengan penilai manusia, tetapi ini sangat bervariasi menurut tugas dan bisa turun tajam pada kasus yang bernuansa atau bersifat menyerang, jadi anggap angka tunggal mana pun sebagai khusus untuk tugasnya, bukan hukum. Meski begitu, ia biasanya cukup konsisten untuk dijalankan pada ribuan keluaran setiap malam, asalkan kamu sesekali memeriksanya secara acak terhadap label manusia.
Inilah bagian yang jujur, dan alasan pelajaran ini bisa dinilai. Penilaian juri yang sebenarnya adalah panggilan model, dan panggilan model tidak deterministik, jadi kita tidak pernah menilainya. Yang kamu rekayasa, dan yang dinilai, adalah perancah deterministik di sekitar panggilan itu: menyusun prompt juri dan membaca putusannya kembali. Di produksi, langkah tengahnya adalah panggilan sungguhan:
# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)WebLLM di perangkat dalam kursus ini bisa berperan sebagai juri langsung di browser, tetapi tes tidak pernah bergantung padanya. Tes memeriksa prompt yang kamu susun dan parser yang kamu tulis.
Prompt-nya harus mengikat juri: sebutkan perannya, daftarkan kriteria rubrik dengan nomor, tampilkan jawabannya, dan minta putusan yang bisa dibaca mesin supaya kamu bisa membacanya. Trik standarnya adalah memaksa satu baris per kriteria dalam bentuk tetap, di sini score: N/5:
You are a strict grader. Score the answer against the rubric.
RUBRIC:
1. Is it factually correct?
2. Is it concise?
ANSWER:
<the answer text>
For each rubric item, reply on its own line as 'score: N/5'.Membacanya lalu berupa sapuan regex untuk setiap baris score: N/5 (tanpa memedulikan huruf besar kecil), mengambil bilangan bulatnya. Agregasi mengubah daftar skor menjadi rata-rata dan tingkat lulus: porsi skor yang sama dengan atau di atas ambang. Tingkat lulus itulah yang kamu jadikan peringatan; satu jawaban buruk dalam satu batch adalah bising, tingkat lulus yang merosot adalah regresi.
Yang perlu dibuat.
build_judge_prompt(answer, rubric)-> string prompt yang berisi setiap butir rubrik bernomor, jawabannya, dan perintahscore: N/5.parse_judge_scores(text)-> daftar bilangan bulat dari setiap barisscore: N/5, berurutan, tanpa memedulikan huruf besar kecil.aggregate(scores, threshold=3)->{"mean", "pass_rate"}(keduanya denganroundke 4 desimal); daftar kosong mengembalikan nol.
Tekan Run untuk menyusun prompt juri, membaca contoh putusan, dan mengagregasinya.
Tulis build_judge_prompt(answer, rubric) yang mengembalikan string prompt berisi setiap item rubrik bernomor, teks jawaban, dan instruksi untuk membalas score: N/5 per item. Tulis parse_judge_scores(text) yang mengembalikan daftar integer dari setiap baris score: N/5 secara berurutan (tidak peka huruf besar). Tulis aggregate(scores, threshold=3) yang mengembalikan {'mean', 'pass_rate'} dibulatkan ke 4 tempat desimal, di mana pass_rate adalah fraksi skor >= threshold dan daftar kosong mengembalikan nol.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.