Evaluasi Berbasis Assertion (exact-match & contains)
Kamu mengubah prompt dan outputnya "terasa lebih baik." Perasaan itu bukan sebuah hasil. Tugas dari sebuah eval adalah menggantinya dengan angka yang bisa kamu masukkan ke dalam pull request: prompt ini mendapat skor 0.86 pada gold set, yang lama mendapat skor 0.74. Sebelum kamu mencoba hal yang rumit, eval yang paling sering digunakan adalah yang termurah: ambil set input berlabel dengan jawaban yang benar, jalankan sistemmu, dan hitung berapa banyak yang benar.
Masalahnya adalah menentukan apa arti "benar". LLM hampir tidak pernah mengembalikan string emas byte demi byte. Ia menambahkan titik, mengubah huruf menjadi kapital, atau membungkus jawaban dalam sebuah kalimat. Jadi kamu memilih match mode:
- exact -> prediksi sama dengan jawaban emas setelah kamu normalisasi (huruf kecil, hapus spasi di sekitar). Gunakan ini untuk jawaban pendek dan tertutup: label, ya/tidak, kota.
- berisi -> jawaban emas muncul di suatu tempat di dalam prediksi. Gunakan ini saat model diizinkan untuk banyak bicara: "Ibukotanya adalah Paris." harus tetap dianggap benar untuk
paris.
Normalisasi itu penting. Tanpa itu, "Paris" dan "paris" akan dianggap salah dan eval kamu jadi bohong. Ini adalah bentuk dari satu perbandingan:
def score_one(pred, gold, mode):
p = pred.strip().lower()
g = gold.strip().lower()
if mode == "exact":
return 1.0 if p == g else 0.0
if mode == "contains":
return 1.0 if g in p else 0.0
raise ValueError("unknown mode: " + mode)Akurasi hanyalah rata-rata dari skor per-contoh tersebut. Dalam harness asli, predictions berasal dari pemanggilan model langsung; di sini kamu dinilai berdasarkan matematika penilaian, yaitu bagian yang harus benar tepat. Dua pengecekan lagi ada di setiap harness yang sadar keamanan: allow-list (setiap output harus salah satu dari set label tetap) dan pemindaian forbidden-pattern (tidak ada output yang boleh mengandung frasa terlarang seperti "as an AI").
Apa yang akan dibangun.
evaluate(predictions, gold, mode)-> skor rata-rata exact-or-contains dari dua list paralel,rounded ke 4 angka di belakang koma. List kosong mengembalikan0.0, tidak akan crash. MunculkanValueErrorjika mode tidak dikenal.label_in_set(outputs, allowed)->{"passed", "failed"}menghitung berapa banyak output yang sudah di-strip di dalam setallowed.has_forbidden(text, patterns)->Truejika ada regex dipatternsyang ditemukan ditext.
Tekan Run untuk mendapatkan set emas di kedua mode.
Tulis evaluate(predictions, gold, mode) yang mengembalikan rata-rata skor dari dua list paralel, di mana mode adalah 'exact' (kesamaan normalisasi) atau 'contains' (gold ada di dalam prediksi); normalisasi strip().lower(), round akurasi ke 4 tempat, kembalikan 0.0 pada set kosong, dan lempar ValueError pada mode tidak dikenal. Tulis juga label_in_set(outputs, allowed) -> {'passed', 'failed'} untuk menghitung output yang sudah di-strip terhadap set allowed, dan has_forbidden(text, patterns) -> True jika ada pola regex yang ditemukan di text, abaikan huruf besar atau kecil (jadi as an ai juga menangkap "As an AI").
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.