Set Emas + Scorers
Kamu mengirim prompt baru dan itu terasa lebih baik. Pemimpin timmu menanyakan satu-satunya pertanyaan yang penting: lebih baik berapa banyak, dan bagaimana kamu tahu? "Vibes" tidak bertahan dalam code review. Tugasnya adalah mengubah klaim samar menjadi angka yang bisa kamu bela, dan dasar dari setiap prompt-eval harness adalah gold set (daftar input yang dipasangkan dengan jawaban benar yang diketahui) ditambah scorer (fungsi yang menyatakan seberapa dekat jawaban model dengan jawaban gold).
Ini adalah pelajaran 1 dari proyek tiga bagian. Di akhir modul kamu akan punya harness evaluasi prompt dengan gate regresi CI -> jenis hal yang dilihat manajer perekrutan di resume sebagai "membangun harness evaluasi prompt + gate regresi" dan langsung tahu kamu bisa merilis fitur LLM dengan bertanggung jawab. Hari ini kamu membangun alat ukurnya: tiga scorer dan runner yang menerapkan salah satunya ke seluruh gold set.
Satu catatan jujur soal scope: harness dan logika regression-gate yang kamu bangun di sini nyata dan bisa dipindahkan, tapi model judge adalah mock dan "accuracy" di sini adalah exact-match. Di proyek nyata kamu akan menghubungkan bagian yang sama ke model judge yang aktif dan scorer yang lebih kaya.
Tugas yang berbeda butuh scorer yang berbeda, jadi kamu buat tiga:
score_exact(pred, gold)->1.0jika prediksi sama dengan jawaban emas setelah.strip()pada keduanya, jika tidak0.0. Ini adalah panggilan yang tepat untuk classifier ("positive" vs "negative") di mana hanya kecocokan persis yang dihitung.score_contains(pred, gold)->1.0jika string emas muncul di mana saja di dalam prediksi (tidak peka huruf besar, keduanya di-strip), jika tidak0.0. Bagus untuk pengecekan "apakah jawabannya menyebutkan fakta kunci?" di mana kata tambahan tidak masalah.token_f1(pred, gold)-> skor partial-credit di[0.0, 1.0]berdasarkan tumpang tindih kata, mesin utama untuk jawaban teks bebas di mana jawaban yang mendekati harus lebih baik daripada jawaban yang salah total.
Cara kerja token F1. Ubah ke huruf kecil dan bagi kedua string menjadi token kata. Hitung berapa banyak token yang mereka miliki bersama, perhatikan duplikat (anggap daftar token sebagai multiset, jadi collections.Counter dan & intersection adalah temanmu). Lalu:
overlap = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens) # of the words I said, how many were right?
recall = overlap / len(gold_tokens) # of the words I should have said, how many did I?
f1 = 2 * precision * recall / (precision + recall)Contoh yang dikerjakan: pred="the quick brown fox", gold="the lazy brown dog". Mereka berbagi the dan brown -> overlap 2. Presisi adalah 2/4, recall adalah 2/4, jadi F1 adalah 0.5. Perhatikan bagian pinggir: jika salah satu sisi punya nol token, atau overlap adalah nol, F1 adalah 0.0 (jangan pernah bagi dengan nol).
Akhirnya runner yang mengubah scorer menjadi evaluation:
run_suite(predictions, golds, scorer)-> beri skor setiap pasangan(pred, gold)dengan fungsiscoreryang diberikan dan kembalikan{"score": mean_score, "per_case": [list of each case's score]}. Rata-rata dari suite kosong adalah0.0.
Melewati scorer in (daripada menulisnya secara manual) adalah desain yang memungkinkan kita menilai classifier exact-match dan jawaban free-text sekaligus. Tekan Run untuk menilai gold set kecil dengan tiga cara berbeda.
Bangun inti penilaian dari harness prompt-eval. Tulis score_exact(pred, gold) (1.0 pada stripped exact match atau 0.0), score_contains(pred, gold) (1.0 jika stripped, lowercased gold adalah substring dari prediction atau 0.0), dan token_f1(pred, gold) (token-overlap F1 pada lowercased word tokens, 0.0 saat salah satu sisi kosong atau tidak ada overlap). Lalu tulis run_suite(predictions, golds, scorer) yang mengembalikan {"score": mean, "per_case": [scores]} (mean 0.0 pada suite kosong).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.