Evaluasi Asisten (P@k + Akurasi Jawaban + Gate)
Ini adalah pelajaran yang akan mengisi bagian kedua dari baris resume kamu: dan dievaluasi. Siapa saja bisa membuat demo RAG. Yang membedakan junior dengan orang yang akan kamu pekerjakan untuk mengelola asisten produksi adalah kemampuan untuk mengukurnya dan untuk menghentikan perubahan buruk agar tidak dirilis. Kamu akan membangun harness evaluasi dan gate regresi.
Kamu mengevaluasi terhadap gold set: daftar berlabel kecil di mana setiap kasus memiliki query, id artikel yang relevan, dan teks jawaban yang diharapkan. Dua keluarga metrik:
- Kualitas Retrieval --
precision_at_k: dari top-k ids yang dikembalikan retriever kamu, berapa bagian yang relevan. Ini memberitahu kamu apakah bot tersebut melihat artikel yang benar atau tidak. - Kualitas jawaban -- akurasi jawaban yang dihasilkan terhadap teks yang diharapkan, dalam dua mode:
contains(potongan teks yang diharapkan muncul di jawaban, tidak peka huruf besar) danexact(kecocokan tepat yang dipangkas).containsadalah yang lebih longgar dan realistis untuk jawaban teks bebas.
Bangun ini:
precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config) # -> a metrics dict over the whole gold set
regression_gate(old, new) # -> True if safe to ship, False if it regressedprecision_at_k: fraksi dari k retrieved ids pertama yang ada di set relevan; 0.0 untuk retrieval kosong. answer_accuracy: 1.0 atau 0.0 untuk satu prediksi, mengikuti mode.
evaluate(config) menyatukannya. config dict membawa gold list, retriever function (query -> ranked ids), answerer function (query -> text), dan pengaturan k dan mode. Jalankan setiap gold case dan kembalikan dict dengan setidaknya n (cases scored), precision_at_k (rata-rata dari cases, dibulatkan ke 4 tempat), dan answer_accuracy (rata-rata, dibulatkan ke 4). empty gold set tidak boleh error -- kembalikan nol.
regression_gate(old, new) adalah guard CI yang kamu pasang ke pull request: kembalikan True hanya jika run baru tidak memburuk pada metrik gated (answer_accuracy secara default) -- sama atau lebih baik tidak masalah, penurunan akan mengembalikan False. Inilah hal yang, dalam kehidupan nyata, mencegah perubahan prompt agar tidak merusak kualitas secara diam-diam. Tekan Run untuk memberi skor pada bot yang sempurna dan yang rusak lalu lihat gate menghentikan regresi.
Buat harness evaluasi di atas gold set yang berlabel. precision_at_k(retrieved, relevant, k) untuk retrieval dan answer_accuracy(predicted, expected, mode) (contains / exact) untuk jawaban. evaluate(config) menjalankan gold set (dengan fungsi retriever dan answerer, k, mode) dan mengembalikan dict metrics berisi rata-rata (n, precision_at_k, answer_accuracy), aman jika kosong. regression_gate(old, new) mengembalikan True hanya jika akurasi jawaban tidak turun.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.