Capstone: Laporan Evaluasi Retrieval
Kamu punya empat metrik. Sekarang hubungkan semuanya ke hal yang benar-benar dikirim oleh seorang engineer: sebuah retrieval eval report yang menjalankan kumpulan query berlabel melalui retriever dan memberikan skor. Ini adalah hasil nyata di balik baris resume "membangun dan mengevaluasi pipeline RAG," dan inilah yang membuatmu bisa bilang "retriever baru meningkatkan MRR dari 0.62 ke 1.0" alih-alih "rasanya lebih baik."
Harness ini punya tiga bagian yang bergerak. eval set adalah daftar kasus, masing-masing berupa dict seperti {"query": "refund policy", "relevant": {"d_refund"}}. retriever adalah callable retriever(query, k) apa pun yang mengembalikan daftar doc IDs yang sudah diurutkan (kamu memasukkannya, jadi laporan yang sama bisa menilai BM25 baseline, dense retriever, atau hybrid). Dan report memberikan skor pada setiap query di keempat metrik, lalu menggabungkannya.
def evaluate_retrieval(eval_set, retriever, k):
rows = []
failures = []
for case in eval_set:
retrieved = retriever(case["query"], k)
# score this query: P@k, R@k, RR, NDCG@k
# if the reciprocal rank is 0.0, the retriever missed -> record a failure
...
# roll rows into a pandas DataFrame, then return the means + the frame + failures
...Untuk NDCG pada ID yang diambil, ubah ranking menjadi graded relevance dengan cara sederhana: sebuah doc mendapat skor 1 jika ada di set relevan, jika tidak 0. Gunakan kembali fungsi yang sudah kamu buat: precision_at_k, recall_at_k, reciprocal_rank, dcg, dan ndcg_at_k.
Apa yang akan dibangun. evaluate_retrieval(eval_set, retriever, k) mengembalikan dict dengan:
mean_precision_at_k,mean_recall_at_k,mrr,mean_ndcg_at_k-> rata-rata setiap metrik di seluruh query, masing-masingrounded ke 4 tempat desimal.per_query-> sebuahpandas.DataFrame, satu baris per query, membawa metrik query tersebut (supaya kamu bisa lihat query mana yang anjlok).failures-> daftar kueri yang reciprocal rank-nya0.0(retriever tidak memunculkan apa pun yang relevan). Ini adalah daftar kerja debugging kamu.
Grader memeriksa angka agregat dengan nilai hitung manual, memastikan daftar kegagalan menyebutkan kueri yang tidak tercover, dan membuktikan bahwa retriever yang lebih baik mendapat skor lebih tinggi secara ketat -> pengecekan relasional yang tidak bisa dimanipulasi konstanta. Dalam sistem lengkap, model akan menjawab dari chunk yang dikembalikan oleh retriever pemenang, tapi langkah generasi itu adalah setengah lainnya dari pipeline; di sini kamu menilai retrieval secara mandiri. Tekan Run untuk mencetak scorecard.
Tulis evaluate_retrieval(eval_set, retriever, k). eval_set adalah list dari dict {"query", "relevant"}; retriever(query, k) mengembalikan list doc ID yang sudah diranking. Untuk setiap query, skor precision_at_k, recall_at_k, reciprocal_rank, dan ndcg_at_k (anggap doc yang diambil sebagai relevansi 1 jika ada di set relevan, jika tidak 0, dan buat ideal dari seluruh set relevan: satu 1 per dokumen relevan). Kembalikan dict dengan mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k (masing-masing dibulatkan ke 4 tempat desimal), sebuah per_query pandas DataFrame (satu baris per query), dan failures list dari setiap query yang reciprocal rank nya 0.0.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.