Precision@k dan Recall@k
Sebelum kamu mengulik satu prompt pun, jawab pertanyaan yang lebih sulit: apakah retriever benar-benar menemukan dokumen yang tepat?Sistem RAG punya dua bagian, retrieval dan generation, dan keduanya bisa gagal dengan cara yang berbeda. Jika chunk yang salah muncul, sebanyak apa pun polesan prompt tidak akan menolongmu. Jadi kita mengukur retrieval secara terpisah, terhadap set berlabel dari relevant dokumen per query, dengan dua angka yang sudah dihafal setiap search engineer.
Precision@k bertanya: dari k dokumen teratas yang saya kembalikan, berapa bagian yang sebenarnya relevan? Ini adalah metrik "berapa banyak sampah yang saya tunjukkan ke pengguna".
precision@k = (relevant docs in the top k) / (number of docs in the top k)Recall@k menanyakan hal yang sebaliknya: dari semua dokumen yang were relevan, berapa bagian yang berhasil aku munculkan di posisi k? Ini adalah metrik "berapa banyak yang aku lewatkan".
recall@k = (relevant docs in the top k) / (total number of relevant docs)Contoh konkretnya. Kamu mengambil ["a", "b", "c"] dan set yang relevan adalah {"a", "c"}. Di k=3, dua dari tiga dokumen yang dikembalikan relevan, jadi precision adalah 2/3. Kedua dokumen relevan ditemukan, jadi recall adalah 1.0. Keduanya bergerak dalam tegangan: perluas k dan recall naik sementara precision biasanya turun.
Apa yang akan dibangun. Dua fungsi murni:
precision_at_k(retrieved, relevant, k)-> bagian dari IDkteratas yang ada direlevant. Bagi dengan jumlah dokumen yang benar-benar kamu punya dikteratas (jadi daftar pendek ataukbesar tidak akan terbagi dengan angka yang salah).recall_at_k(retrieved, relevant, k)-> bagian darirelevantyang ditangkap dikatas, dibagi denganlen(relevant).
Perhatikan batas yang diperiksa tes: k lebih besar dari daftar yang diambil, dan himpunan relevan kosong (kembalikan 0.0, jangan pernah bagi dengan nol). Anggap relevant sebagai himpunan untuk keanggotaan cepat. Di harness asli kamu akan memasukkan output vector store kamu; di sini mereka dinilai langsung pada daftar berlabel.
Satu catatan tentang scope: modul ini membahas Precision@k, Recall@k, MRR, dan NDCG. Tim pencarian sering juga melaporkan MAP (mean average precision), yang merata-ratakan precision yang diukur pada setiap hit yang relevan di seluruh query set; keempat metrik di sini adalah titik awal yang paling umum.
Tekan Run untuk mendapatkan peringkat.
Tulis precision_at_k(retrieved, relevant, k) (bagian dari ID k teratas yang ada di set relevant, dibagi dengan jumlah docs yang benar-benar ada di k teratas) dan recall_at_k(retrieved, relevant, k) (bagian dari set relevant yang tertangkap di k teratas, dibagi dengan len(relevant)). Keduanya harus mengembalikan 0.0 pada edge kosong (retrieval kosong, set relevan kosong) daripada error.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.