Mean Reciprocal Rank
Precision dan recall memperlakukan k sebagai sebuah bag: dokumen relevan di posisi 1 dihitung sama dengan posisi 5. Tapi peringkat itu penting. Pengguna membaca dari atas, dan prompt RAG biasanya sangat bergantung pada chunk pertama. Mean Reciprocal Rank (MRR) memberi penghargaan pada hasil relevan yang didapat high.
Untuk satu kueri, reciprocal rank adalah 1 / (rank of the first relevant doc), dengan menghitung peringkat dari 1. Jika dokumen relevan pertama ada di posisi 1 kamu dapat skor 1.0; di posisi 2 kamu dapat skor 0.5; di posisi 3, 1/3. Jika tidak ada dokumen relevan yang muncul, skornya adalah 0.0. Hanya hit first yang berpengaruh, yang merupakan model tepat untuk "apakah jawabannya muncul di tempat pengguna (atau model) akan melihat?"
retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5MRR hanyalah rata-rata dari reciprocal ranks tersebut di seluruh set query. Dua query dengan skor 1.0 dan 0.5 menghasilkan MRR sebesar 0.75. Ini adalah angka utama standar untuk retrieval tanya-jawab, di mana setiap query biasanya punya satu jawaban benar yang ingin kamu munculkan pertama kali.
Apa yang akan dibangun.
reciprocal_rank(retrieved, relevant)-> telusuri daftar yang sudah diurutkan, dan saat kamu menemukan doc direlevantkembalikan1.0 / rank(peringkat mulai dari 1). Jika kamu tidak pernah menemukannya, kembalikan0.0.mrr(queries)->queriesadalah daftar pasangan(retrieved, relevant); hitung rata-rata reciprocal rank setiap pasangan. Daftar kosong mengembalikan0.0, bukan crash.
Gunakan enumerate(retrieved, start=1) supaya indeks sudah menjadi peringkat. Tekan Jalankan untuk menilai dua kueri dan lihat rata-ratanya.
Tulis reciprocal_rank(retrieved, relevant) yang mengembalikan 1.0 / (rank of the first relevant doc) dengan peringkat dihitung dari 1, atau 0.0 jika tidak ada dokumen relevan yang diambil. Lalu tulis mrr(queries) di mana queries adalah daftar pasangan (retrieved, relevant), mengembalikan rata-rata dari reciprocal ranks mereka (dan 0.0 untuk daftar kosong).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.