Ortalama Karşılıklı Sıralama
Precision ve recall, en üstteki k kısmını bir torba gibi görür: 1. konumdaki ilgili bir belge, 5. konumdakinden aynı sayılır. Ama sıralama önemlidir. Bir kullanıcı yukarıdan aşağıya okur ve bir RAG promptu genellikle ilk chunk üzerine en çok dayanır. Mean Reciprocal Rank (MRR), ilgili bir sonuç elde etmeyi high ödüllendirir.
Tek bir sorgu için reciprocal rank değeri, sıralamayı 1'den başlatarak 1 / (rank of the first relevant doc) olur. Eğer ilk ilgili belge 1. konumdaysa 1.0 puanı alırsın; 2. konumdaysa 0.5 puanı alırsın; 3. konumdaysa 1/3. Eğer hiç ilgili belge çıkmazsa puan 0.0 olur. Sadece ilk sonuç önemli, bu da "cevap kullanıcının (veya modelin) bakacağı yerde mi göründü?" sorusu için tam olarak doğru modeldir.
retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5MRR sadece tüm sorgu seti üzerindeki bu karşılıklı sıralamaların ortalamasıdır. 1.0 ve 0.5 puanı alan iki sorgu 0.75 değerinde bir MRR verir. Bu, her sorgunun genellikle ilk sırada çıkmasını istediğin tek bir doğru cevabı olduğu soru-cevap geri getirme işlemi için standart başlık sayısıdır.
Ne yapacağın.
reciprocal_rank(retrieved, relevant)-> sıralı listeyi gez,relevantiçinde bir doküman bulduğun an1.0 / rankdöndür (sıralamalar 1'den başlar). Eğer hiç bulamazsan0.0döndür.mrr(queries)->queriesbir(retrieved, relevant)listesidir; her çiftin ters sıralamasını ortala. Boş bir liste çökme yerine0.0döndürür.
İndeksin zaten sıralama olması için enumerate(retrieved, start=1) kullan. 'ye bas. İki sorguyu puanlamak ve ortalamayı görmek için 'yi çalıştır.
Sıralar 1'den sayılmak üzere 1.0 / (rank of the first relevant doc) (ilk ilgili belgenin sırası), ya da hiçbir ilgili belge getirilmediyse 0.0 döndüren reciprocal_rank(retrieved, relevant) yaz. Sonra queries'in bir (retrieved, relevant) çiftleri listesi olduğu, karşılıklı sıralarının ortalamasını (ve boş bir liste için 0.0) döndüren mrr(queries) yaz.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.