Müfredat 250 dersinden 162. · RAG ve Retrieval Değerlendirmesi
RAG ve Retrieval Değerlendirmesi

Ortalama Karşılıklı Sıralama

Precision ve recall, en üstteki k kısmını bir torba gibi görür: 1. konumdaki ilgili bir belge, 5. konumdakinden aynı sayılır. Ama sıralama önemlidir. Bir kullanıcı yukarıdan aşağıya okur ve bir RAG promptu genellikle ilk chunk üzerine en çok dayanır. Mean Reciprocal Rank (MRR), ilgili bir sonuç elde etmeyi high ödüllendirir.

Tek bir sorgu için reciprocal rank değeri, sıralamayı 1'den başlatarak 1 / (rank of the first relevant doc) olur. Eğer ilk ilgili belge 1. konumdaysa 1.0 puanı alırsın; 2. konumdaysa 0.5 puanı alırsın; 3. konumdaysa 1/3. Eğer hiç ilgili belge çıkmazsa puan 0.0 olur. Sadece ilk sonuç önemli, bu da "cevap kullanıcının (veya modelin) bakacağı yerde mi göründü?" sorusu için tam olarak doğru modeldir.

retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5

MRR sadece tüm sorgu seti üzerindeki bu karşılıklı sıralamaların ortalamasıdır. 1.0 ve 0.5 puanı alan iki sorgu 0.75 değerinde bir MRR verir. Bu, her sorgunun genellikle ilk sırada çıkmasını istediğin tek bir doğru cevabı olduğu soru-cevap geri getirme işlemi için standart başlık sayısıdır.

Ne yapacağın.

  • reciprocal_rank(retrieved, relevant) -> sıralı listeyi gez, relevant içinde bir doküman bulduğun an 1.0 / rank döndür (sıralamalar 1'den başlar). Eğer hiç bulamazsan 0.0 döndür.
  • mrr(queries) -> queries bir (retrieved, relevant) listesidir; her çiftin ters sıralamasını ortala. Boş bir liste çökme yerine 0.0 döndürür.

İndeksin zaten sıralama olması için enumerate(retrieved, start=1) kullan. 'ye bas. İki sorguyu puanlamak ve ortalamayı görmek için 'yi çalıştır.

Senin sıran

Sıralar 1'den sayılmak üzere 1.0 / (rank of the first relevant doc) (ilk ilgili belgenin sırası), ya da hiçbir ilgili belge getirilmediyse 0.0 döndüren reciprocal_rank(retrieved, relevant) yaz. Sonra queries'in bir (retrieved, relevant) çiftleri listesi olduğu, karşılıklı sıralarının ortalamasını (ve boş bir liste için 0.0) döndüren mrr(queries) yaz.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.