Precision@k ve Recall@k
Tek bir promptu bile ayarlamadan önce, daha zor bir soruyu cevapla: retriever doğru belgeleri bulabiliyor mu? Bir RAG sistemi iki yarıdan oluşur: retrieval ve generation, ve bunlar farklı şekillerde başarısız olur. Eğer yanlış chunklar dönerse, ne kadar prompt cilalarsan cilala seni kurtaramaz. Bu yüzden retrievalı, sorgu başına etiketlenmiş bir relevant belge seti üzerinden, her arama mühendisinin ezbere bildiği iki sayı ile ayrı ayrı ölçeriz.
Precision@k soruyor: döndürdüğüm en iyi k belgelerinden kaçı gerçekten ilgiliydi? Bu, kullanıcıya ne kadar çöp gösterdiğimi ölçen metriktir.
precision@k = (relevant docs in the top k) / (number of docs in the top k)Recall@k tam tersini soruyor: were ilgili olan tüm belgeler arasından, üstteki k kısmında kaçını ortaya çıkarabildim? Bu, "ne kadarını kaçırdım" metriğidir.
recall@k = (relevant docs in the top k) / (total number of relevant docs)Somut bir örnek yapalım. ["a", "b", "c"] getiriyorsun ve ilgili küme {"a", "c"}. k=3 noktasında, dönen üç belgeden ikisi ilgili, bu yüzden precision 2/3. Her iki ilgili belge de bulundu, bu yüzden recall 1.0. İkisi bir gerilim içinde hareket eder: k genişletirsen recall yükselir, ancak precision genellikle düşer.
Ne yapacağın. İki saf fonksiyon:
precision_at_k(retrieved, relevant, k)-> üsttekikalınan ID'lerinrelevantiçinde olma oranı. Bunu, üsttekikiçinde gerçekten kaç dokümanın olduğuna böl (böylece kısa bir liste veya büyük birkasla yanlış sayıya bölünmez).recall_at_k(retrieved, relevant, k)-> üstkiçindekirelevantoranı,len(relevant). bölünerek hesaplanır.
Testlerin kontrol ettiği sınırları izle: kalınan listeden büyük, ve bir boş ilgili küme (0.0 döndür, asla sıfıra bölme). relevant hızlı üyelik için bir küme olarak ele al. Gerçek bir test düzeneğinde bunlara vektör deposunun çıktısını beslerdin; burada doğrudan etiketli listeler üzerinden değerlendiriliyorlar.
Kapsam hakkında bir not: bu modül Precision@k, Recall@k, MRR ve NDCG konularını kapsıyor. Arama ekipleri genellikle her bir sorgu kümesindeki her ilgili vuruşta ölçülen kesinliğin ortalamasını alan MAP (mean average precision) değerini de raporlar; buradaki dört metrik en yaygın başlangıç noktasıdır.
Sıralama almak için Run tuşuna bas.
precision_at_k(retrieved, relevant, k) (üstteki k geri alınan ID'lerin relevant kümesindeki oranı, gerçekte üstteki k içinde bulunan doküman sayısına bölünmüş) ve recall_at_k(retrieved, relevant, k) (relevant kümesinin üstteki k içinde yakalanan oranı, len(relevant)'ye bölünmüş) yaz. Her ikisi de çökmek yerine boş kenarlarda (boş geri alma, boş ilgili küme) 0.0 döndürmeli.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.