Bitirme Projesi: Bir Retrieval Eval Raporu
Dört metriğe sahipsin. Şimdi bunları bir mühendisin gerçekten teslim ettiği şeye bağla: etiketli bir sorgu setini bir retriever üzerinden çalıştıran ve bir puan kartı döndüren bir retrieval eval report. Bu, "bir RAG pipeline'ı kurdum ve değerlendirdim" özgeçmiş satırının arkasındaki eserdir ve "daha iyi hissettiriyor" demek yerine "yeni retriever MRR'ı 0.62'den 1.0'a çıkardı" demeni sağlayan şeydir.
Sistemin üç hareketli parçası var. Bir eval set her biri {"query": "refund policy", "relevant": {"d_refund"}} gibi bir dict olan durumların listesidir. Bir retriever doc ID'lerinden oluşan sıralı bir liste döndüren herhangi bir retriever(query, k) çağrılabilir objedir (onu sen içeri aktarırsın, bu yüzden aynı rapor bir BM25 baseline, bir dense retriever veya bir hybrid sistemini puanlayabilir). Ve report her sorguyu dört metriğin tamamında puanlar, sonra bunları birleştirir.
def evaluate_retrieval(eval_set, retriever, k):
rows = []
failures = []
for case in eval_set:
retrieved = retriever(case["query"], k)
# score this query: P@k, R@k, RR, NDCG@k
# if the reciprocal rank is 0.0, the retriever missed -> record a failure
...
# roll rows into a pandas DataFrame, then return the means + the frame + failures
...Getirilen ID'ler için NDCG hesaplarken sıralamayı basit yoldan dereceli alaka düzeyine dönüştür: bir belge ilgili kümedeyse 1, değilse 0 puanı alır. Oluşturduğun fonksiyonları tekrar kullan: precision_at_k, recall_at_k, reciprocal_rank, dcg ve ndcg_at_k.
Ne yapacağın. evaluate_retrieval(eval_set, retriever, k) şunları içeren bir dict döndüren:
mean_precision_at_k,mean_recall_at_k,mrr,mean_ndcg_at_k-> sorgular genelindeki her metriğin ortalaması, her birirounded 4 basamağa yuvarlanmış.per_query-> birpandas.DataFrame, her sorgu için bir satır, o sorgunun metriklerini taşıyan (böylece hangi sorgunun çöktüğünü gözle görebilirsin).failures-> geri dönüşsel sıralaması0.0olan sorguların listesi (retriever hiçbir ilgili sonuç döndürmedi). Bu senin hata ayıklama çalışma listen.
Değerlendirici toplam sayıları elle hesaplanan değerlerle karşılaştırır, hata listesinin kapsanmayan sorguyu adlandırdığını doğrular ve bir daha iyi bir retriever kesinlikle daha yüksek puan alır -> ilişkisel kontrolün hiçbir sabit tarafından taklit edilemeyeceğini kanıtlar. Tam bir sistemde bir model artık kazanan retriever'ın döndürdüğü parçalardan cevap verecekti, ancak o üretim adımı boru hattının diğer yarısıdır; burada sadece getirme işlemini değerlendiriyorsun. Skor kartını yazdırmak için Run tuşuna bas.
evaluate_retrieval(eval_set, retriever, k) yaz. eval_set, {"query", "relevant"} sözlüklerinden oluşan bir listedir; retriever(query, k) sıralanmış bir doc ID listesi döndürür. Her sorgu için precision_at_k, recall_at_k, reciprocal_rank ve ndcg_at_k skorlarını hesapla (getirilen bir doküman ilgili kümedeyse 1, değilse 0 olarak kabul et ve ideal skoru tüm ilgili kümeden oluştur: her ilgili doküman için bir tane 1). mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k (her biri 4 basamağa yuvarlanmış), bir per_query pandas DataFrame (her sorgu için bir satır) ve karşılıklı sıralaması 0.0 olan her sorgunun failures listesini döndür.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.