Asistanı Değerlendir (P@k + Answer Accuracy + Gate)
Bu, özgeçmişindeki ikinci satırı kazandıran ders: ve değerlendirilen. Herkes bir RAG demosu kurabilir. Bir junior ile üretim asistanı olarak işe alacağın kişi arasındaki farkı ölçme ve kötü bir değişikliğin yayılmasını durdurma yeteneği belirler. Değerlendirme düzeneğini ve regresyon kapısını inşa edeceksin.
gold set ile değerlendirme yapıyorsun: her durumu bir sorgu, ilgili makalelerin idleri ve beklenen cevap metni içeren küçük etiketli bir liste. İki metrik ailesi:
- Retrieval kalitesi --
precision_at_k: retriever'ın döndürdüğü ilk k id arasından kaçı ilgili. Bu, botun doğru makalelere bakıp bakmadığını söyler. - Cevap kalitesi -- üretilen cevabın beklenen metne göre doğruluğu, iki modda:
contains(beklenen parçacık cevapta görünür, büyük/küçük harf duyarsız) veexact(budanmış tam eşleşme).containsserbest metin cevapları için daha esnek ve gerçekçi olanıdır.
Bunları oluştur:
precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config) # -> a metrics dict over the whole gold set
regression_gate(old, new) # -> True if safe to ship, False if it regressedprecision_at_k: getirilen ilk k idlerinden ilgili kümede olanların oranı; 0.0 boş bir getirme için. answer_accuracy: modu dikkate alarak bir tahmin için 1.0 veya 0.0.
evaluate(config) her şeyi birleştiriyor. config sözlüğü gold listesini, bir retriever fonksiyonunu (query -> ranked ids), bir answerer fonksiyonunu (query -> text) ve k ile mode ayarlarını taşır. Her gold durumunu çalıştır ve en az n (puanlanan durumlar), precision_at_k (durumlar üzerinden ortalama, 4 basamağa yuvarlanmış) ve answer_accuracy (ortalama, 4 basamağa yuvarlanmış) içeren bir sözlük döndür. empty gold set hata vermemeli, sıfır döndür.
regression_gate(old, new) bir pull request içine bağlayacağın CI korumasıdır: yeni çalışma kısıtlı metrikte (varsayılan olarak answer_accuracy) kötüleşmediyse sadece True döndür. Eşit veya daha iyi olması sorun değil, bir düşüş False döndürür. Bu, gerçek hayatta bir prompt değişikliğinin kaliteyi sessizce çökertmesini engelleyen şeydir. Mükemmel bir bot ve bozuk bir botu puanlamak ve korumanın regresyonu durdurmasını izlemek için Run tuşuna bas.
Değerlendirme düzeneklerini etiketli bir altın küme üzerinde kur. Veri çekme için precision_at_k(retrieved, relevant, k), cevaplar için answer_accuracy(predicted, expected, mode) (contains / exact) kullan. evaluate(config) altın kümesini çalıştırır (retriever ve answerer fonksiyonları, k, mode ile) ve boş değerlere karşı güvenli ortalamalardan oluşan bir metrics dict döndürür (n, precision_at_k, answer_accuracy). regression_gate(old, new), cevap doğruluğu düşmediyse sadece True döndürür.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.