Altın Set + Puanlayıcılar
Yeni bir istem yayınladın ve daha iyi hissettiriyor. Ekip liderin önemli olan tek soruyu soruyor: ne kadar daha iyi, ve nereden biliyorsun? "His" kod incelemesinden sağ çıkmaz. İş, bulanık bir iddiayı savunabileceğin bir sayıya çevirmektir, ve her istem değerlendirme düzeneğinin temeli bir altın set (bilinen doğru cevaplarıyla eşleştirilmiş girdilerin listesi) artı bir puanlayıcıdır (bir modelin cevabının altın cevaba ne kadar yakın olduğunu söyleyen bir fonksiyon).
Bu üç parçalı bir projenin 1. dersi. Modülün sonunda gerçek bir CI gerileme kapılı istem değerlendirme düzeneğin olacak -> bir işe alım yöneticisinin özgeçmişte "istem değerlendirme düzeneği + gerileme kapısı kurdu" olarak gördüğü ve LLM özelliklerini sorumlu şekilde yayınlayabildiğini hemen anladığı türden bir şey. Bugün ölçü çubuğunu kuruyorsun: üç puanlayıcı ve birini bütün bir altın sete uygulayan çalıştırıcı.
Kapsam hakkında dürüst bir not: burada kurduğun düzenek ve gerileme kapısı mantığı gerçek ve aktarılabilir, ama hakem model sahte ve buradaki "doğruluk" tam eşleşme. Gerçek bir projede aynı parçaları canlı bir hakem modele ve daha zengin puanlayıcılara bağlardın.
Farklı görevler farklı puanlayıcılar gerektirir, bu yüzden üç tane kuruyorsun:
score_exact(pred, gold)-> ikisine de.strip()uygulandıktan sonra tahmin altın cevaba eşitse1.0, aksi halde0.0. Yalnızca tam eşleşmenin sayıldığı bir sınıflandırıcı ("positive" ve "negative") için doğru seçim.score_contains(pred, gold)-> altın dizgi tahminin içinde herhangi bir yerde geçiyorsa (büyük-küçük harf duyarsız, ikisi de kırpılmış)1.0, aksi halde0.0. Fazladan kelimelerin sorun olmadığı "cevap ana gerçekten bahsetti mi?" kontrolleri için iyi.token_f1(pred, gold)-> kelime örtüşmesine dayalı,[0.0, 1.0]aralığında kısmi puanlı bir skor; yakın bir ıskanın tam bir ıskayı yenmesi gereken serbest metin cevaplarının iş atı.
Token F1 nasıl çalışır. İki dizgiyi de küçük harfe çevir ve kelime token'larına böl. Tekrarları gözeterek kaç token paylaştıklarını say (token listelerini çoklu kümeler olarak ele al, yani collections.Counter ve onun & kesişimi senin dostun). Sonra:
overlap = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens) # of the words I said, how many were right?
recall = overlap / len(gold_tokens) # of the words I should have said, how many did I?
f1 = 2 * precision * recall / (precision + recall)Çözülmüş örnek: pred="the quick brown fox", gold="the lazy brown dog". the ve brown'ı paylaşıyorlar -> örtüşme 2. Kesinlik 2/4, duyarlılık 2/4, yani F1 0.5. Kenarlara dikkat et: taraflardan birinde sıfır token varsa, ya da örtüşme sıfırsa, F1 0.0'dır (asla sıfıra bölme).
Son olarak bir puanlayıcıyı bir değerlendirmeye çeviren çalıştırıcı:
run_suite(predictions, golds, scorer)-> her(pred, gold)çiftini verilenscorerfonksiyonuyla puanla ve{"score": mean_score, "per_case": [list of each case's score]}döndür. Boş bir set üzerindeki ortalama0.0'dır.
Puanlayıcıyı (sabit kodlamak yerine) içeri vermek, tek bir düzeneğin hem tam eşleşmeli sınıflandırıcıları hem serbest metin cevaplarını notlamasını sağlayan tasarımdır. Küçük bir altın seti üç farklı şekilde puanlamak için Çalıştır'a bas.
Bir prompt-eval düzeneğinin puanlama çekirdeğini oluştur. score_exact(pred, gold) (temizlenmiş tam eşleşmede 1.0 yoksa 0.0), score_contains(pred, gold) (temizlenmiş, küçük harfe çevrilmiş gold tahminin bir alt dizisi ise 1.0 yoksa 0.0) ve token_f1(pred, gold) (küçük harfe çevrilmiş kelime tokenları üzerinde token-overlap F1, her iki taraf boşsa veya örtüşme yoksa 0.0) yaz. Ardından boş bir suite üzerinde 0.0 ortalamasını döndüren {"score": mean, "per_case": [scores]} döndüren run_suite(predictions, golds, scorer) yaz.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.