İstemleri Değerlendirme (Altın Küme Üzerindeki Doğruluk)
"Yeni prompt daha iyi hissettiriyor" bir cevap değildir. Bilmek için bir altın set tutarsın: güvendiğin doğru çıktılarla eşleşmiş girdiler. Promptu girdiler üzerinde çalıştırırsın, her tahmini kendi altın cevabıyla karşılaştırırsın ve bir sayı raporlarsın. Kendini kandırmadan prompt v1 ile v2'yi karşılaştırma şeklin o sayıdır.
Skorlayıcıyı sen oluşturacaksın. score_prediction(pred, gold), değerlerini büyük/küçük harf duyarsız şekilde ve etrafındaki boşlukları görmezden gelerek karşılaştırır; eşleşme varsa 1.0, aksi takdirde 0.0 döndürür , çünkü "Yes", "yes" ve " yes " pratikte hepsi aynı cevaptır.
evaluate(predictions, golds) iki listeyi eş zamanlı olarak gezer, her çifti puanlar ve bir özet döndürür:
evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3} accuracy değerini 4 basamağa yuvarla. boş küme güvenli hale getir: sıfır altın, sıfıra bölmek yerine {"accuracy": 0.0, "correct": 0, "total": 0} döndürür, çünkü eval setleri filtrelenir ve harness boş bir slice üzerinde çökmesin istersin.
Gizli testlerden biri, evaluate kodunu 50 rastgele oluşturulmuş tahmin/altın seti üzerinde çalıştırır ve bunu testte hesaplanan bir referansla karşılaştırır. Görünür durumların bir arama tablosu buna dayanamaz, amaç da bu: cevapları ezberlemiyorsun, gerçek bir puanlayıcı inşa ediyorsun. Puanlamak için Run tuşuna bas.
Büyük/küçük harf ve etraftaki boşlukları görmezden gelerek iki değer eşleşiyorsa 1.0, eşleşmiyorsa 0.0 döndüren score_prediction(pred, gold) yaz. Hassasiyeti 4 basamağa yuvarlayarak ve boş bir küme durumunda tüm sıfırları döndüren (çökme yapmayan) {"accuracy", "correct", "total"} döndüren evaluate(predictions, golds) yaz.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.