Doğrulama Tabanlı Değerlendirmeler (tam eşleşme ve içerir)
Promptu değiştirdin ve çıktı "daha iyi hissettiriyor." Bu his bir sonuç değil. Bir evalın görevi onu bir pull request içine koyabileceğin bir sayıyla değiştirmektir: bu prompt gold set üzerinde 0.86 puan aldı, eski olan 0.74 aldı. Herhangi bir süslü şeye başvurmadan önce, iş beygiri olan eval en ucuzudur: bilinen doğru cevapları olan etiketli bir girdi seti al, sistemini çalıştır ve kaç tanesini doğru yaptığını say.
Püf noktası "doğru"nun ne anlama geldiğine karar vermek. Bir LLM neredeyse hiçbir zaman altın stringü byte byte döndürmez. Nokta ekler, bir kelimeyi büyük harfe çevirir, cevabı bir cümle içine alır. Bu yüzden bir match mode seçersin:
- exact -> normalizasyon yaptıktan sonra (küçük harf, etraftaki boşlukları temizle) tahmin altın cevapla eşleşiyor. Bunu kısa, kapalı cevaplar için kullan: bir etiket, bir evet/hayır, bir şehir.
- içerir -> altın cevap bir yerde görünür tahminin içinde. Modelin konuşkan olmasına izin verildiğinde bunu kullan: "Başkent Paris'tir." ifadesi hala altın
parisiçin doğru sayılmalıdır.
Normalizasyon önemli. O olmadan, "Paris" ve "paris" hata olarak puanlanır ve eval sana yalan söyler. İşte bir karşılaştırmanın şekli:
def score_one(pred, gold, mode):
p = pred.strip().lower()
g = gold.strip().lower()
if mode == "exact":
return 1.0 if p == g else 0.0
if mode == "contains":
return 1.0 if g in p else 0.0
raise ValueError("unknown mode: " + mode)Accuracy sadece bu örnek başına puanların ortalamasıdır. Gerçek bir harness içinde predictions canlı bir model çağrısından gelir; burada puanlama matematiği üzerinden değerlendiriliyorsun, bu kısım tam olarak doğru olmalıdır. Her güvenlik odaklı harness içinde iki kontrol daha bulunur: bir allow-list (her çıktı sabit bir etiket kümesinden biri olmalıdır) ve bir forbidden-pattern taraması (hiçbir çıktı "as an AI" gibi yasaklı bir ifade içeremez).
Ne yapacağın.
evaluate(predictions, gold, mode)-> iki paralel liste üzerindeki mean exact-or-contains skorunun ortalaması,rounded 4 basamağa kadar. Boş bir liste0.0döndürür, asla çökmez. Bilinmeyen bir moddaValueErrorfırlat.label_in_set(outputs, allowed)->{"passed", "failed"}allowedkümesinde kaç tane temizlenmiş çıktı olduğunu sayıyor.has_forbidden(text, patterns)->Trueeğerpatternsiçindeki herhangi bir regextext. içinde bulunursa
Altın set kazanmak için her iki modda da Run tuşuna bas.
İki paralel liste üzerindeki ortalama skoru döndüren evaluate(predictions, gold, mode) yaz. Burada mode ya 'exact' (normalize edilmiş eşitlik) ya da 'contains' (gold tahminin içinde görünür) olsun. Doğruluğu strip().lower() ve round ile 4 basamağa normalize et, boş bir kümede 0.0 döndür ve bilinmeyen bir modda ValueError hatası ver. Ayrıca temizlenmiş çıktıları allowed kümesiyle karşılaştırarak sayan label_in_set(outputs, allowed) -> {'passed', 'failed'} ve text içinde herhangi bir regex deseni varsa büyük küçük harf duyarlılığını görmezden gelerek (böylece as an ai de "As an AI" ifadesini yakalar) has_forbidden(text, patterns) -> True yaz.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.