Müfredat 250 dersinden 170. · LLM Değerlendirmeleri ve Testleri
LLM Değerlendirmeleri ve Testleri

Bir Prompt Regresyon Kapısı

Elin (tam eşleşme, F1, bir LLM hakemi) var. Son parça onları bir gate haline getiriyor: her prompt değişikliğinde CI'ın çalıştırdığı bir evet/hayır kararı, böylece "küçük bir düzeltme" işleri sessizce asla daha kötü hale getiremez. Bu, measuring kalitesinden defending kalitesini korumaya geçişteki farktır.

("Regression" burada kötüye gidiş, yani günlük yazılım anlamı demek, ML modülündeki modelleme tekniği değil.)

AYNI eval seti üzerindeki iki çalışmayı karşılaştırıyorsun: baseline (üretimdeki prompt) ve candidate (senin değişikliğin), bunları [0, 1] içindeki örnek başına skor listeleri olarak görüyorsun. Gate, üç barı geçmedikçe değişikliği engeller:

  • Genel bir düşüş yok: adayın ortalama puanı en az baz hattının ortalamasıdır (küçük bir tolerans gürültüyü emer).
  • Birkaç yeni hata: adayın temel değerden daha düşük puan aldığı örnek sayısı bir bütçe dahilinde kalıyor (bir büyük başarı birkaç sessiz gerilemeyi gizlememeli).
  • A floor: eğer bir tane ayarlarsan, mutlak minimum ortalama.

regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) döndüren bir rapor dict'i oluştur: baseline_mean, candidate_mean, delta (aday eksi baz çizgi), regressions (candidate[i] < baseline[i] - 1e-9 olan indekslerin sayısı) ve passed (bir bool, sadece TÜM çubuklar temizlendiğinde True). İki liste aynı uzunlukta. Bir aday prompt'u engellemek için Run tuşuna bas.

Senin sıran

Örnek başına puanların iki eşit uzunluktaki listesi üzerine regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) yaz. delta = candidate_mean - baseline_mean, regressions'nin candidate[i] < baseline[i] - 1e-9 ile kaç tane indeks saydığı ve passed'nin sadece candidate_mean >= baseline_mean - tol VE regressions <= max_regressions VE (min_mean is None veya candidate_mean >= min_mean) durumunda True olduğu {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"}'yi döndür.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.