Bir Prompt Regresyon Kapısı
Elin (tam eşleşme, F1, bir LLM hakemi) var. Son parça onları bir gate haline getiriyor: her prompt değişikliğinde CI'ın çalıştırdığı bir evet/hayır kararı, böylece "küçük bir düzeltme" işleri sessizce asla daha kötü hale getiremez. Bu, measuring kalitesinden defending kalitesini korumaya geçişteki farktır.
("Regression" burada kötüye gidiş, yani günlük yazılım anlamı demek, ML modülündeki modelleme tekniği değil.)
AYNI eval seti üzerindeki iki çalışmayı karşılaştırıyorsun: baseline (üretimdeki prompt) ve candidate (senin değişikliğin), bunları [0, 1] içindeki örnek başına skor listeleri olarak görüyorsun. Gate, üç barı geçmedikçe değişikliği engeller:
- Genel bir düşüş yok: adayın ortalama puanı en az baz hattının ortalamasıdır (küçük bir tolerans gürültüyü emer).
- Birkaç yeni hata: adayın temel değerden daha düşük puan aldığı örnek sayısı bir bütçe dahilinde kalıyor (bir büyük başarı birkaç sessiz gerilemeyi gizlememeli).
- A floor: eğer bir tane ayarlarsan, mutlak minimum ortalama.
regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) döndüren bir rapor dict'i oluştur: baseline_mean, candidate_mean, delta (aday eksi baz çizgi), regressions (candidate[i] < baseline[i] - 1e-9 olan indekslerin sayısı) ve passed (bir bool, sadece TÜM çubuklar temizlendiğinde True). İki liste aynı uzunlukta. Bir aday prompt'u engellemek için Run tuşuna bas.
Örnek başına puanların iki eşit uzunluktaki listesi üzerine regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) yaz. delta = candidate_mean - baseline_mean, regressions'nin candidate[i] < baseline[i] - 1e-9 ile kaç tane indeks saydığı ve passed'nin sadece candidate_mean >= baseline_mean - tol VE regressions <= max_regressions VE (min_mean is None veya candidate_mean >= min_mean) durumunda True olduğu {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"}'yi döndür.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.