Regresyon Kapısı
Bu final, ve özgeçmişindeki o satır: bir prompt-eval harness + regression gate inşa etti. Skorlayıcıların (ders 1) ve bir judge parser'ın (ders 2) var. Şimdi parçayı birbirine bağlıyorsun ki bu CI: her prompt değişiminde çalışan ve kalite düştüğünde merge işlemini engelleyen bir gate olsun. Bu, bir ekip arkadaşının "küçük bir değişikliğinin" üretim ortamında doğruluğu sessizce çökertmesini engelleyen şeydir -> hiç yorulmayan otomatik reviewer.
Model: elinde bir altın küme ve bu küme üzerinde tahmin listesi üreten iki farklı istem versiyonu var. Buradaki doğruluk, tahminlerin tam olarak altın cevaba (stripped) uyan oranıdır. Önce ikisini karşılaştır:
compare(v1_preds, v2_preds, golds)->{"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, burada her bir doğrulukgolds'ye karşı tam eşleşme oranıdır vedelta, v2'nin v1'e göre ne kadar hareket ettiğidir. Pozitif bir delta adayın geliştiği anlamına gelir; negatif ise gerilediği anlamına gelir.
Sonra kapının kendisi. CI'da gürültü için beklemezsin -> min_delta eşiği, bir adayın reddedilmeden önce çok küçük, tolerans dahilinde bir miktar düşmesine (genellikle 0.0, yani "kötüleşmemeli" anlamına gelir) izin verir:
gate(baseline, candidate, min_delta)->baselinevecandidateher biri bir(preds, golds)çiftidir. Her ikisini de tam eşleşme doğruluğu olarak puanla,delta = candidate_acc - baseline_acchesapla ve{"pass": bool, "delta": delta, "report": str}döndür. kapısıdelta >= min_deltave fails durumunda passes olur.
report, geliştiricinin CI logunda gördüğü, insan tarafından okunabilir tek satırlık bir ifadedir. Sonucu ve sayıları belirtmesini sağla, örneğin "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" veya bir FAIL: ... varyantı. Testler, raporun boolean ile eşleşen PASS veya FAIL ile başlamasını ve her iki doğruluğu da belirtmesini kontrol eder, bu yüzden tam ifade senin seçimine kalmış ama gerçekler içinde olmalı.
Somut olarak: 0.8 seviyesinde bir baz, min_delta=0.0 -> delta -0.2 ile 0.6 seviyesinde bir aday, fails kapısı, birleştirme engelleniyor. Bunları yer değiştir ve aday iyileşir -> passes kapısı. "Prompt daha iyi görünüyor" ifadesini "prompt kanıtlanabilir şekilde daha kötü değil, yoksa build kırmızıdır" ifadesine dönüştürmek için CI içine bağladığın şey bu tek boolean değeridir. Bir iyileştirmeyi ve bir gerilemeyi kapıdan geçirmek için Run tuşuna bas.
CI gerileme kapısını kur. compare(v1_preds, v2_preds, golds) yaz: her değerin tam eşleşme doğruluğu (kırpılmış altın cevaba eşit tahminlerin oranı) olduğu ve delta = v2 - v1 olan {"v1", "v2", "delta"} döndürsün. İki (preds, golds) çifti alıp {"pass": bool, "delta": float, "report": str} döndüren ve ancak delta >= min_delta ise geçen gate(baseline, candidate, min_delta) yaz. Rapor PASS/FAIL ile başlamalı (boolean'la eşleşerek) ve iki doğruluğu da, her biri üç ondalıkla yazılmış olarak anmalı ("%.3f", yani 0.5 0.500 olarak görünür). Bir gerileme kapıdan kalmalı; bir iyileşme geçmeli.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.