Gerbang Regresi Prompt
Kamu punya pembuat skor (exact match, F1, juri LLM). Bagian terakhir mengubah mereka menjadi gate: keputusan ya/tidak yang dijalankan CI kamu pada setiap perubahan prompt supaya "perubahan kecil" tidak bisa memperburuk keadaan secara diam-diam. Ini adalah perbedaan antara measuring kualitas dan defending kualitas tersebut.
("Regression" di sini berarti perubahan ke arah yang lebih buruk, makna software sehari-hari, bukan teknik pemodelan dari modul ML.)
Kamu membandingkan dua jalannya di set eval yang SAMA: baseline (prompt di produksi) dan candidate (perubahanmu), sebagai dua daftar skor per-contoh di [0, 1]. Gate memblokir perubahan kecuali jika lolos tiga ambang batas:
- Tidak ada penurunan keseluruhan: skor rata-rata kandidat setidaknya sama dengan rata-rata baseline (toleransi kecil menyerap noise).
- Beberapa kegagalan baru: jumlah contoh di mana skor kandidat lebih buruk dari baseline tetap dalam batas anggaran (satu kemenangan besar tidak boleh menutupi beberapa regresi kecil).
- A floor: rata-rata minimum absolut, jika kamu mengaturnya.
Buat regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) yang mengembalikan dict laporan dengan baseline_mean, candidate_mean, delta (candidate dikurangi baseline), regressions (jumlah indeks di mana candidate[i] < baseline[i] - 1e-9), dan passed (sebuah bool, True hanya jika SEMUA bar sudah selesai). Kedua list memiliki panjang yang sama. Tekan Run untuk membatasi candidate prompt.
Tulis regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) di atas dua list skor per-contoh dengan panjang yang sama. Kembalikan {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"} di mana delta = candidate_mean - baseline_mean, regressions menghitung indeks dengan candidate[i] < baseline[i] - 1e-9, dan passed bernilai True hanya jika candidate_mean >= baseline_mean - tol DAN regressions <= max_regressions DAN (min_mean is None atau candidate_mean >= min_mean).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.