Silabus Pelajaran 170 dari 250 · Evaluasi & Pengujian LLM
Evaluasi & Pengujian LLM

Gerbang Regresi Prompt

Kamu punya pembuat skor (exact match, F1, juri LLM). Bagian terakhir mengubah mereka menjadi gate: keputusan ya/tidak yang dijalankan CI kamu pada setiap perubahan prompt supaya "perubahan kecil" tidak bisa memperburuk keadaan secara diam-diam. Ini adalah perbedaan antara measuring kualitas dan defending kualitas tersebut.

("Regression" di sini berarti perubahan ke arah yang lebih buruk, makna software sehari-hari, bukan teknik pemodelan dari modul ML.)

Kamu membandingkan dua jalannya di set eval yang SAMA: baseline (prompt di produksi) dan candidate (perubahanmu), sebagai dua daftar skor per-contoh di [0, 1]. Gate memblokir perubahan kecuali jika lolos tiga ambang batas:

  • Tidak ada penurunan keseluruhan: skor rata-rata kandidat setidaknya sama dengan rata-rata baseline (toleransi kecil menyerap noise).
  • Beberapa kegagalan baru: jumlah contoh di mana skor kandidat lebih buruk dari baseline tetap dalam batas anggaran (satu kemenangan besar tidak boleh menutupi beberapa regresi kecil).
  • A floor: rata-rata minimum absolut, jika kamu mengaturnya.

Buat regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) yang mengembalikan dict laporan dengan baseline_mean, candidate_mean, delta (candidate dikurangi baseline), regressions (jumlah indeks di mana candidate[i] < baseline[i] - 1e-9), dan passed (sebuah bool, True hanya jika SEMUA bar sudah selesai). Kedua list memiliki panjang yang sama. Tekan Run untuk membatasi candidate prompt.

Giliranku

Tulis regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) di atas dua list skor per-contoh dengan panjang yang sama. Kembalikan {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"} di mana delta = candidate_mean - baseline_mean, regressions menghitung indeks dengan candidate[i] < baseline[i] - 1e-9, dan passed bernilai True hanya jika candidate_mean >= baseline_mean - tol DAN regressions <= max_regressions DAN (min_mean is None atau candidate_mean >= min_mean).

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.