Silabus Pelajaran 238 dari 250 · Proyek: Prompt Evaluation CI
Proyek: Prompt Evaluation CI

Gerbang Regresi

Ini adalah bagian akhir, dan baris di resume kamu: membangun prompt-eval harness + regression gate. Kamu punya scorers (lesson 1) dan judge parser (lesson 2). Sekarang kamu menghubungkan bagian yang membuatnya CI: sebuah gate yang berjalan pada setiap perubahan prompt dan memblokir merge jika kualitas turun. Inilah yang mencegah "small tweak" rekan timmu merusak akurasi di produksi secara diam-diam -> reviewer otomatis yang tidak pernah lelah.

Modelnya: kamu punya set emas, dan dua versi prompt yang masing-masing menghasilkan daftar prediksi di atas set tersebut. Akurasi di sini hanyalah fraksi prediksi yang cocok persis dengan jawaban emas (stripped). Pertama, bandingkan keduanya:

  • compare(v1_preds, v2_preds, golds) -> {"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, di mana setiap akurasi adalah tingkat kecocokan tepat terhadap golds dan delta adalah seberapa banyak v2 bergerak relatif terhadap v1. Delta positif berarti kandidat meningkat; negatif berarti menurun.

Lalu gerbangnya sendiri. Di CI kamu tidak memblokir noise -> ambang batas min_delta membiarkan kandidat turun sedikit dalam jumlah yang ditoleransi (seringkali 0.0, yang berarti "tidak boleh lebih buruk") sebelum ditolak:

  • gate(baseline, candidate, min_delta) -> baseline dan candidate masing-masing adalah pasangan (preds, golds). Skor keduanya sebagai exact-match accuracy, hitung delta = candidate_acc - baseline_acc, dan kembalikan {"pass": bool, "delta": delta, "report": str}. Gate passes ketika delta >= min_delta dan fails jika tidak.

report adalah satu baris yang bisa dibaca manusia yang dilihat pengembang di log CI. Buatlah untuk menyatakan hasil dan angka, contohnya "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" atau varian FAIL: .... Tes memeriksa bahwa laporan dimulai dengan PASS atau FAIL yang sesuai dengan boolean dan menyebutkan kedua akurasi, jadi pilihan kata tepatnya ada di tanganmu tapi fakta harus ada di dalamnya.

Secara konkret: sebuah baseline di 0.8 dan kandidat di 0.6 dengan min_delta=0.0 -> delta -0.2, gate fails, penggabungan terhambat. Tukar keduanya dan kandidat membaik -> gate passes. Boolean tunggal itu adalah yang kamu hubungkan ke CI untuk mengubah "prompt tampak lebih baik" menjadi "prompt terbukti tidak lebih buruk, atau build menjadi merah." Tekan Run untuk membatasi peningkatan dan regresi.

Giliranku

Bangun gate regresi CI. Tulis compare(v1_preds, v2_preds, golds) yang mengembalikan {"v1", "v2", "delta"} di mana setiap nilai adalah akurasi exact-match (fraksi prediksi yang sama dengan gold yang sudah di-strip) dan delta = v2 - v1. Tulis gate(baseline, candidate, min_delta) yang mengambil dua pasangan (preds, golds) dan mengembalikan {"pass": bool, "delta": float, "report": str}, lolos jika delta >= min_delta. Laporan harus dimulai dengan PASS/FAIL (sesuai dengan boolean) dan menyebutkan kedua akurasi, masing-masing ditulis dengan tiga desimal ("%.3f", jadi 0.5 muncul sebagai 0.500). Regresi harus gagal di gate; peningkatan harus lolos.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.