Gerbang Regresi
Ini adalah bagian akhir, dan baris di resume kamu: membangun prompt-eval harness + regression gate. Kamu punya scorers (lesson 1) dan judge parser (lesson 2). Sekarang kamu menghubungkan bagian yang membuatnya CI: sebuah gate yang berjalan pada setiap perubahan prompt dan memblokir merge jika kualitas turun. Inilah yang mencegah "small tweak" rekan timmu merusak akurasi di produksi secara diam-diam -> reviewer otomatis yang tidak pernah lelah.
Modelnya: kamu punya set emas, dan dua versi prompt yang masing-masing menghasilkan daftar prediksi di atas set tersebut. Akurasi di sini hanyalah fraksi prediksi yang cocok persis dengan jawaban emas (stripped). Pertama, bandingkan keduanya:
compare(v1_preds, v2_preds, golds)->{"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, di mana setiap akurasi adalah tingkat kecocokan tepat terhadapgoldsdandeltaadalah seberapa banyak v2 bergerak relatif terhadap v1. Delta positif berarti kandidat meningkat; negatif berarti menurun.
Lalu gerbangnya sendiri. Di CI kamu tidak memblokir noise -> ambang batas min_delta membiarkan kandidat turun sedikit dalam jumlah yang ditoleransi (seringkali 0.0, yang berarti "tidak boleh lebih buruk") sebelum ditolak:
gate(baseline, candidate, min_delta)->baselinedancandidatemasing-masing adalah pasangan(preds, golds). Skor keduanya sebagai exact-match accuracy, hitungdelta = candidate_acc - baseline_acc, dan kembalikan{"pass": bool, "delta": delta, "report": str}. Gate passes ketikadelta >= min_deltadan fails jika tidak.
report adalah satu baris yang bisa dibaca manusia yang dilihat pengembang di log CI. Buatlah untuk menyatakan hasil dan angka, contohnya "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" atau varian FAIL: .... Tes memeriksa bahwa laporan dimulai dengan PASS atau FAIL yang sesuai dengan boolean dan menyebutkan kedua akurasi, jadi pilihan kata tepatnya ada di tanganmu tapi fakta harus ada di dalamnya.
Secara konkret: sebuah baseline di 0.8 dan kandidat di 0.6 dengan min_delta=0.0 -> delta -0.2, gate fails, penggabungan terhambat. Tukar keduanya dan kandidat membaik -> gate passes. Boolean tunggal itu adalah yang kamu hubungkan ke CI untuk mengubah "prompt tampak lebih baik" menjadi "prompt terbukti tidak lebih buruk, atau build menjadi merah." Tekan Run untuk membatasi peningkatan dan regresi.
Bangun gate regresi CI. Tulis compare(v1_preds, v2_preds, golds) yang mengembalikan {"v1", "v2", "delta"} di mana setiap nilai adalah akurasi exact-match (fraksi prediksi yang sama dengan gold yang sudah di-strip) dan delta = v2 - v1. Tulis gate(baseline, candidate, min_delta) yang mengambil dua pasangan (preds, golds) dan mengembalikan {"pass": bool, "delta": float, "report": str}, lolos jika delta >= min_delta. Laporan harus dimulai dengan PASS/FAIL (sesuai dengan boolean) dan menyebutkan kedua akurasi, masing-masing ditulis dengan tiga desimal ("%.3f", jadi 0.5 muncul sebagai 0.500). Regresi harus gagal di gate; peningkatan harus lolos.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.