Mengevaluasi Prompt (Akurasi pada Gold Set)
"Prompt baru terasa lebih baik" bukan sebuah jawaban. Untuk mengetahuinya, kamu harus menyimpan gold set: input yang dipasangkan dengan output yang benar dan kamu percayai. Kamu menjalankan prompt pada input tersebut, membandingkan setiap prediksi dengan jawaban gold nya, dan melaporkan sebuah angka. Angka itu adalah cara kamu membandingkan prompt v1 ke v2 tanpa menipu diri sendiri.
Kamu akan membangun scorer. score_prediction(pred, gold) mengembalikan 1.0 untuk kecocokan dan 0.0 jika tidak, membandingkan tanpa membedakan huruf besar atau kecil dan mengabaikan spasi di sekitarnya, karena "Yes", "yes", dan " yes " semuanya adalah jawaban yang sama dalam praktiknya.
evaluate(predictions, golds) berjalan menyusuri kedua list secara bersamaan, memberi skor pada setiap pasangan, dan mengembalikan ringkasan:
evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}Bulatkan accuracy ke 4 tempat. Buat empty set aman: nol emas mengembalikan {"accuracy": 0.0, "correct": 0, "total": 0} daripada membagi dengan nol, karena eval sets difilter dan kamu tidak ingin harness crash pada slice kosong.
Salah satu tes tersembunyi menjalankan evaluate kamu pada 50 set prediksi/gold yang dibuat secara acak dan membandingkannya dengan referensi yang dihitung dalam tes. Tabel pencarian untuk kasus yang terlihat tidak akan lolos, dan itulah intinya: kamu sedang membangun scorer sungguhan, bukan menghafal jawaban. Tekan Run untuk menilai.
Tulis score_prediction(pred, gold) yang mengembalikan 1.0 jika keduanya cocok tanpa mempedulikan huruf besar atau kecil dan spasi di sekitarnya, jika tidak 0.0. Tulis evaluate(predictions, golds) yang mengembalikan {"accuracy", "correct", "total"} di atas daftar berpasangan, dengan akurasi dibulatkan ke 4 tempat dan set kosong mengembalikan semua nol (tanpa crash).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.