Konsistensi Diri: Sampel, Parse, Vote
Satu sampel model bisa saja salah karena keberuntungan. Self-consistency mengambil beberapa sampel untuk pertanyaan yang sama, mengambil satu jawaban dari masing-masing, dan membiarkan mereka vote. Jawaban mayoritas biasanya lebih bisa diandalkan daripada satu kali jalan saja. Pengambilan sampel adalah tugas model; parsing dan voting adalah tugasmu, dan itu sepenuhnya deterministik.
Buat dua fungsi:
extract_answer(text)mengembalikan angka bulat TERAKHIR yang disebutkan dalam teks (angka terakhir dari model setelah penalaran), atauNonejika tidak ada angka bulat. Cari angka bulat dengan regex pada string.self_consistency(samples)mengambil daftar string sampel, mengambil jawaban dari setiap string, membuang yang terurai menjadiNone, dan mengembalikan nilai mayoritas melaluiCounter. Jika ada hasil seri, pilih nilai smallest agar hasilnya deterministik.
Contohnya, jika ada sampel yang bisa di-parse ke [4, 4, 5], vote mengembalikan 4. Jika ada [3, 5] (hasil seri 1-1), ia mengembalikan 3, yang lebih kecil. Sampel yang tidak bisa di-parse akan diabaikan saja:
self_consistency(["... so 4", "answer 4", "I think 5"]) # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"]) # 9Penentuan pemenang yang pasti itu penting: eval yang mengembalikan pemenang berbeda setiap kali dijalankan pada suara seri tidak bisa diuji dan tidak bisa dirilis. Tekan Run untuk menilai.
Tulis extract_answer(text) yang mengembalikan integer terakhir di teks (tangani tanda minus di depan), atau None jika tidak ada. Tulis self_consistency(samples) yang mengambil jawaban dari setiap sampel, membuang hasil None, dan mengembalikan nilai mayoritas dengan Counter, memecah seri ke nilai terkecil. Jika tidak ada jawaban yang bisa diparsing, kembalikan None.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.