Klinik: model yang bagus menulis dengan buruk
Kenapa ini penting Model yang sudah dilatih tetap bisa menghasilkan sampah jika kode di sekitarnya salah. Kesalahan ini ada di kode sampling, bukan di weights, dan orang sering melatih ulang selama berhari-hari sebelum memeriksa ke sana.
Setiap kasus di bawah menggunakan model width-64 yang sama, yang menulis teks masuk akal pada temperature 0.8. Setiap kasus punya satu kesalahan dalam cara teks diambil atau didekode:
- too_cold: suhu mendekati 0. Model selalu mengambil karakter berikutnya favoritnya dan masuk ke dalam loop.
- too_hot: suhu jauh di atas 1. Distribusinya menjadi datar sampai simbol langka muncul sesering huruf.
- shifted_decode: id diubah kembali jadi karakter dengan alfabet geser satu, jadi contoh yang bagus terbaca seperti kode: setiap spasi jadi "!".
Probes: sample(c) menampilkan teks; repeat_share(text) dan space_share(text) mengukurnya.
Isi diagnosis dan fixes untuk kasus A, B dan C. Setelah perbaikanmu, setiap pengaturan harus cocok dengan yang sehat, dan sampel harus bisa dibaca seperti teks lagi.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.