Gerbang: transformer rusak (AI mati)
Kenapa ini penting Ini adalah seluruh forward pass GPT yang ditulis dengan house engine, dan ada dua kesalahan. Keduanya klasik, dan masing-masing sudah pernah mengecoh tim sungguhan.
AI tutor mati. Satu kesalahan membuat model melihat karakter yang seharusnya ia prediksi. Yang lainnya membuat stack jauh lebih sulit dilatih. Cari dan perbaiki keduanya.
Kata dan simbol di pelajaran ini
- query, key, value
- apa yang dicari oleh sebuah posisi; apa yang ditawarkan setiap posisi untuk dicocokkan; apa yang ia serahkan
- head
- ona perhatian H yang lebih sempit berjalan berdampingan, masing-masing dengan polanya sendiri
Perbaiki logits. Mengubah satu karakter tidak boleh mengubah prediksi untuk posisi sebelumnya, dan setelah 200 langkah rata-rata loss selama 20 langkah terakhir harus di bawah 2.65.
AI mati: tidak ada tutor, petunjuk atau solusi lengkap untuk yang ini. Hanya pemikiranmu sendiri.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.