Silabus Pelajaran 108 dari 250 · Intuisi Neural-Net, LLM & Capstone AI
Intuisi Neural-Net, LLM & Capstone AI

Tonton: Attention Weights

Kamu baru saja mengimplementasikan scaled dot-product attention. Inilah yang sebenarnya dilakukan oleh matriks tersebut do. Attention membuat setiap kata melihat setiap kata dalam kalimat (termasuk dirinya sendiri), menilai seberapa penting masing-masing, dan membangun kembali dirinya sebagai weighted blend dari kata-kata tersebut.

Tekan play. Perhatikan kata sat melintasi the cat sat: skor mentah menjadi bobot softmax yang jumlahnya 1, garis tertebal menunjuk ke kata yang paling penting, dan sat menyerap konteksnya, sebagian besar dari cat.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.