Apa yang model pelajari tentang huruf
Kenapa ini pentingTidak ada yang memberi tahu model bahasa bahwa a dan e adalah huruf vokal. Jika embeddingnya menempatkan keduanya berdekatan, model menemukannya hanya dari teks. Ini adalah sekilas tentang "makna" yang dipelajari dari data.
Untuk membandingkan dua embedding, gunakan cosine similarity: hasil kali titik dibagi kedua panjangnya. Nilainya 1 saat dua vektor mengarah ke arah yang sama, 0 saat tidak berhubungan (tegak lurus), dan minus 1 saat mengarah ke arah berlawanan. Ini mengabaikan panjang, yang sebagian besar mencerminkan seberapa sering sebuah simbol muncul.
Kamu akan melihat ke dalam GPT kecil yang direkam di kursus ini (Modul 13 membangunnya). Ia hanya membaca teks pelajaran kursus ini, satu karakter demi satu karakter, dengan setiap karakter sebagai baris dari 64 angka.
Prediksi dulu: kelompok pasangan karakter mana yang akan paling mirip rata-ratanya: dua huruf vokal, satu huruf vokal dan satu konsonan, atau dua angka?
Kata dan simbol di pelajaran ini
- embedding
- baris angka yang dipelajari yang mewakili satu simbol
- cosine similarity
- hasil kali titik dari kedua panjang: 1 arah yang sama, 0 tidak terkait, -1 berlawanan
Atur my_prediction ke "vowels", "mixed" atau "digits". Tulis cosine(a, b) dan nearest(ch, k) (karakter k lainnya dengan cosine tertinggi ke ch, yang terbaik dulu). Lalu isi group dengan rata-rata cosine dari semua pasangan karakter berbeda dalam setiap grup.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.