Silabus Pelajaran 135 dari 246 · Modul 12: Kata sebagai angka (embeddings)
Modul 12: Kata sebagai angka (embeddings)

Apa yang model pelajari tentang huruf

Kenapa ini pentingTidak ada yang memberi tahu model bahasa bahwa a dan e adalah huruf vokal. Jika embeddingnya menempatkan keduanya berdekatan, model menemukannya hanya dari teks. Ini adalah sekilas tentang "makna" yang dipelajari dari data.

Untuk membandingkan dua embedding, gunakan cosine similarity: hasil kali titik dibagi kedua panjangnya. Nilainya 1 saat dua vektor mengarah ke arah yang sama, 0 saat tidak berhubungan (tegak lurus), dan minus 1 saat mengarah ke arah berlawanan. Ini mengabaikan panjang, yang sebagian besar mencerminkan seberapa sering sebuah simbol muncul.

Kamu akan melihat ke dalam GPT kecil yang direkam di kursus ini (Modul 13 membangunnya). Ia hanya membaca teks pelajaran kursus ini, satu karakter demi satu karakter, dengan setiap karakter sebagai baris dari 64 angka.

Prediksi dulu: kelompok pasangan karakter mana yang akan paling mirip rata-ratanya: dua huruf vokal, satu huruf vokal dan satu konsonan, atau dua angka?

Kata dan simbol di pelajaran ini
embedding
baris angka yang dipelajari yang mewakili satu simbol
cosine similarity
hasil kali titik dari kedua panjang: 1 arah yang sama, 0 tidak terkait, -1 berlawanan
Giliranku

Atur my_prediction ke "vowels", "mixed" atau "digits". Tulis cosine(a, b) dan nearest(ch, k) (karakter k lainnya dengan cosine tertinggi ke ch, yang terbaik dulu). Lalu isi group dengan rata-rata cosine dari semua pasangan karakter berbeda dalam setiap grup.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.