Silabus Pelajaran 145 dari 250 · Embeddings & Semantic Search dari Nol
Embeddings & Semantic Search dari Nol

Intuisi Embeddings (Mock Embedder Deterministik)

Bag-of-words punya kelemahan fatal: "dog" dan "puppy" adalah kata yang berbeda, jadi vektor hitungannya tidak punya kesamaan dan cosine mereka adalah 0, padahal artinya hampir sama. embeddings memperbaiki ini dengan menempatkan kata (atau seluruh kalimat) ke dalam ruang vektor di mana hal yang digunakan dengan cara serupa berada berdekatan. Ide utamanya adalah distributional hypothesis: sebuah kata dikenal dari teman di sekitarnya. Kata yang muncul dalam konteks yang sama mendapatkan vektor yang mirip.

Embedding produksi berasal dari neural network yang sudah dilatih (sentence-transformers) atau API yang di-host. Kita tidak bisa menjalankan itu di sini: tidak ada GPU dan tidak ada jaringan di sandbox ini. Jadi kamu akan membangun mock embedder deterministik yang menangkap geometri dari yang asli tanpa bobot yang dilatih. Ini jujur tentang batasannya dan sempurna untuk mempelajari mekanismenya.

Triknya adalah vektor ko-okurensi. Diberikan korpus kecil yang dikurasi, embedding sebuah kata adalah hitungan kata lain mana saja yang muncul di dokumen yang sama dengannya. Jika dog dan puppy keduanya menemani park, runs, dan nap, vektor konteks mereka sejajar dan cosine tinggi. invoice malah menemani pay dan due, jadi ia menunjuk ke arah lain.

Di korpus yang disertakan dalam pelajaran ini, hasilnya nyata:

cosine(embed("dog"), embed("puppy"))    # high, around 0.9
cosine(embed("dog"), embed("invoice"))  # low,  around 0.37

Ketidaksamaan itu, cosine(dog, puppy) > cosine(dog, invoice), adalah inti dari embeddings yang dinyatakan dalam satu baris.

Sebagai perbandingan, ini adalah tampilan panggilan yang asli (ini TIDAK akan berjalan di sini, hanya ditampilkan untuk konteks):

# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog")   # 384-dim learned vector

Build embed(word, corpus, vocab) yang mengembalikan vektor ko-okurensi untuk sebuah kata: daftar dengan panjang tetap (satu slot per kata kosakata) di mana slot j menghitung berapa kali kata kosakata j muncul bersama kata target di semua dokumen korpus yang mengandung kata target. Jangan hitung kata target terhadap dirinya sendiri. Kata yang sama selalu mengembalikan vektor yang sama.

Giliranku

Tulis embed(word, corpus, vocab), sebuah mock embedder deterministik. Untuk kata yang diberikan, pindai setiap dokumen di corpus (masing-masing adalah string huruf kecil). Di dokumen yang mengandung kata tersebut, hitung kata lainnya (lewatkan kata target itu sendiri) ke dalam vektor sepanjang kosakata, dikembalikan sebagai list dalam urutan vocab. Hasilnya adalah vektor konteks ko-okurensi: kata yang digunakan dalam konteks serupa mendapatkan vektor yang serupa, jadi pada korpus pelajaran cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")). Kata yang sama selalu menghasilkan vektor yang sama, dan panjangnya selalu sama dengan len(vocab). Biarkan CORPUS dan VOCAB milik starter tetap seperti apa adanya: pengecekan membacanya.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.