Müfredat 250 dersinden 145. · Sıfırdan Embeddings ve Semantik Arama
Sıfırdan Embeddings ve Semantik Arama

Gömme Sezgisi (Belirgin Mock Embedder)

Bag-of-words ölümcül bir kör noktaya sahip: "dog" ve "puppy" farklı kelimelerdir, bu yüzden sayı vektörleri hiçbir ortak nokta paylaşmaz ve kosinüsleri 0 olur, oysa neredeyse aynı şeyi ifade ederler. Gerçek embeddings bunu kelimeleri (veya tüm cümleleri) benzer şekillerde kullanılan şeylerin birbirine yakın düştüğü bir vektör uzayına yerleştirerek çözer. Temel fikir distributional hypothesis: bir kelime, beraber olduğu kelimelerle tanınır. Aynı bağlamlarda görünen kelimeler benzer vektörler alır.

Production embeddingleri eğitilmiş bir sinir ağından (sentence-transformers) veya barındırılan bir API'den gelir. Bunları burada çalıştıramayız: bu sandbox içinde GPU ve ağ bağlantısı yok. Bu yüzden eğitilmiş ağırlıklar olmadan gerçek şeyin geometrisini yakalayan deterministik bir mock embedder oluşturacaksın. Sınırları konusunda dürüst ve mekanizmayı öğrenmek için mükemmel.

Püf noktası bir co-occurrence vektörüdür. Küçük ve seçilmiş bir külliyat verildiğinde, bir kelimenin gömülmesi, hangi diğer kelimelerin onunla aynı belgelerde göründüğünün sayımıdır. Eğer dog ve puppy her ikisi de park, runs ve nap ile birlikte bulunursa, bağlam vektörleri hizalanır ve kosinüs yüksek olur. invoice bunun yerine pay ve due ile birlikte bulunur, bu yüzden başka bir yeri işaret eder.

Bu bu dersle birlikte gönderilen veri kümesinde, kazanç somuttur:

cosine(embed("dog"), embed("puppy"))    # high, around 0.9
cosine(embed("dog"), embed("invoice"))  # low,  around 0.37

O eşitsizliği, cosine(dog, puppy) > cosine(dog, invoice), embeddinglerin tek satırda ifade edilen tüm amacıdır.

Karşılaştırma için, gerçek bir çağrının nasıl göründüğü şudur (burada çalışMAYACAK, sadece bağlam için gösteriliyor):

# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog")   # 384-dim learned vector

Build embed(word, corpus, vocab) bir kelime için eş-oluşum vektörünü döndürür: sabit uzunlukta bir liste (her sözlük kelimesi için bir yuva) burada yuva j sözlük kelimesi j hedeflenen kelimeyle tüm corpus belgelerinde kaç kez birlikte geçtiğini sayar. Hedef kelimeyi kendisiyle sayma. Aynı kelime her zaman aynı vektörü döndürür.

Senin sıran

embed(word, corpus, vocab), deterministik bir mock embedder yaz. Verilen kelime için corpus içindeki her belgeyi tara (her biri küçük harfli bir string). Kelimeyi içeren belgelerde, diğer kelimeleri (hedef kelimenin kendisini atla) bir kelime dağarcığı uzunluğundaki vektöre say ve vocab sırasıyla bir liste olarak döndür. Sonuç bir eş-oluşum bağlam vektörüdür: benzer bağlamlarda kullanılan kelimeler benzer vektörler alır, bu yüzden cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")) ders korpusu üzerinde. Aynı kelime her zaman aynı vektörü verir ve uzunluk her zaman len(vocab) değerine eşittir. Başlangıçtaki CORPUS ve VOCAB değerlerini olduğu gibi bırak: kontrol bunları okuyor.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.