Müfredat 250 dersinden 143. · Sıfırdan Embeddings ve Semantik Arama
Sıfırdan Embeddings ve Semantik Arama

Kelime Torbası Vektörleri

Bir model iki metin parçasını karşılaştırabilmeden önce, metin sayılara dönüşmelidir. En eski ve en basit yol bag of words yöntemidir: sabit bir kelime listesi (vocabulary) seç ve ardından her bir kelimenin belgede kaç kez geçtiğini belirterek belgeyi tanımla. Kelime sırası atılır, bu yüzden "bag" kelimesi kullanılır. Bu yöntem kabadır ama TF-IDF, BM25 ve hatta dense embeddings yapıların tamamı bunun üzerine kurulur.

Kelime dağarcığının ["the", "cat", "sat", "dog", "ran"] olduğunu söyle. "the cat sat" belgesi [1, 1, 1, 0, 0] sayım vektörüne dönüşür: bir the, bir cat, bir sat, sıfır dog, sıfır ran. "the dog ran the dog" belgesi [2, 0, 0, 2, 1].

olur.

Üretimde önemli olan iki kural:

  • Vektör uzunluğu, belge ne kadar uzun olursa olsun her zaman kelime dağarcısı boyutundadır. Bu sabit şekil, belgeleri bir matrise istiflemeni ve lineer cebir yapmanı sağlar.
  • Sözlükte bulunmayan kelimeler (out of vocabulary veya OOV) sadece görmezden gelinir. Gerçek bir sistem sözlüğü sınırlar, bu yüzden görülmeyen kelimeler yok olur.

Gerçek kodda tam olarak bunu yapan ve sana seyrek bir matris veren scikit-learn kullanırsın:

from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"])   # one row, vocab-size columns

O aracın arka planda ne yaptığını anlamak için, sayacı kendin oluşturacaksın.

Build vectorize(doc, vocab): belgeyi küçük harfe çevir, boşluklardan böl ve her bir sözlük kelimesi için bir adet içeren bir list döndür, sözlük sırasına göre. Sözlükte olmayan hiçbir tokenı görmezden gel. Boş bir belge tüm sıfırları döndürür.

Senin sıran

Sabit bir kelime dağarcığı üzerinden bir belge dizgisini kelime torbası sayım listesine dönüştüren vectorize(doc, vocab) yaz. Belgeyi küçük harfe çevir ve boşluklardan ayır, her bir vocab kelimesinin kaç kez geçtiğini say ve sayıları vocab sırasında bir liste olarak döndür. Kelime dağarcığı dışındaki tokenlar görmezden gelinir; boş bir belge tüm sıfırları döndürür. Dönen listenin uzunluğu her zaman len(vocab) değerine eşittir.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.