Parçaları Göm
Elin de metin parçaları var. Ancak retriever kelimeleri değil, vectors karşılaştırır, bu yüzden eksik adım embedding: benzer içerikli metinlerin benzer koordinatlara düşmesi için her parçayı sabit uzunlukta bir sayı listesine dönüştür. Bu, pipeline içinde (chunk -> embed -> store -> retrieve -> prompt) vaat edilen "embed" kısmıdır ve bir sonraki derste VectorStore.add(id, text, vector) besleyecek olan şey budur.
Üretim sistemleri ağ üzerinden bir sinirsel gömme modeli (OpenAI, Cohere, bir sentence-transformer) çağırır, ancak sözleşme özdeştir ve onu öğrenmek için çevrimdışı gerçek, deterministik bir gömücü oluşturabilirsin: bir bag-of-words vektörü. Bir vocab (önemli olduğun kelimeler) belirle, sonra bir metin parçasını her bir vocab kelimesinin içinde kaç kez göründüğüne göre temsil et.
vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0] (two cats, one dog, no fish)Bunları kosinüs araması için kullanılabilir hale getirmek için bir adım daha var: L2-normalize vektörü (kendi uzunluğuna bölerek, np.linalg.norm). Bundan sonra her vektörün uzunluğu 1 olur, böylece kosinüs benzerliği düz bir nokta çarpımına dönüşür ve uzun parçalar sadece daha fazla kelimeye sahip oldukları için kısa parçalara baskın gelmeyi bırakır. Kelime dağarcığından hiçbirini içermeyen bir parçanın normalize edecek bir şeyi yoktur, bu yüzden o sıfır vektörünü olduğu gibi bırak (asla sıfıra bölme).
İki fonksiyon oluştur.
build_vocab(chunks)-> tüm parçalardaki benzersiz kelimelerin sıralanmış listesi. Her parçayıtext.lower().split()(küçük harf, boşluklara göre böl) ile tokenize et.embed(text, vocab)->len(vocab)uzunluğunda bir numpy float dizisi:textiçindeki her bir vocab kelimesinin sayısı (aynı tokenizer), ardından L2-normalize edilmiş. Eğer sayılar tamamen sıfırsa, sıfır vektörünü değiştirmeden döndür.
Run komutunu kullanarak birkaç parça ekle ve ilgili metin noktalarını aynı şekilde doğrula.
Tüm parçalardaki benzersiz kelimeleri sıralı olarak döndüren build_vocab(chunks) yaz (text.lower().split() ile tokenize et), ve text içindeki her bir kelime haznesinin sayısını tutan len(vocab) uzunluğunda bir numpy float dizisi döndüren embed(text, vocab) yaz (aynı tokenizer), np.linalg.norm ile L2-normalize et. Eğer her sayı sıfırsa, tümü sıfır olan vektörü değiştirmeden döndür (sıfıra bölme).
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.