Sematkan Chunks
Kamu punya potongan teks. Tapi, retriever membandingkan vectors, bukan kata-kata, jadi langkah yang hilang adalah embedding: ubah setiap potongan menjadi daftar angka dengan panjang tetap supaya teks dengan konten serupa berada di koordinat yang mirip. Ini adalah "embed" yang dijanjikan di pipeline (chunk -> embed -> store -> retrieve -> prompt), dan inilah yang mengisi VectorStore.add(id, text, vector) di pelajaran berikutnya.
Sistem produksi memanggil model embedding neural (OpenAI, Cohere, a sentence-transformer) lewat jaringan, tapi kontraknya identik dan kamu bisa membangun embedder deterministik yang nyata secara offline untuk mempelajarinya: vektor bag-of-words. Tentukan vocab (kata-kata yang kamu pedulikan), lalu representasikan potongan teks berdasarkan berapa kali setiap kata kosakata muncul di dalamnya.
vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0] (two cats, one dog, no fish)Satu langkah lagi membuat ini bisa digunakan untuk pencarian kosinus: L2-normalize vektor tersebut (bagi dengan panjangnya sendiri, np.linalg.norm). Setelah itu setiap vektor punya panjang 1, jadi kemiripan kosinus menjadi dot product biasa dan potongan panjang berhenti mendominasi potongan pendek hanya karena punya lebih banyak kata. Potongan yang tidak mengandung kata dari kosakata tidak punya apa pun untuk dinormalisasi, jadi biarkan vektor nol semua itu apa adanya (jangan pernah bagi dengan nol).
Buat dua fungsi.
build_vocab(chunks)-> daftar kata unik yang sudah diurutkan dari semua chunk. Tokenize setiap chunk dengantext.lower().split()(huruf kecil, pisah berdasarkan spasi).embed(text, vocab)-> array float numpy dengan panjanglen(vocab): jumlah setiap kata vocab ditext(tokenizer yang sama), lalu dinormalisasi L2. Jika semua jumlahnya nol, kembalikan vektor nol tanpa perubahan.
Tekan Run untuk memasukkan beberapa potongan dan konfirmasi poin teks terkait dengan cara yang sama.
Tulis build_vocab(chunks) yang mengembalikan kata unik terurut dari semua chunk (tokenize dengan text.lower().split()), dan embed(text, vocab) yang mengembalikan numpy float array dengan panjang len(vocab) yang menyimpan jumlah setiap kata vocab di text (tokenizer yang sama), dinormalisasi L2 dengan np.linalg.norm. Jika setiap jumlah adalah nol, kembalikan vektor semua nol tanpa perubahan (jangan bagi dengan nol).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.