Silabus Pelajaran 155 dari 250 · Bangun Pipeline RAG
Bangun Pipeline RAG

Sematkan Chunks

Kamu punya potongan teks. Tapi, retriever membandingkan vectors, bukan kata-kata, jadi langkah yang hilang adalah embedding: ubah setiap potongan menjadi daftar angka dengan panjang tetap supaya teks dengan konten serupa berada di koordinat yang mirip. Ini adalah "embed" yang dijanjikan di pipeline (chunk -> embed -> store -> retrieve -> prompt), dan inilah yang mengisi VectorStore.add(id, text, vector) di pelajaran berikutnya.

Sistem produksi memanggil model embedding neural (OpenAI, Cohere, a sentence-transformer) lewat jaringan, tapi kontraknya identik dan kamu bisa membangun embedder deterministik yang nyata secara offline untuk mempelajarinya: vektor bag-of-words. Tentukan vocab (kata-kata yang kamu pedulikan), lalu representasikan potongan teks berdasarkan berapa kali setiap kata kosakata muncul di dalamnya.

vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0]   (two cats, one dog, no fish)

Satu langkah lagi membuat ini bisa digunakan untuk pencarian kosinus: L2-normalize vektor tersebut (bagi dengan panjangnya sendiri, np.linalg.norm). Setelah itu setiap vektor punya panjang 1, jadi kemiripan kosinus menjadi dot product biasa dan potongan panjang berhenti mendominasi potongan pendek hanya karena punya lebih banyak kata. Potongan yang tidak mengandung kata dari kosakata tidak punya apa pun untuk dinormalisasi, jadi biarkan vektor nol semua itu apa adanya (jangan pernah bagi dengan nol).

Buat dua fungsi.

  • build_vocab(chunks) -> daftar kata unik yang sudah diurutkan dari semua chunk. Tokenize setiap chunk dengan text.lower().split() (huruf kecil, pisah berdasarkan spasi).
  • embed(text, vocab) -> array float numpy dengan panjang len(vocab): jumlah setiap kata vocab di text (tokenizer yang sama), lalu dinormalisasi L2. Jika semua jumlahnya nol, kembalikan vektor nol tanpa perubahan.

Tekan Run untuk memasukkan beberapa potongan dan konfirmasi poin teks terkait dengan cara yang sama.

Giliranku

Tulis build_vocab(chunks) yang mengembalikan kata unik terurut dari semua chunk (tokenize dengan text.lower().split()), dan embed(text, vocab) yang mengembalikan numpy float array dengan panjang len(vocab) yang menyimpan jumlah setiap kata vocab di text (tokenizer yang sama), dinormalisasi L2 dengan np.linalg.norm. Jika setiap jumlah adalah nol, kembalikan vektor semua nol tanpa perubahan (jangan bagi dengan nol).

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.