Memecah Dokumen Panjang
Retrieval-augmented generation (RAG) adalah cara mengarahkan model umum ke data milikmu: buku pedoman kebijakan, manual produk, tiket dukungan kuartal lalu. Model itu tidak pernah menghafal satu pun dari semua itu, jadi saat pertanyaan datang kamu mengambil bagian yang relevan dan menempelkannya ke prompt. Seluruh pipeline-nya hanya lima bagian yang jujur: potong dokumen, buat embedding setiap potongan, simpan vektornya, ambil kecocokan teratas untuk sebuah query, dan susun prompt yang berdasar. Kamu akan membangun kelimanya di modul ini. Model yang menulis kalimat akhir bisa WebLLM di perangkat di browsermu, tetapi setiap langkah di sekitarnya adalah Python biasa yang bisa diuji, dan justru bagian itulah yang disaring oleh perusahaan.
Langkah pertama adalah chunking. Dokumen 40 halaman terlalu besar untuk dijadikan satu vektor dan terlalu besar untuk dijejalkan ke prompt, jadi kamu memotongnya menjadi jendela-jendela yang saling tumpang tindih. Kenapa tumpang tindih? Karena fakta yang kamu butuhkan bisa saja melintasi batas yang kaku. Kalau kamu memotong rapi di karakter 500 dan kalimat "refunds take five business days" membentang dari 495 sampai 515, tidak ada potongan yang berisi jawaban utuh. Beberapa karakter tumpang tindih membuat kalimat yang sama tetap utuh di kedua tetangga.
Bentuknya: kamu menggeser jendela berukuran size karakter maju sejauh step sebesar size - overlap setiap kali.
def chunk(text, size, overlap):
step = size - overlap
chunks = []
i = 0
while i < len(text):
chunks.append(text[i:i + size])
if i + size >= len(text):
break # this window already reached the end
i += step
return chunksbreak itu penting: tanpanya kamu terus melangkah melewati ujung dan mengeluarkan sisa kecil seperti "g" sebagai "potongan" terakhir. Berhenti begitu sebuah jendela mencapai ujung menjaga potongan terakhir tetap potongan yang sungguhan.
Yang perlu dibuat. Tulis chunk(text, size, overlap) yang mengembalikan daftar jendela yang tumpang tindih. Aturan yang diperiksa tes:
- Validasi input: munculkan
ValueErrorkalausize <= 0, atau kalauoverlapnegatif atau>= size(tumpang tindih sebesar itu tidak pernah maju). - Teks kosong mengembalikan daftar kosong
[]. overlapkarakter terakhir dari satu potongan sama denganoverlapkarakter pertama dari potongan berikutnya.- Cakupan penuh: menyambung
chunks[0]ditambahchunks[i][overlap:]untuk setiap potongan berikutnya menghasilkan kembali teks aslinya dengan persis, tanpa karakter yang hilang atau berlipat.
Kesalahan selisih satu tinggal di sini, jadi tekan Run dan lihat sebuah paragraf terbelah menjadi jendela-jendela yang bisa kamu periksa dengan mata.
Tulis chunk(text, size, overlap) yang menggeser jendela berisi size karakter ke depan sebesar size - overlap setiap langkah dan mengembalikan daftar jendela. Lempar ValueError saat size <= 0 atau saat overlap negatif atau >= size. Kembalikan [] untuk teks kosong. Berhenti segera setelah sebuah jendela mencapai akhir teks (jadi potongan terakhir mungkin lebih pendek dari size, dan tidak pernah ada jendela ekstra yang hanya mengulang tumpang tindih). Potongan yang berdekatan harus berbagi tepat overlap karakter, dan menyatukan potongan pertama dengan chunk[overlap:] dari setiap potongan berikutnya harus membangun kembali teks asli.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.