Chia đoạn tài liệu dài
Sinh văn bản tăng cường truy xuất (RAG) là cách bạn hướng một mô hình tổng quát vào dữ liệu của bạn: một sổ tay chính sách, một hướng dẫn sản phẩm, các phiếu hỗ trợ quý trước. Mô hình chưa bao giờ học thuộc bất kỳ cái nào trong đó, nên vào lúc đặt câu hỏi bạn truy xuất các đoạn liên quan và dán chúng vào prompt. Toàn bộ pipeline chỉ là năm mảnh thật thà: chia đoạn tài liệu, embedding từng đoạn, lưu các vector, truy xuất các kết quả khớp nhất cho một truy vấn, và dựng một prompt có căn cứ. Bạn sẽ xây cả năm trong mô-đun này. Mô hình viết câu cuối cùng có thể là WebLLM trên thiết bị trong trình duyệt của bạn, nhưng mọi bước quanh nó là Python đơn giản, kiểm thử được, chính là phần mà nhà tuyển dụng sàng lọc.
Bước một là chia đoạn. Một tài liệu 40 trang quá lớn để embedding thành một vector và quá lớn để nhét vào một prompt, nên bạn cắt nó thành các cửa sổ chồng lên nhau. Vì sao chồng lên nhau? Vì một sự thật bạn cần có thể nằm vắt qua một ranh giới cứng. Nếu bạn cắt gọn ở ký tự 500 và câu "refunds take five business days" kéo dài từ 495 tới 515, không đoạn nào chứa toàn bộ câu trả lời. Vài ký tự chồng lấn cho phép cùng một câu nằm nguyên vẹn ở cả hai đoạn kề nhau.
Hình dạng của nó: bạn trượt một cửa sổ size ký tự về phía trước theo một step bằng size - overlap mỗi lần.
def chunk(text, size, overlap):
step = size - overlap
chunks = []
i = 0
while i < len(text):
chunks.append(text[i:i + size])
if i + size >= len(text):
break # this window already reached the end
i += step
return chunksbreak đó quan trọng: thiếu nó, bạn cứ bước tiếp qua điểm cuối và tạo ra một mẩu vụn như "g" làm "đoạn" cuối cùng. Dừng ngay khi một cửa sổ chạm tới cuối giữ cho đoạn cuối là một đoạn thật.
Cần xây gì. Viết chunk(text, size, overlap) trả về một list các cửa sổ chồng lên nhau. Các quy tắc mà bài kiểm tra kiểm tra:
- Kiểm tra đầu vào: báo
ValueErrornếusize <= 0, hoặc nếuoverlapâm hoặc>= size(một độ chồng lấn lớn như vậy không bao giờ tiến lên). - Văn bản rỗng trả về một list rỗng
[]. overlapký tự cuối của một đoạn bằngoverlapký tự đầu của đoạn tiếp theo.- Bao phủ đầy đủ: ghép
chunks[0]cộngchunks[i][overlap:]cho mọi đoạn sau tái tạo chính xác văn bản gốc, không mất hay nhân đôi ký tự nào.
Lỗi lệch một nằm ở đây, nên hãy bấm Chạy và xem một đoạn văn được chia thành các cửa sổ mà bạn có thể nhìn bằng mắt.
Viết chunk(text, size, overlap) trượt một cửa sổ size ký tự về phía trước theo size - overlap mỗi bước và trả về list các cửa sổ. Báo ValueError khi size <= 0 hoặc khi overlap âm hoặc >= size. Trả về [] cho văn bản rỗng. Dừng ngay khi một cửa sổ chạm tới cuối văn bản (nên đoạn cuối có thể ngắn hơn size, và không bao giờ có một cửa sổ thừa chỉ lặp lại phần chồng lấn). Các đoạn kề nhau phải chung đúng overlap ký tự, và ghép đoạn đầu với chunk[overlap:] của mọi đoạn sau phải dựng lại văn bản gốc.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.