Embedding các đoạn
Bạn đã có các đoạn văn bản. Nhưng bộ truy xuất so sánh vector, không phải từ, nên bước còn thiếu là embedding: biến mỗi đoạn thành một list số có độ dài cố định sao cho văn bản có nội dung tương tự rơi vào tọa độ tương tự. Đây là bước "embed" đã hứa trong pipeline (chunk -> embed -> store -> retrieve -> prompt), và nó là thứ đưa vào VectorStore.add(id, text, vector) trong bài tiếp theo.
Các hệ thống thật gọi một mô hình embedding nơ-ron (OpenAI, Cohere, một sentence-transformer) qua mạng, nhưng hợp đồng là y hệt và bạn có thể xây một bộ embedding thật, có tính quyết định ngoại tuyến để học nó: một vector túi từ. Cố định một vocab (các từ bạn quan tâm), rồi biểu diễn một mẩu văn bản bằng số lần mỗi từ trong vocab xuất hiện trong nó.
vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0] (two cats, one dog, no fish)Một bước nữa làm chúng dùng được cho tìm kiếm cosine: chuẩn hóa L2 vector (chia nó cho chính độ dài của nó, np.linalg.norm). Sau đó mọi vector đều có độ dài 1, nên độ tương đồng cosine trở thành một tích vô hướng đơn giản và các đoạn dài thôi lấn át các đoạn ngắn chỉ vì có nhiều từ hơn. Một đoạn không chứa từ nào trong vocab thì không có gì để chuẩn hóa, nên cứ để vector toàn không đó nguyên như vậy (không bao giờ chia cho không).
Xây hai hàm.
build_vocab(chunks)-> list đã sắp xếp các từ duy nhất trên mọi đoạn. Tách token mỗi đoạn bằngtext.lower().split()(viết thường, tách theo khoảng trắng).embed(text, vocab)-> một mảng float numpy dàilen(vocab): số đếm của mỗi từ vocab trongtext(cùng bộ tách token), rồi chuẩn hóa L2. Nếu các số đếm toàn không, trả về vector không nguyên vẹn.
Bấm Chạy để embedding vài đoạn và xác nhận văn bản liên quan chỉ cùng một hướng.
Viết build_vocab(chunks) trả về các từ duy nhất đã sắp xếp trên mọi đoạn (tách token bằng text.lower().split()), và embed(text, vocab) trả về một mảng float numpy dài len(vocab) chứa số đếm của mỗi từ vocab trong text (cùng bộ tách token), chuẩn hóa L2 bằng np.linalg.norm. Nếu mọi số đếm đều bằng không, trả về vector toàn không nguyên vẹn (đừng chia cho không).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.