Vector túi từ (bag-of-words)
Trước khi một mô hình so sánh được hai đoạn văn bản, văn bản phải trở thành các con số. Cách lâu đời nhất, đơn giản nhất là túi từ (bag of words): chọn một list từ cố định (bộ từ vựng), rồi mô tả bất kỳ tài liệu nào bằng số lần mỗi từ trong bộ từ vựng xuất hiện trong nó. Thứ tự từ bị vứt bỏ, nên mới gọi là "túi". Nó thô sơ, nhưng là nền móng mà TF-IDF, BM25, và cả embedding dày đặc đều xây trên đó.
Giả sử bộ từ vựng là ["the", "cat", "sat", "dog", "ran"]. Tài liệu "the cat sat" trở thành vector đếm [1, 1, 1, 0, 0]: một the, một cat, một sat, không dog, không ran. Tài liệu "the dog ran the dog" trở thành [2, 0, 0, 2, 1].
Hai quy tắc quan trọng khi vận hành thật:
- Độ dài vector luôn bằng kích thước bộ từ vựng, bất kể tài liệu dài bao nhiêu. Hình dạng cố định đó là thứ cho phép bạn xếp các tài liệu thành một ma trận và làm đại số tuyến tính.
- Các từ không có trong bộ từ vựng (ngoài bộ từ vựng, hay OOV) đơn giản là bị bỏ qua. Một hệ thống thật giới hạn bộ từ vựng, nên các từ chưa gặp biến mất.
Trong mã thật bạn sẽ dùng scikit-learn, nó làm đúng việc này và trả cho bạn một ma trận thưa:
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"]) # one row, vocab-size columnsĐể hiểu công cụ đó làm gì bên dưới, bạn sẽ tự xây bộ đếm.
Xây vectorize(doc, vocab): viết thường tài liệu, tách nó theo khoảng trắng, và trả về một list các số đếm, mỗi số cho một từ trong bộ từ vựng, theo thứ tự bộ từ vựng. Bỏ qua mọi token không có trong bộ từ vựng. Một tài liệu rỗng trả về toàn số không.
Viết vectorize(doc, vocab) biến một chuỗi tài liệu thành một list đếm túi từ trên một bộ từ vựng cố định. Viết thường và tách tài liệu theo khoảng trắng, đếm số lần mỗi từ trong vocab xuất hiện, và trả về các số đếm dưới dạng list theo thứ tự vocab. Các token ngoài bộ từ vựng bị bỏ qua; một tài liệu rỗng trả về toàn số không. Độ dài list trả về luôn bằng len(vocab).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.