Chương trình học Bài 145 trên tổng số 250 · Embedding và tìm kiếm ngữ nghĩa từ con số không
Embedding và tìm kiếm ngữ nghĩa từ con số không

Trực giác về embedding (bộ embedding giả lập tất định)

Túi từ có một điểm mù chí mạng: "dog" và "puppy" là hai từ khác nhau, nên vector đếm của chúng không có gì chung và cosine của chúng là 0, dù chúng có nghĩa gần như giống nhau. Các embedding thật sửa điều này bằng cách đặt các từ (hoặc cả câu) vào một không gian vector nơi những thứ được dùng theo cách tương tự rơi gần nhau. Ý tưởng dẫn đường là giả thuyết phân bố: một từ được biết qua những từ đi cùng nó. Các từ xuất hiện trong cùng ngữ cảnh có vector tương tự.

Embedding dùng trong vận hành đến từ một mạng nơ-ron đã huấn luyện (sentence-transformers) hoặc một API được lưu trữ. Ta không thể chạy những thứ đó ở đây: sandbox này không có GPU và không có mạng. Nên bạn sẽ xây một bộ embedding giả lập tất định nắm được hình học của thứ thật mà không cần trọng số đã huấn luyện. Nó trung thực về giới hạn của mình và hoàn hảo để học cơ chế.

Mẹo là một vector đồng xuất hiện. Cho một kho văn bản nhỏ được chọn lọc, embedding của một từ là số đếm những từ khác xuất hiện trong cùng tài liệu với nó. Nếu dog và puppy đều đi cùng park, runs, và nap, các vector ngữ cảnh của chúng thẳng hàng và cosine cao. invoice thì đi cùng pay và due, nên nó chỉ về hướng khác.

Trên kho văn bản đi kèm bài này, thành quả rất cụ thể:

cosine(embed("dog"), embed("puppy"))    # high, around 0.9
cosine(embed("dog"), embed("invoice"))  # low,  around 0.37

Bất đẳng thức đó, cosine(dog, puppy) > cosine(dog, invoice), là toàn bộ ý nghĩa của embedding gói trong một dòng.

Để so sánh, đây là một lệnh gọi thật trông như thế nào (nó sẽ KHÔNG chạy ở đây, chỉ được cho xem làm ngữ cảnh):

# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog")   # 384-dim learned vector

Xây embed(word, corpus, vocab) trả về vector đồng xuất hiện cho một từ: một list độ dài cố định (một ô cho mỗi từ trong bộ từ vựng) trong đó ô j đếm số lần từ thứ j trong bộ từ vựng đồng xuất hiện với từ mục tiêu trên mọi tài liệu của kho có chứa từ mục tiêu. Đừng đếm từ mục tiêu với chính nó. Cùng một từ luôn trả về cùng một vector.

Đến lượt bạn

Viết embed(word, corpus, vocab), một bộ embedding giả lập tất định. Với từ được cho, quét mọi tài liệu trong corpus (mỗi cái là một chuỗi viết thường). Trong những tài liệu chứa từ đó, đếm các từ khác (bỏ qua chính từ mục tiêu) vào một vector dài bằng bộ từ vựng, trả về dạng list theo thứ tự vocab. Kết quả là một vector ngữ cảnh đồng xuất hiện: các từ dùng trong ngữ cảnh tương tự có vector tương tự, nên trên kho văn bản của bài cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")). Cùng một từ luôn cho cùng một vector, và độ dài luôn bằng len(vocab). Giữ nguyên CORPUS và VOCAB của mã khởi đầu: bài kiểm tra đọc chúng.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.