Trực giác về embedding (bộ embedding giả lập tất định)
Túi từ có một điểm mù chí mạng: "dog" và "puppy" là hai từ khác nhau, nên vector đếm của chúng không có gì chung và cosine của chúng là 0, dù chúng có nghĩa gần như giống nhau. Các embedding thật sửa điều này bằng cách đặt các từ (hoặc cả câu) vào một không gian vector nơi những thứ được dùng theo cách tương tự rơi gần nhau. Ý tưởng dẫn đường là giả thuyết phân bố: một từ được biết qua những từ đi cùng nó. Các từ xuất hiện trong cùng ngữ cảnh có vector tương tự.
Embedding dùng trong vận hành đến từ một mạng nơ-ron đã huấn luyện (sentence-transformers) hoặc một API được lưu trữ. Ta không thể chạy những thứ đó ở đây: sandbox này không có GPU và không có mạng. Nên bạn sẽ xây một bộ embedding giả lập tất định nắm được hình học của thứ thật mà không cần trọng số đã huấn luyện. Nó trung thực về giới hạn của mình và hoàn hảo để học cơ chế.
Mẹo là một vector đồng xuất hiện. Cho một kho văn bản nhỏ được chọn lọc, embedding của một từ là số đếm những từ khác xuất hiện trong cùng tài liệu với nó. Nếu dog và puppy đều đi cùng park, runs, và nap, các vector ngữ cảnh của chúng thẳng hàng và cosine cao. invoice thì đi cùng pay và due, nên nó chỉ về hướng khác.
Trên kho văn bản đi kèm bài này, thành quả rất cụ thể:
cosine(embed("dog"), embed("puppy")) # high, around 0.9
cosine(embed("dog"), embed("invoice")) # low, around 0.37Bất đẳng thức đó, cosine(dog, puppy) > cosine(dog, invoice), là toàn bộ ý nghĩa của embedding gói trong một dòng.
Để so sánh, đây là một lệnh gọi thật trông như thế nào (nó sẽ KHÔNG chạy ở đây, chỉ được cho xem làm ngữ cảnh):
# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog") # 384-dim learned vectorXây embed(word, corpus, vocab) trả về vector đồng xuất hiện cho một từ: một list độ dài cố định (một ô cho mỗi từ trong bộ từ vựng) trong đó ô j đếm số lần từ thứ j trong bộ từ vựng đồng xuất hiện với từ mục tiêu trên mọi tài liệu của kho có chứa từ mục tiêu. Đừng đếm từ mục tiêu với chính nó. Cùng một từ luôn trả về cùng một vector.
Viết embed(word, corpus, vocab), một bộ embedding giả lập tất định. Với từ được cho, quét mọi tài liệu trong corpus (mỗi cái là một chuỗi viết thường). Trong những tài liệu chứa từ đó, đếm các từ khác (bỏ qua chính từ mục tiêu) vào một vector dài bằng bộ từ vựng, trả về dạng list theo thứ tự vocab. Kết quả là một vector ngữ cảnh đồng xuất hiện: các từ dùng trong ngữ cảnh tương tự có vector tương tự, nên trên kho văn bản của bài cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")). Cùng một từ luôn cho cùng một vector, và độ dài luôn bằng len(vocab). Giữ nguyên CORPUS và VOCAB của mã khởi đầu: bài kiểm tra đọc chúng.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.