Chương trình học Bài 139 trên tổng số 246 · Mô-đun 12: Từ ngữ thành con số (embedding)
Mô-đun 12: Từ ngữ thành con số (embedding)

Vector sao chép dữ liệu của chúng, kể cả độ lệch

Vì sao điều này quan trọng Embedding học bất kỳ khuôn mẫu nào văn bản chứa, kể cả những khuôn mẫu không ai muốn. Vector từ huấn luyện trên tin tức thật đặt một số nghề gần "she" hơn và những nghề khác gần "he" hơn. Bạn có thể đo nó, và bạn nên đo.

Tạo một hướng giới tính từ các cặp chỉ khác nhau về giới tính: queen trừ king, woman trừ man, princess trừ prince, girl trừ boy, cộng lại và co giãn về độ dài 1. Vị trí của một từ dọc theo nó là vector (đơn vị) của từ nhân vô hướng với hướng: dương nghiêng về "she", âm nghiêng về "he".

Thế giới đồ chơi có thể thêm một độ lệch: với độ lệch 0.4, các câu về nurse nói "she" 90% số lần và các câu về engineer nói "he" 90% số lần. Doctor và teacher giữ 50:50. Không gì khác thay đổi.

Loại bỏ nó, và cái bẫy

Bạn có thể trừ thành phần dọc theo hướng của mỗi nghề, điều đặt vị trí của nó về đúng 0. Trong thế giới đồ chơi này điều đó hiệu quả gần như hoàn toàn: đo sau khi loại bỏ, nurse và engineer nằm gần "she" và "he" xấp xỉ như nhau (cosine 0.114 và 0.118 theo cả hai chiều). Đó là vì ở đây độ lệch nằm trong một từ, đại từ. Trên vector từ huấn luyện trên văn bản thật, các nhà nghiên cứu thấy điều ngược lại: độ lệch trải ra trên hàng nghìn từ mà một hướng không thể nắm bắt, nên sau khi loại bỏ, các láng giềng của một nghề vẫn để lộ nó. Vậy một số đo sạch trên thước không phải bằng chứng độ lệch đã hết, và cách sửa trung thực bắt đầu từ dữ liệu.

Từ và ký hiệu trong bài học này
embedding
hàng các con số đã học được đại diện cho một ký hiệu
cửa sổ
bao nhiêu từ ở mỗi bên được tính là bạn đồng hành của một từ
PPMI
hai từ gặp nhau thường hơn ngẫu nhiên bao nhiêu, với các giá trị âm đặt về 0
thế giới đồ chơi
một văn bản bịa ra có cấu trúc được cài sẵn, nên các câu trả lời đúng đã được biết
độ lệch
một khuôn mẫu lệch một bên trong dữ liệu mà các vector sao chép
Đến lượt bạn

Viết gender_direction(X) và position(X, word, g). Cả hai làm việc trên vector đơn vị: chia vector của mỗi từ cho độ dài của nó trước, rồi lấy bốn hiệu (queen trừ king, woman trừ man, princess trừ prince, girl trừ boy), cộng chúng lại và co giãn tổng về độ dài 1. Một vị trí là vector đơn vị của từ nhân vô hướng với g. Điền pos: độ lệch (0.0 và 0.4) ứng với một dict vị trí của bốn nghề, dùng vector số đếm với cả câu làm cửa sổ. Rồi viết remove(x, g) lấy đi thành phần dọc theo g.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.