Học vector từ (skip-gram)
Vì sao điều này quan trọng Đếm cần một bảng V nhân V, điều không thể với một triệu từ. Word2vec thay vào đó học trực tiếp các vector ngắn bằng gradient descent, và cùng ý tưởng đó, học vector bằng cách dự đoán ngữ cảnh, nằm trong mọi mô hình ngôn ngữ.
Skip-gram với lấy mẫu âm (negative sampling). Mỗi từ có hai vector: v (là chính nó) và u (là ngữ cảnh của từ khác). Với một cặp thật (một từ và một từ trong câu của nó), đẩy điểm v nhân vô hướng u lên; với k từ "âm" ngẫu nhiên, đẩy nó xuống:
loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)
Các gradient, theo quy tắc chuỗi
Với p = sigmoid(v . u_pos) và q_k = sigmoid(v . u_neg_k):
- dL/dv = (p - 1) u_pos + tổng theo k của q_k u_neg_k
- dL/du_pos = (p - 1) v
- dL/du_neg_k = q_k v
Hãy đọc chúng: nếu cặp thật đã có điểm cao, p gần 1 và hầu như không có gì thay đổi. Sai lầm tạo ra những cú đẩy lớn, đúng như cross-entropy.
Theo batch, với None
Với một batch, p có shape (B,) và u_pos có shape (B, d). Để nhân mỗi hàng của u_pos với (p - 1) của riêng nó, hãy thêm một chiều: (p - 1)[:, None] * u_pos, shape (B, 1) nhân (B, d). Với các từ âm, q có shape (B, k) và v có shape (B, d); q[:, :, None] * v[:, None, :] xếp chúng thẳng hàng thành (B, k, 1) nhân (B, 1, d), cho ra (B, k, d): một bản sao đã nhân của v cho mỗi từ âm. (Bài học về shape của mô-đun Python đã giới thiệu None.)
Từ và ký hiệu trong bài học này
- PPMI
- hai từ gặp nhau thường hơn ngẫu nhiên bao nhiêu, với các giá trị âm đặt về 0
- skip-gram, lấy mẫu âm
- học vector bằng cách chấm điểm cao các cặp (từ, ngữ cảnh) thật và điểm thấp các cặp ngẫu nhiên
Viết sgns_grads(v, u_pos, u_neg) cho một batch: v và u_pos có shape (B, d), u_neg có shape (B, k, d). Trả về (g_v, g_pos, g_neg) với cùng các shape. Vòng lặp huấn luyện dùng nó; khi đó 72 phép loại suy phải đúng ít nhất 90%.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.