Chương trình học Bài 144 trên tổng số 250 · Embedding và tìm kiếm ngữ nghĩa từ con số không
Embedding và tìm kiếm ngữ nghĩa từ con số không

Độ tương đồng cosine bằng numpy

Giờ các tài liệu đã là vector, làm sao bạn đo được hai cái có "giống nhau" không? Bản năng là khoảng cách Euclid (khoảng cách đường thẳng), nhưng với văn bản đó là một cái bẫy. Một tài liệu dài lặp lại các từ, nên vector đếm của nó đơn giản là lớn hơn, và khoảng cách Euclid phạt nó vì độ dài ngay cả khi chủ đề giống hệt. Điều bạn thật sự quan tâm là hướng: những từ nào, theo tỷ lệ nào. Đó là thứ độ tương đồng cosine đo.

Độ tương đồng cosine là cosine của góc giữa hai vector:

cosine(a, b) = (a . b) / (|a| * |b|)

trong đó a . b là tích vô hướng và |a| là độ dài (chuẩn L2) của a. Giá trị rơi vào một khoảng gọn gàng:

  • 1.0 -> cùng hướng (một tài liệu và một bản sao phóng to của chính nó).
  • 0.0 -> trực giao, không có hướng chung (không có từ nào chung).
  • Các giá trị ở giữa -> trùng một phần.

Vì nó chia bỏ các độ dài, cosine coi [1, 1] và [10, 10] là giống hệt. Tính bất biến theo độ dài đó chính là lý do mọi hệ thống embedding và RAG xếp hạng bằng cosine, không phải khoảng cách Euclid.

Trong numpy toàn bộ chỉ là ba lệnh gọi:

import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))   # -> 1.0

Một trường hợp biên sẽ cắn bạn khi vận hành: vector không (một tài liệu không có từ nào trong bộ từ vựng) có độ dài 0, và chia cho 0 cho ra NaN, thứ sau đó đầu độc mọi phép sắp xếp phía sau. Một hàm tương đồng vững chắc trả về 0.0 khi một trong hai vector toàn số không.

Xây cosine(a, b) trả về độ tương đồng cosine dưới dạng float, và trả về 0.0 (không bao giờ NaN) khi một trong hai đầu vào là vector không. Đầu vào có thể là list Python hoặc mảng numpy.

Đến lượt bạn

Viết cosine(a, b) trả về độ tương đồng cosine của hai vector: tích vô hướng chia cho tích các chuẩn L2 của chúng. Chấp nhận list Python hoặc mảng numpy và trả về một float. Các vector song song trả về 1.0, các vector trực giao trả về 0.0, và hàm có tính đối xứng. Nếu một trong hai vector toàn số không, trả về 0.0 thay vì chia cho không và tạo ra NaN.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.