Косинусное сходство в numpy
Теперь, когда документы стали векторами, как измерить, насколько два из них похожи? Инстинкт подсказывает евклидово расстояние (расстояние по прямой), но для текста это ловушка. Длинный документ повторяет слова, поэтому его вектор счета просто bigger, и евклидово расстояние штрафует его за длину даже если тема идентична. То, что вам на самом деле важно, это direction: какие слова и в какой пропорции. Именно это измеряет cosine similarity.
Косинусное сходство это косинус угла между двумя векторами:
cosine(a, b) = (a . b) / (|a| * |b|), где a . b это скалярное произведение, а |a| это длина (L2 норма) a. Значение попадает в чистый диапазон:
- 1.0 -> то же направление (документ и его копия, увеличенная в масштабе).
- 0.0 -> ортогонально, нет общих направлений (нет общих слов).
- Значения между ними -> частичное пересечение.
Поскольку оно делит на длины, cosine считает [1, 1] и [10, 10] идентичными. Эта инвариантность к длине и есть причина, по которой каждая embedding и RAG система ранжирует по cosine, а не по Euclidean distance.
В numpy все это сводится к трем вызовам:
import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) # -> 1.0Один пограничный случай заставит вас ошибиться в продакшене: нулевой вектор (документ без слов из словаря) имеет длину 0, а деление на 0 дает NaN, что затем портит каждую последующую сортировку. Надежная функция сходства возвращает 0.0, если любой из векторов состоит только из нулей.
Build cosine(a, b), которая возвращает cosine similarity как float, и возвращает 0.0 (никогда NaN), если любой из входных параметров является нулевым вектором. Входными данными могут быть Python lists или numpy arrays.
Напишите cosine(a, b), которая возвращает cosine similarity двух векторов: скалярное произведение, деленное на произведение их L2 норм. Принимайте Python списки или numpy массивы и возвращайте float. Параллельные векторы возвращают 1.0, ортогональные векторы возвращают 0.0, и функция симметрична. Если любой вектор состоит из одних нулей, возвращайте 0.0 вместо деления на ноль и получения NaN.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.