Программа курса Урок 145 из 250 · Эмбеддинги и семантический поиск с нуля
Эмбеддинги и семантический поиск с нуля

Интуиция эмбеддингов (Детерминированный мок-эмбеддер)

Bag-of-words имеет фатальное слепое пятно: "dog" и "puppy" это разные слова, поэтому их векторы счета не имеют ничего общего и их косинус равен 0, хотя они означают почти одно и то же. Настоящие embeddings исправляют это, помещая слова (или целые предложения) в векторное пространство, где вещи, используемые похожим образом, оказываются рядом друг с другом. Ведущая идея это distributional hypothesis: слово известно по компании, в которой оно состоит. Слова, которые появляются в одних и тех же контекстах, получают похожие векторы.

Продакшн эмбеддинги приходят из обученной нейросети (sentence-transformers) или хостинг API. Мы не можем запустить их здесь: в этом песочнице нет GPU и сети. Поэтому вы построите детерминированный мок эмбеддера, который передает геометрию реального объекта без обученных весов. Он честен в своих ограничениях и идеален для изучения механизма.

Хитрость заключается в векторе совместного появления. При наличии небольшого отобранного корпуса эмбеддинг слова это количество других слов, которые появляются в тех же документах, что и оно. Если dog и puppy оба встречаются вместе с park, runs и nap, их контекстные векторы совпадают и косинус высокий. invoice вместо этого встречается вместе с pay и due, поэтому он указывает в другую сторону.

На корпусе, который идет вместе с этим уроком, результат конкретный:

cosine(embed("dog"), embed("puppy"))    # high, around 0.9
cosine(embed("dog"), embed("invoice"))  # low,  around 0.37

Это неравенство, cosine(dog, puppy) > cosine(dog, invoice), это вся суть эмбеддингов, выраженная в одной строке.

Для контраста, вот как выглядит настоящий вызов (он НЕ запустится здесь, он показан только для контекста):

# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog")   # 384-dim learned vector

Build embed(word, corpus, vocab), который возвращает вектор совместного появления для слова: список фиксированной длины (один слот на каждое слово из словаря), где слот j считает, сколько раз слово из словаря j встречается вместе с целевым словом во всех документах корпуса, содержащих целевое слово. Не считайте целевое слово само с собой. Одно и то же слово всегда возвращает один и тот же вектор.

Твоя очередь

Напишите embed(word, corpus, vocab), детерминированный мок-эмбеддер. Для заданного слова просканируйте каждый документ в corpus (каждый из них это строка в нижнем регистре). В документах, которые содержат слово, подсчитайте остальные слова (пропустите само целевое слово) в вектор длиной в размер словаря, возвращаемый как список в порядке vocab. Результат это вектор контекста совместного появления: слова, используемые в похожих контекстах, получают похожие векторы, так на корпусе урока cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")). То же слово всегда дает один и тот же вектор, и длина всегда равна len(vocab). Оставьте CORPUS и VOCAB стартера как есть: проверка читает их.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.