Интуиция эмбеддингов (Детерминированный мок-эмбеддер)
Bag-of-words имеет фатальное слепое пятно: "dog" и "puppy" это разные слова, поэтому их векторы счета не имеют ничего общего и их косинус равен 0, хотя они означают почти одно и то же. Настоящие embeddings исправляют это, помещая слова (или целые предложения) в векторное пространство, где вещи, используемые похожим образом, оказываются рядом друг с другом. Ведущая идея это distributional hypothesis: слово известно по компании, в которой оно состоит. Слова, которые появляются в одних и тех же контекстах, получают похожие векторы.
Продакшн эмбеддинги приходят из обученной нейросети (sentence-transformers) или хостинг API. Мы не можем запустить их здесь: в этом песочнице нет GPU и сети. Поэтому вы построите детерминированный мок эмбеддера, который передает геометрию реального объекта без обученных весов. Он честен в своих ограничениях и идеален для изучения механизма.
Хитрость заключается в векторе совместного появления. При наличии небольшого отобранного корпуса эмбеддинг слова это количество других слов, которые появляются в тех же документах, что и оно. Если dog и puppy оба встречаются вместе с park, runs и nap, их контекстные векторы совпадают и косинус высокий. invoice вместо этого встречается вместе с pay и due, поэтому он указывает в другую сторону.
На корпусе, который идет вместе с этим уроком, результат конкретный:
cosine(embed("dog"), embed("puppy")) # high, around 0.9
cosine(embed("dog"), embed("invoice")) # low, around 0.37Это неравенство, cosine(dog, puppy) > cosine(dog, invoice), это вся суть эмбеддингов, выраженная в одной строке.
Для контраста, вот как выглядит настоящий вызов (он НЕ запустится здесь, он показан только для контекста):
# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog") # 384-dim learned vectorBuild embed(word, corpus, vocab), который возвращает вектор совместного появления для слова: список фиксированной длины (один слот на каждое слово из словаря), где слот j считает, сколько раз слово из словаря j встречается вместе с целевым словом во всех документах корпуса, содержащих целевое слово. Не считайте целевое слово само с собой. Одно и то же слово всегда возвращает один и тот же вектор.
Напишите embed(word, corpus, vocab), детерминированный мок-эмбеддер. Для заданного слова просканируйте каждый документ в corpus (каждый из них это строка в нижнем регистре). В документах, которые содержат слово, подсчитайте остальные слова (пропустите само целевое слово) в вектор длиной в размер словаря, возвращаемый как список в порядке vocab. Результат это вектор контекста совместного появления: слова, используемые в похожих контекстах, получают похожие векторы, так на корпусе урока cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")). То же слово всегда дает один и тот же вектор, и длина всегда равна len(vocab). Оставьте CORPUS и VOCAB стартера как есть: проверка читает их.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.