Внедрите Chunks
У вас есть куски текста. Но ретривер сравнивает vectors, а не слова, поэтому недостающий шаг это embedding: превратить каждый кусок в список чисел фиксированной длины, чтобы текст с похожим содержанием попадал в похожие координаты. Это тот самый "embed", который обещан в пайплайне (chunk -> embed -> store -> retrieve -> prompt), и это то, что питает VectorStore.add(id, text, vector) в следующем уроке.
Продакшн-системы вызывают модель нейронных эмбеддингов (OpenAI, Cohere, sentence-transformer) через сеть, но контракт идентичен и вы можете собрать настоящий детерминированный эмбеддер офлайн, чтобы изучить его: вектор мешок слов. Зафиксируйте vocab (слова, которые вам важны), затем представьте кусок текста тем, сколько раз каждое слово из словаря встречается в нем.
vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0] (two cats, one dog, no fish)Еще один шаг делает их пригодными для поиска по косинусу: L2-normalize вектор (разделите его на его собственную длину, np.linalg.norm). После этого каждый вектор имеет длину 1, поэтому косинусное сходство становится обычным скалярным произведением, и длинные фрагменты перестают доминировать над короткими только из-за большего количества слов. Фрагмент, который не содержит слов из словаря, не имеет ничего для нормализации, поэтому оставьте этот нулевой вектор как есть (никогда не делите на ноль).
Создайте две функции.
build_vocab(chunks)-> отсортированный список уникальных слов во всех фрагментах. Токенизируйте каждый фрагмент с помощьюtext.lower().split()(строчные буквы, разделение по пробелам).embed(text, vocab)-> массив numpy float длинойlen(vocab): количество каждого слова из словаря вtext(тот же tokenizer), затем L2-нормализованный. Если все счетчики равны нулю, верните нулевой вектор без изменений.
Нажмите Run, чтобы встроить несколько фрагментов и подтвердить связанные текстовые точки таким же образом.
Напишите build_vocab(chunks) возвращающий отсортированные уникальные слова во всех чанках (токенизируйте с помощью text.lower().split()), и embed(text, vocab) возвращающий numpy float массив длиной len(vocab) содержащий количество каждого слова словаря в text (тот же токенизатор), L2-нормализованный с np.linalg.norm. Если каждое количество равно нулю, верните вектор из нулей без изменений (не делите на ноль).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.