Программа курса Урок 155 из 250 · Создайте RAG Pipeline
Создайте RAG Pipeline

Внедрите Chunks

У вас есть куски текста. Но ретривер сравнивает vectors, а не слова, поэтому недостающий шаг это embedding: превратить каждый кусок в список чисел фиксированной длины, чтобы текст с похожим содержанием попадал в похожие координаты. Это тот самый "embed", который обещан в пайплайне (chunk -> embed -> store -> retrieve -> prompt), и это то, что питает VectorStore.add(id, text, vector) в следующем уроке.

Продакшн-системы вызывают модель нейронных эмбеддингов (OpenAI, Cohere, sentence-transformer) через сеть, но контракт идентичен и вы можете собрать настоящий детерминированный эмбеддер офлайн, чтобы изучить его: вектор мешок слов. Зафиксируйте vocab (слова, которые вам важны), затем представьте кусок текста тем, сколько раз каждое слово из словаря встречается в нем.

vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0]   (two cats, one dog, no fish)

Еще один шаг делает их пригодными для поиска по косинусу: L2-normalize вектор (разделите его на его собственную длину, np.linalg.norm). После этого каждый вектор имеет длину 1, поэтому косинусное сходство становится обычным скалярным произведением, и длинные фрагменты перестают доминировать над короткими только из-за большего количества слов. Фрагмент, который не содержит слов из словаря, не имеет ничего для нормализации, поэтому оставьте этот нулевой вектор как есть (никогда не делите на ноль).

Создайте две функции.

  • build_vocab(chunks) -> отсортированный список уникальных слов во всех фрагментах. Токенизируйте каждый фрагмент с помощью text.lower().split() (строчные буквы, разделение по пробелам).
  • embed(text, vocab) -> массив numpy float длиной len(vocab): количество каждого слова из словаря в text (тот же tokenizer), затем L2-нормализованный. Если все счетчики равны нулю, верните нулевой вектор без изменений.

Нажмите Run, чтобы встроить несколько фрагментов и подтвердить связанные текстовые точки таким же образом.

Твоя очередь

Напишите build_vocab(chunks) возвращающий отсортированные уникальные слова во всех чанках (токенизируйте с помощью text.lower().split()), и embed(text, vocab) возвращающий numpy float массив длиной len(vocab) содержащий количество каждого слова словаря в text (тот же токенизатор), L2-нормализованный с np.linalg.norm. Если каждое количество равно нулю, верните вектор из нулей без изменений (не делите на ноль).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.