Программа курса Урок 154 из 250 · Создайте RAG Pipeline
Создайте RAG Pipeline

Разбивка длинных документов на части

Генерация с дополненным извлечением (RAG) это способ направить общую модель на ваши данные: руководство по политике, инструкцию к продукту, тикеты поддержки за прошлый квартал. Модель никогда не запоминала ничего из этого, поэтому в момент вопроса вы извлекаете соответствующие отрывки и вставляете их в prompt. Весь пайплайн состоит всего из пяти честных частей: разбейте документы на чанки, создайте embedding для каждого чанка, сохраните векторы, извлеките лучшие совпадения для запроса и создайте обоснованный prompt. Вы построите все пять частей в этом модуле. Модель, которая пишет финальное предложение, может быть on-device WebLLM в вашем браузере, но каждый шаг вокруг нее это простой, тестируемый Python, что и является именно той частью, которую проверяют работодатели.

Шаг один это chunking. Документ на 40 страниц слишком велик, чтобы встроить его как один вектор, и слишком велик, чтобы запихнуть в prompt, поэтому вы разрезаете его на перекрывающиеся окна. Почему перекрывающиеся? Потому что факт, который вам нужен, может находиться на границе. Если вы чисто разрежете на символе 500, а предложение "refunds take five business days" охватывает диапазон с 495 по 515, ни один chunk не будет содержать весь ответ. Несколько символов overlap позволяют одному и тому же предложению оставаться целым в обоих соседних фрагментах.

Его формата: вы сдвигаете окно из size символов вперед на step по size - overlap каждый раз.

def chunk(text, size, overlap):
    step = size - overlap
    chunks = []
    i = 0
    while i < len(text):
        chunks.append(text[i:i + size])
        if i + size >= len(text):
            break          # this window already reached the end
        i += step
    return chunks

Это break важно: без него вы продолжаете идти за пределы конца и выдаете крошечный кусок типа "g" как финальный "chunk". Остановка сразу как только окно достигает конца сохраняет последний chunk настоящим.

Что строить. Напишите chunk(text, size, overlap) возвращающий список перекрывающихся окон. Правила которые проверяют тесты:

  • Проверка входных данных: вызвать ValueError если size <= 0, или если overlap отрицательный или >= size (такое большое перекрытие никогда не продвинет вперед).
  • Пустой текст возвращает пустой список [].
  • Последние overlap символов одного чанка равны первым overlap символам следующего.
  • Полное покрытие: сшивание chunks[0] плюс chunks[i][overlap:] для каждого последующего чанка в точности воспроизводит исходный текст без потери или дублирования символов.

Ошибки off-by-one здесь, поэтому нажмите Run и смотрите, как параграф разделяется на окна, которые можно оценить глазами.

Твоя очередь

Напишите chunk(text, size, overlap), который сдвигает окно из size символов вперед на size - overlap каждый шаг и возвращает список окон. Выбрасывайте ValueError, когда size <= 0 или когда overlap отрицательное или >= size. Возвращайте [] для пустого текста. Останавливайтесь, как только окно достигает конца текста (так последний фрагмент может быть короче чем size, и лишнего окна, которое только повторяет пересечение, никогда не бывает). Соседние фрагменты должны иметь ровно overlap общих символов, и сшивание первого фрагмента с chunk[overlap:] каждого последующего фрагмента должно восстанавливать исходный текст.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.