Разбивка длинных документов на части
Генерация с дополненным извлечением (RAG) это способ направить общую модель на ваши данные: руководство по политике, инструкцию к продукту, тикеты поддержки за прошлый квартал. Модель никогда не запоминала ничего из этого, поэтому в момент вопроса вы извлекаете соответствующие отрывки и вставляете их в prompt. Весь пайплайн состоит всего из пяти честных частей: разбейте документы на чанки, создайте embedding для каждого чанка, сохраните векторы, извлеките лучшие совпадения для запроса и создайте обоснованный prompt. Вы построите все пять частей в этом модуле. Модель, которая пишет финальное предложение, может быть on-device WebLLM в вашем браузере, но каждый шаг вокруг нее это простой, тестируемый Python, что и является именно той частью, которую проверяют работодатели.
Шаг один это chunking. Документ на 40 страниц слишком велик, чтобы встроить его как один вектор, и слишком велик, чтобы запихнуть в prompt, поэтому вы разрезаете его на перекрывающиеся окна. Почему перекрывающиеся? Потому что факт, который вам нужен, может находиться на границе. Если вы чисто разрежете на символе 500, а предложение "refunds take five business days" охватывает диапазон с 495 по 515, ни один chunk не будет содержать весь ответ. Несколько символов overlap позволяют одному и тому же предложению оставаться целым в обоих соседних фрагментах.
Его формата: вы сдвигаете окно из size символов вперед на step по size - overlap каждый раз.
def chunk(text, size, overlap):
step = size - overlap
chunks = []
i = 0
while i < len(text):
chunks.append(text[i:i + size])
if i + size >= len(text):
break # this window already reached the end
i += step
return chunksЭто break важно: без него вы продолжаете идти за пределы конца и выдаете крошечный кусок типа "g" как финальный "chunk". Остановка сразу как только окно достигает конца сохраняет последний chunk настоящим.
Что строить. Напишите chunk(text, size, overlap) возвращающий список перекрывающихся окон. Правила которые проверяют тесты:
- Проверка входных данных: вызвать
ValueErrorеслиsize <= 0, или еслиoverlapотрицательный или>= size(такое большое перекрытие никогда не продвинет вперед). - Пустой текст возвращает пустой список
[]. - Последние
overlapсимволов одного чанка равны первымoverlapсимволам следующего. - Полное покрытие: сшивание
chunks[0]плюсchunks[i][overlap:]для каждого последующего чанка в точности воспроизводит исходный текст без потери или дублирования символов.
Ошибки off-by-one здесь, поэтому нажмите Run и смотрите, как параграф разделяется на окна, которые можно оценить глазами.
Напишите chunk(text, size, overlap), который сдвигает окно из size символов вперед на size - overlap каждый шаг и возвращает список окон. Выбрасывайте ValueError, когда size <= 0 или когда overlap отрицательное или >= size. Возвращайте [] для пустого текста. Останавливайтесь, как только окно достигает конца текста (так последний фрагмент может быть короче чем size, и лишнего окна, которое только повторяет пересечение, никогда не бывает). Соседние фрагменты должны иметь ровно overlap общих символов, и сшивание первого фрагмента с chunk[overlap:] каждого последующего фрагмента должно восстанавливать исходный текст.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.