シラバス レッスン 250 中 154 · RAG パイプラインを作る
RAG パイプラインを作る

長い文書をチャンクに分ける

検索拡張生成(RAG)は、汎用のモデルをあなたのデータに向ける方法です:方針のハンドブック、製品のマニュアル、前の四半期のサポートチケット。モデルはどれも暗記していないので、質問のときに関連する一節を検索してプロンプトに貼り付けます。パイプライン全体は、正直な 5 つの部品だけです:文書をチャンクに分け、各チャンクを埋め込み、ベクトルを保存し、クエリにいちばん合うものを検索し、根拠づけたプロンプトを組み立てる。このモジュールで 5 つすべてを作ります。最後の文を書くモデルはブラウザの中のデバイス上の WebLLM でもかまいませんが、そのまわりのすべてのステップはふつうの、テストできる Python で、それこそ雇う側が見極める部分です。

ステップ 1 はチャンク分割です。40 ページの文書は 1 つのベクトルとして埋め込むには大きすぎ、プロンプトに詰め込むにも大きすぎるので、重なりのある窓に切り分けます。なぜ重なりがあるのか?必要な事実が、はっきりした境界をまたいでいるかもしれないからです。500 文字目できれいに切ったとき、「refunds take five business days」という文が 495 から 515 にまたがっていると、どちらのチャンクも答え全体を含みません。数文字の重なりがあれば、同じ文が両隣にまるごと生きていられます。

形はこうです:size 文字の窓を、毎回 size - overlap の step だけ前に滑らせます。

def chunk(text, size, overlap):
    step = size - overlap
    chunks = []
    i = 0
    while i < len(text):
        chunks.append(text[i:i + size])
        if i + size >= len(text):
            break          # this window already reached the end
        i += step
    return chunks

その break が大切です:それがないと終わりを越えて進み続け、最後の「チャンク」として "g" のような小さなかけらを出してしまいます。窓が終わりに届いたらすぐ止めれば、最後のチャンクは本物のチャンクのままです。

作るもの。重なりのある窓のリストを返す chunk(text, size, overlap) を書いてください。テストが確かめるルール:

  • 入力を検証する:size <= 0 のとき、または overlap が負か >= size(それほど大きな重なりでは決して進みません)のときは ValueError を送出する。
  • 空のテキストなら空のリスト [] を返す。
  • あるチャンクの最後の overlap 文字は、次のチャンクの最初の overlap 文字に等しい。
  • 完全な網羅:chunks[0] に、それより後のすべてのチャンクの chunks[i][overlap:] をつなげると、文字が失われたり重複したりせずに、元のテキストがそっくり再現される。

ここにはひとつ違いのエラーが潜んでいるので、実行を押して、段落が目で確かめられる窓に分かれる様子を見てください。

あなたの番

size 文字の窓を各ステップで size - overlap だけ前に滑らせ、窓のリストを返す chunk(text, size, overlap) を書いてください。size <= 0 のとき、または overlap が負か >= size のときは ValueError を送出します。空のテキストなら [] を返します。窓がテキストの終わりに届いたらすぐに止めます(だから最後のチャンクは size より短いことがあり、重なりを繰り返すだけの余分な窓は決してありません)。隣り合うチャンクはちょうど overlap 文字を共有しなければならず、最初のチャンクに、それより後のすべてのチャンクの chunk[overlap:] をつなげると、元のテキストが組み立て直されなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。