長い文書をチャンクに分ける
検索拡張生成(RAG)は、汎用のモデルをあなたのデータに向ける方法です:方針のハンドブック、製品のマニュアル、前の四半期のサポートチケット。モデルはどれも暗記していないので、質問のときに関連する一節を検索してプロンプトに貼り付けます。パイプライン全体は、正直な 5 つの部品だけです:文書をチャンクに分け、各チャンクを埋め込み、ベクトルを保存し、クエリにいちばん合うものを検索し、根拠づけたプロンプトを組み立てる。このモジュールで 5 つすべてを作ります。最後の文を書くモデルはブラウザの中のデバイス上の WebLLM でもかまいませんが、そのまわりのすべてのステップはふつうの、テストできる Python で、それこそ雇う側が見極める部分です。
ステップ 1 はチャンク分割です。40 ページの文書は 1 つのベクトルとして埋め込むには大きすぎ、プロンプトに詰め込むにも大きすぎるので、重なりのある窓に切り分けます。なぜ重なりがあるのか?必要な事実が、はっきりした境界をまたいでいるかもしれないからです。500 文字目できれいに切ったとき、「refunds take five business days」という文が 495 から 515 にまたがっていると、どちらのチャンクも答え全体を含みません。数文字の重なりがあれば、同じ文が両隣にまるごと生きていられます。
形はこうです:size 文字の窓を、毎回 size - overlap の step だけ前に滑らせます。
def chunk(text, size, overlap):
step = size - overlap
chunks = []
i = 0
while i < len(text):
chunks.append(text[i:i + size])
if i + size >= len(text):
break # this window already reached the end
i += step
return chunksその break が大切です:それがないと終わりを越えて進み続け、最後の「チャンク」として "g" のような小さなかけらを出してしまいます。窓が終わりに届いたらすぐ止めれば、最後のチャンクは本物のチャンクのままです。
作るもの。重なりのある窓のリストを返す chunk(text, size, overlap) を書いてください。テストが確かめるルール:
- 入力を検証する:
size <= 0のとき、またはoverlapが負か>= size(それほど大きな重なりでは決して進みません)のときはValueErrorを送出する。 - 空のテキストなら空のリスト
[]を返す。 - あるチャンクの最後の
overlap文字は、次のチャンクの最初のoverlap文字に等しい。 - 完全な網羅:
chunks[0]に、それより後のすべてのチャンクのchunks[i][overlap:]をつなげると、文字が失われたり重複したりせずに、元のテキストがそっくり再現される。
ここにはひとつ違いのエラーが潜んでいるので、実行を押して、段落が目で確かめられる窓に分かれる様子を見てください。
size 文字の窓を各ステップで size - overlap だけ前に滑らせ、窓のリストを返す chunk(text, size, overlap) を書いてください。size <= 0 のとき、または overlap が負か >= size のときは ValueError を送出します。空のテキストなら [] を返します。窓がテキストの終わりに届いたらすぐに止めます(だから最後のチャンクは size より短いことがあり、重なりを繰り返すだけの余分な窓は決してありません)。隣り合うチャンクはちょうど overlap 文字を共有しなければならず、最初のチャンクに、それより後のすべてのチャンクの chunk[overlap:] をつなげると、元のテキストが組み立て直されなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。