シラバス レッスン 250 中 213 · プロジェクト:顧客サポートのコパイロット
プロジェクト:顧客サポートのコパイロット

知識ベースに索引を付ける

ポートフォリオの看板作品へようこそ:顧客サポートのコパイロットです。4 つのレッスンを通して、検索拡張(RAG)のサポートアシスタントを最初から最後まで作って評価します -- 「パスワードをリセットするには?」に、当て推量ではなく会社のヘルプ記事から答えるチャットウィジェットの裏にある、まさにそのシステムです。終えたときには、履歴書の一行はひとりでに書けます:RAG パイプラインと評価の道具立てを作って評価した。

RAG のシステムには黄金のルールが 1 つあります:モデルは、実際に検索した文書からだけ答える。だから言語モデルが関わる前に、速くて正確な検索が必要です。それがこのレッスンです。ここであなたのコードを読む採用担当者が確かめているのは 1 つだけです:テキストの山を、うまく検索できるものに変えられるか?TF-IDF は語彙に基づく方法です:クエリが記事と共有する単語を、それぞれの単語がどれだけ物語るかで重み付けして一致させます。「refund」と「money back」が同じ意味だとは知りません。それを加えるのが埋め込みです(次のレッスン)。語彙に基づく検索は、それでも、あらゆる検索システムが超えるべき、速くて安い基準です。

小さな TF-IDF の検索器を作ります。考えを一息で言うと:各記事を単語の重みのベクトルで表し、単語はこの記事でよく出る(単語頻度)のにすべての記事では珍しい(逆文書頻度)ほど重く数えられます。クエリをすべての記事とコサイン類似度で比べ、いちばん近いものを返します。

3 つの手で動きます:

  • トークン化 -- 小文字にし、単語に分割し、何にでも一致して何も意味しない "the" や "is" のような小さなストップワードを落とします。re.findall(r"[a-z0-9]+", text.lower()) のあとでストップワードの集合で取り除きます。
  • 重み付け -- 各記事について、単語頻度に IDF を掛け、長い記事と短い記事を公平に比べられるように、ベクトルを単位長に正規化します。
  • 採点 -- クエリのベクトルと各記事のベクトルのコサイン類似度。単位ベクトルなら、それはただの内積です。降順に順位を付けます。

記事のリストに対する関数を 2 つ作ってください:

index = build_index(docs)          # precompute weights once
retrieve(query, index, k)          # -> the ids of the top-k closest docs

build_index(docs) は、必要なものならどんな構造を返してもかまいません(辞書で十分です)。retrieve は、docs への整数のインデックスのリストを、いちばん合うものから順に、最大 k 個返します。ふつうの Python と math でも、numpy でも、scikit-learn の TfidfVectorizer でもかまいません -- 何を使っても、約束は同じです。採点プログラムが索引を作り直せるように、DOCS はモジュールレベルで定義したままにしてください。実行を押して、いくつかのサポートの質問が正しい記事にたどり着く様子を見てください。

あなたの番

8 つの記事のサポートの知識ベースに対する TF-IDF の検索器を作ってください。DOCS はモジュールレベルに置いたままにします。build_index(docs)(ストップワードを取り除いてトークン化し、tf*idf で単語に重みを付け、単位ベクトルに正規化する)と、コサイン類似度でいちばん近い上位 k 件の文書のインデックスを、いちばん良いものから順に、最大 k 個返す retrieve(query, index, k) を書きます。ふつうの Python、numpy、scikit-learn のどれでも動きます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。