シラバス レッスン 250 中 227 · プロジェクト:本番用 AI ゲートウェイ
プロジェクト:本番用 AI ゲートウェイ

トークン/コスト計算 + キャッシュ

ゲートウェイはもうリクエストを振り分けられますが、本物のモデルへの呼び出しはどれもお金と時間がかかります。あなたが操れるいちばん大きな 2 つのてこは、コスト計算(請求書を見て誰も驚かないように)と キャッシュ(同じ答えに二度お金を払わないように)です。このレッスンでは両方を作ります。そしてキャッシュには、本当に役立つものにするひとひねりがあります。バイト単位でまったく同じ繰り返しだけでなく、ほぼ同じ質問も捕まえるのです。

まずはメーターから。安くて決定的なトークンの見積もりは「4 文字でおよそ 1 トークン」で、コストはトークン数に 1 トークンあたりの料金を掛けるだけです:

def estimate_cost(text, rate):
    tokens = len(text) // 4
    return tokens * rate

次はキャッシュです。素朴なキャッシュはまったく同じ文字列をキーにするので、"Reset my password" と "reset my password" は別の質問に見え、どちらも満額を払います。2 段 の Cache クラスを作ります:

  • ハッシュの段: テキストを正規化し(小文字にし、空白をまとめる)、ハッシュを取り、そのキーで答えを保存します。(正規化した後で)まったく同じ繰り返しなら、すぐにヒットします。
  • 意味の段: ハッシュが外れたら、クエリの 埋め込み を保存されているすべての埋め込みと コサイン類似度 で比べます。いちばん近いものがしきい値(例えば 0.9)以上なら、それもヒットとして数えます。こうして "password reset steps" が、キャッシュ済みの "how do I reset my password" にヒットします。

put も get も、テキスト と 事前に計算した埋め込み(小さなベクトル)を受け取ります。get は (status, value) のタプルを返し、status は "hit" か "miss" です:

def get(self, text, embedding):
    key = self._key(text)
    if key in self.by_hash:            # tier 1: exact
        return ("hit", self.by_hash[key])
    best, best_sim = None, -1.0        # tier 2: semantic
    for vec, answer in self.entries:
        sim = cosine(embedding, vec)
        if sim > best_sim:
            best_sim, best = sim, answer
    if best is not None and best_sim >= self.threshold:
        return ("hit", best)
    return ("miss", None)

コサイン類似度は、内積をノルムの積で割ったものです。ゼロで割らないよう、ゼロベクトルを防いでください。本物のゲートウェイでは埋め込みはモデルから来ますが、ここでは直接渡すので、ロジックをオフラインでテストできます。Run を押して、プロンプトの料金を見積もり、キャッシュにぴったりヒットさせ、言い換えでもう一度ヒットさせ、関係のないクエリが外れるのを見てみましょう。

あなたの番

トークンの見積もり(4 文字でおよそ 1 トークン)に 1 トークンあたりの rate を掛けた値を返す estimate_cost(text, rate) を書いてください。次に、put(text, embedding, answer) と、(status, value) のタプルを返す get(text, embedding) を持つ 2 段の Cache クラスを作ります。get は、ハッシュによる(正規化した:小文字にし、空白をまとめた)テキストの完全一致のとき、または保存されたいちばん近い埋め込みのコサイン類似度がしきい値 >= のとき(意味的ヒット)に "hit" になり、それ以外は ("miss", None) です。類似度の低い別のクエリは外れなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。